Linux: Filesystem für VIELE kleine Files

Dieses Thema im Forum "Technik-Smalltalk" wurde erstellt von urgent@ronny-goerner.de, 31. Januar 2009.

Status des Themas:
Es sind keine weiteren Antworten möglich.
  1. Guten Morgen,

    bisher verwende ich EXT3 als Filesystem auf auf einem Storage-Server. Er hat 3 TB Kapazität (Raid 6 mit 5 Platten + 1 Hotspare), 1 TB Seagate Festplatten ;-).

    In einer verteilten Directory-Architektur werden nach und nach viele Millionen kleiner Dateien um die 2 - 4 kb angelegt bzw. sind angelegt.

    Die Performance selber ist ... lala ;-). Die Frage ist, was kann man tun?
    Möglichkeit 1, die mir in den Sinn kam, SAS Platten nehmen, mit 15k. Dies sollte die Zugriffszeiten deutlich beschleunigen.

    Möglichkeit 2, ein anderes Filesystem als ext3, was deutlich besser mit kleineren Files umgehen kann. Was empfehlt die Audience :)?

    Danke + Gruß
    Ronny
     
  2. chilltier

    chilltier Guest

    Zuletzt von einem Moderator bearbeitet: 31. Januar 2009
  3. Esper

    Esper Guest

    AW: Linux: Filesystem für VIELE kleine Files

    Moin,

    ansonsten bietet sich noch die Möglichkeit an, ext3 auf die eigenen Bedürfnisse zu tunen, z.B. durch Anpassung der Blocksize, Inodes,... -> http://linux.die.net/man/8/mke2fs

    XFS ist sicher auch eine interessante Alternative, hat aber auch einige Nachteile, der im genannten Wikipedia Artikel Aufmerksamkeit geschenkt werden sollte. Es kommt halt auf die Bedürfnisse an, die einem der Inhalt der Platten stellt.
     
  4. AW: Linux: Filesystem für VIELE kleine Files

    Man kann sicher noch mit Blockgröße etc. spielen. Dennoch habe auch ich vorhin an XFS gedacht und parallel an 15 K SAS Platten. Aus dem Raid6 sollte man wohl ein Raid10 machen für max. Performance. Das sollte dann fetzen :)
     
  5. Esper

    Esper Guest

    AW: Linux: Filesystem für VIELE kleine Files

    15K SAS in passendem RAID sollte sicher einen Performance Zuwachs bringen. Je nach Wichtigkeit der Daten, Qualität der Hardware, Redundanz von externen Komponenten (Strom,etc.) und Backup würde ich auch durchaus zu XFS greifen, unter gewissen Umständen wäre es mir dann allerdings auch etwas gewagter gegenüber ext3, aber das ist sicher auch wieder eine Glaubensfrage, letztendlich zählt hier ja die Erfahrung. Ich würde eventuell erstmal schauen in wie weit die Hardwareveränderungen Performance bringen und im zweiten Schritt dann mit dem Filesystem testen.
     
  6. chilltier

    chilltier Guest

    AW: Linux: Filesystem für VIELE kleine Files

    ...aber auch der Applikation, die darauf zugreifen will, Aufmerksamkeit schenken.
    Ich kenne das aus dem Print-Bereich. Da ist es nicht unüblich, dass 250.000 Files in einem von 150.000 Verzeichnissen herumliegen. Und - oh wunder - NTFS schneidet da garnichtmal so schlecht ab. Trotzdem bevorzuge ich XFS ;-)

    Lustigerweise konnte ich keinen Unterschied feststellen, wenn der Raidcontroller nun 256MB oder 512MB Cache hat. Kann das einer bestägigen?

    15K SAS ist jedenfalls schon was feines. Der Host-Controller (2 Gbit/s. brutto) wird dann eventuell das Nadelöhr sein.
    Also. Was haben wir denn gerade als Hardware dastehen?
     
  7. AW: Linux: Filesystem für VIELE kleine Files

    Nix besonderes ;) Tyan 5397, 2 x Xeon 5440, 3WARE 9690, 2 x 4 GB DIMM, 5 x SATA Seagate 1 TB + 1 Hotspare a 1 TB, dazu 3 x Netzteil auf 3 HE ;-) mit Hotswap etc. Das übliche bei uns :) Reinknallen wollte ich nun 4 x oder 8x 450 GB SAS 15k :->
     
  8. confixx_schmitter

    confixx_schmitter Erfahrener Benutzer

    Registriert seit:
    6. Mai 2004
    Beiträge:
    1.891
    AW: Linux: Filesystem für VIELE kleine Files

    In der Tat nichts besonderes. Erstmal einen Performance Controller nutzen und nicht 3ware. Am Board könnte man sicher auch besseres kaufen, wenn man nicht gerade kostenlosen Kaffee von Tyan geschenkt bekommt um die Boards zu nutzen.
     
  9. AW: Linux: Filesystem für VIELE kleine Files

    Ich habe mit beidem keinerlei Probleme und ich wüßte nicht, was Deine Kaffee-Kommentare mit dem Ursprungspost zu tun hätten ;)
     
  10. Cheatah

    Cheatah Erfahrener Benutzer

    Registriert seit:
    10. Juni 2007
    Beiträge:
    513
    AW: Linux: Filesystem für VIELE kleine Files

    Ich habe mal gehört, dass ReiserFS für sowas gut geeignet ist.

    Cheatah
     
  11. AW: Linux: Filesystem für VIELE kleine Files

    Der ist doch im Knast ;o
     
  12. antondollmaier

    antondollmaier Eingetragener Provider

    Registriert seit:
    19. April 2004
    Beiträge:
    902
    Firmenname:
    ADIT Systems
    Anbieterprofil:
    Klick
    AW: Linux: Filesystem für VIELE kleine Files

    Nachdem wir hier einen 9650er von 3ware mit RAID5 im Einsatz haben, und die Performance mit 4x500GB nicht gerade berauschend ist, eine kleine, vermutlich blöde Frage:

    Welchen Raid-Controller kann man sonst nehmen, der unter Linux (Speziell Debian) unterstützt wird, und auch für Monitoring abgefragt werden kann?


    Zum Dateisystem:

    ReiserFS war wohl n schlechter Scherz ;)

    XFS wäre wohl auch meine Empfehlung, alle Partitionen mit MySQL-Datenbanken sind damit formatiert, gespürt ist die Performance besser als mit ext.
     
  13. Cheatah

    Cheatah Erfahrener Benutzer

    Registriert seit:
    10. Juni 2007
    Beiträge:
    513
    AW: Linux: Filesystem für VIELE kleine Files

    Nein, wieso? Ich würde damit mal einen Benchmark-Test machen.
     
  14. chilltier

    chilltier Guest

    AW: Linux: Filesystem für VIELE kleine Files

    Schön und gut. Und mit was und wie schnell soll der Fileserver mit den Clients kommunizieren? Das meinte ich mit dem Nadelöhr. Es gibt SAN Switche, iSCSI und alles mit oder ohne Christbaumspitze...

    Der Controller steckt als nur PCI, PCI-X oder wie auf dem Board? (hab keine Lust, das jetzt nachzulesen). Bei PCI mit seinen 33Mhz und 32bit BUS kann man sich ja schon selbst ausrechnen, wann Schluss ist mit Durchsatz (2,x Gbit/s.). Abzüglich Overhead und Netzwerkprotokoll bleiben noch 1Gbit/s. übrig, was man ggf. bei dem Ganzen beachten sollte.
     
  15. AW: Linux: Filesystem für VIELE kleine Files

    PCie 8fach ;) Das genügt völlig. Das Problem ist auch nicht die Bandbreite (via Fuse / SSHfs). Das Problem ist eindeutig das Filesystem / Access Time. :)
     
  16. chilltier

    chilltier Guest

    AW: Linux: Filesystem für VIELE kleine Files

    Uh. Dann wird es wohl Zeit, sich die Applikation(en) anzuschauen, die die Files wollen.
    XFS war ja schon erwähnt. Wenn das nichtsmehr nützt, ist es schwierig zu tunen.

    Von Helios z.B. weiß ich, dass diese Appliation ihre eigene Datenbank führt, um schnellen Zugriff und schnelle Suche noch möglich zu machen. Anwender in diesem Bereich haben schon länger das Problem mit einigen Millionen Dateien innerhalb mehr oder weniger komplexer Dateibäume sodass sich der Hersteller entschloss, Pfade in einer eigenen Datenbank zu halten, was den Zugriff letztendlich um ein Vielfaches beschleunigte.

    Das nützt dir im Moment wohl eher wenig. Aber die Tatsache, dass Softwarehersteller mit den Grenzen der Hardware zu schaffen haben und sich dann etwas eigenes stricken, könnte es treffen.

    Wenn Du willst, kannst Du dich ja mal darüber auslassen, was das für Files sind und wasfür Software wie und warum darauf zugreifen will.
     
  17. AW: Linux: Filesystem für VIELE kleine Files

    Das Projekt ist "intern" sprich absolut vertraulich und wird von einer externen Firma betreut Ich darf da nicht "reinreden" ... Ich muß nur die Kisten am laufen halten ;)
     
  18. Goekal-IT

    Goekal-IT Eingetragener Provider

    Registriert seit:
    3. Februar 2007
    Beiträge:
    129
    Firmenname:
    GOEKAL-IT Solutions
    Anbieterprofil:
    Klick
    AW: Linux: Filesystem für VIELE kleine Files

    Hallo,

    von 3ware haben wir uns auch getrennt. Aktuell nutzen wir Adaptec 5405/5805 (+ BBU). Da gibt es auch noch eine etwas kleinere Variante 2405, die jedoch keine BBU unterstützt aber auch performant laufen soll.

    Ab Linux 2.6.18.x sollte es mit den Controllern keine Probleme geben, CentOS 5.x, Debian Etch und Co. sollten also out-of-the-box laufen.

    Das Monitoring kannst Du über Nagios + arcconf realisieren.

    EDIT: Sorry, passt natürlich nicht ganz zum Thema.
     
  19. AW: Linux: Filesystem für VIELE kleine Files

    Ich habe mit Adaptec Controllern nur schleche Erfahrungen gemacht, sowohl Performance, als auch Haltbarkeit. NIE wieder ;)
     
  20. Goekal-IT

    Goekal-IT Eingetragener Provider

    Registriert seit:
    3. Februar 2007
    Beiträge:
    129
    Firmenname:
    GOEKAL-IT Solutions
    Anbieterprofil:
    Klick
    AW: Linux: Filesystem für VIELE kleine Files

    Hallo,

    die oben genannte Serie läuft problemlos, auch unter sehr hoher IO Last.

    Du redest von "älteren" Serien (SCSI, IDE) ?
     
Status des Themas:
Es sind keine weiteren Antworten möglich.

Diese Seite empfehlen