Löschen vieler kleiner files (sessions) = hohe last

Dieses Thema im Forum "Technik-Smalltalk" wurde erstellt von A-N, 20. Oktober 2009.

Status des Themas:
Es sind keine weiteren Antworten möglich.
  1. A-N

    A-N Erfahrener Benutzer

    Registriert seit:
    13. September 2004
    Beiträge:
    1.669
    Hallo,

    ich habe das Problem, dass die kleinen session files mittlerweile so viele geworden sind das ich nicht mehr löschen kann ohne das der Server in die knie geht.

    Nicht mal ein "ls" ist machbar ohne das eine sehr hohe Last erzeugt wird.

    Jemand ne Idee wie man die Files löscht ohne eine Last zu erzeugen?
     
  2. Mr. Brain

    Mr. Brain Erfahrener Benutzer

    Registriert seit:
    13. Mai 2005
    Beiträge:
    2.290
    Ort:
    Frankfurt am Main
    Firmenname:
    Welcome 2 Inter.Net
    Anbieterprofil:
    Klick
    AW: Löschen vieler kleiner files (sessions) = hohe last

    Renice doch einfach den Prozess.
     
  3. Tom-i

    Tom-i Eingetragener Provider

    Registriert seit:
    7. Oktober 2004
    Beiträge:
    1.760
    Ort:
    Menden
    Firmenname:
    Serverman
    Anbieterprofil:
    Klick
  4. A-N

    A-N Erfahrener Benutzer

    Registriert seit:
    13. September 2004
    Beiträge:
    1.669
    AW: Löschen vieler kleiner files (sessions) = hohe last

    Läuft doch schon auf PRIO 20.

    Die CPU ist bei 1 - 3%. An der CPU wird es vermutlich nicht liegen, sondern eher an den Platten Zugriffen das die Load zu hoch steigt.
     
  5. Tom-i

    Tom-i Eingetragener Provider

    Registriert seit:
    7. Oktober 2004
    Beiträge:
    1.760
    Ort:
    Menden
    Firmenname:
    Serverman
    Anbieterprofil:
    Klick
    AW: Löschen vieler kleiner files (sessions) = hohe last

    Zeig doch mal ne Top Ausgabe von sonnem Moment.
     
  6. A-N

    A-N Erfahrener Benutzer

    Registriert seit:
    13. September 2004
    Beiträge:
    1.669
    AW: Löschen vieler kleiner files (sessions) = hohe last

    Code:
    # ps aux | grep rm
    root      4487  1.6  0.0   2764   488 pts/4    D+   16:04   0:04 rm -rf sessions_test
    
    sollte vielleicht ausreichend sein?
     
  7. Mr. Brain

    Mr. Brain Erfahrener Benutzer

    Registriert seit:
    13. Mai 2005
    Beiträge:
    2.290
    Ort:
    Frankfurt am Main
    Firmenname:
    Welcome 2 Inter.Net
    Anbieterprofil:
    Klick
    AW: Löschen vieler kleiner files (sessions) = hohe last

    Arbeite mit "find" und baue dir eine Schleife mit "sleep".
     
  8. antondollmaier

    antondollmaier Eingetragener Provider

    Registriert seit:
    19. April 2004
    Beiträge:
    902
    Firmenname:
    ADIT Systems
    Anbieterprofil:
    Klick
    AW: Löschen vieler kleiner files (sessions) = hohe last

    Code:
    find /usr/lib/php5 -type f -name sess\* -daystart -mtime +7 -print -delete
    Parameter sollten selbsterklärend, bzw. in der man-Page aufgeführt sein.
     
  9. Tom-i

    Tom-i Eingetragener Provider

    Registriert seit:
    7. Oktober 2004
    Beiträge:
    1.760
    Ort:
    Menden
    Firmenname:
    Serverman
    Anbieterprofil:
    Klick
    AW: Löschen vieler kleiner files (sessions) = hohe last

    Leg die Session Files mit einem tmps in den Arbeitsspeicher.

    Habe ich bei einem Kunden auch gemacht und hat jede Menge gebracht.
     
  10. A-N

    A-N Erfahrener Benutzer

    Registriert seit:
    13. September 2004
    Beiträge:
    1.669
    AW: Löschen vieler kleiner files (sessions) = hohe last

    Code:
    find /var/www/web9/html/v2/tmp -type f -name sessions_test/* -daystart -mtime +7 -print -delete
    -bash: /usr/bin/find: Die Argumentliste ist zu lang
    
    Noch ne Idee?

    @Tomi-I,

    der Ordner ist mehrere GB groß. Kommt eher deswegen nicht in Frage.
     
  11. Optimate-Server

    Optimate-Server Eingetragener Provider

    Registriert seit:
    10. Juni 2004
    Beiträge:
    3.646
    Geschlecht:
    männlich
    Ort:
    Heusenstamm
    Firmenname:
    Optimate-Server
    Anbieterprofil:
    Klick
    AW: Löschen vieler kleiner files (sessions) = hohe last

    cd /var/www/web9/html/v2/tmp;
    for i in $(dir); do rm $i; sleep 1;done

    So löscht er eine Datei pro Sekunde.
    Vielleicht gibt es statt sleep noch eine Befehl für Millisekunden...
     
    Zuletzt bearbeitet: 20. Oktober 2009
  12. FGK

    FGK Eingetragener Provider

    Registriert seit:
    1. Juni 2000
    Beiträge:
    1.527
    Firmenname:
    velia.net Internetdi...
    Anbieterprofil:
    Klick
    AW: Löschen vieler kleiner files (sessions) = hohe last


    Die Shell kann * nicht expandieren, weil es ui viele Dateien sind.
    Also ohne * arbeiten, das von der Shell aufgelöst werden würde:

    http://groups.google.com/group/de.comp.sys.mac.misc/msg/fde658a9fd358b6f
     
  13. MW_Internet

    MW_Internet Eingetragener Provider

    Registriert seit:
    22. August 2007
    Beiträge:
    2.507
    Firmenname:
    MW-Internet
    Anbieterprofil:
    Klick
    AW: Löschen vieler kleiner files (sessions) = hohe last

    Wenn in dem Ordner NUR diese Session-Files liegen den gesamten Ordner löschen und neu anlegen...

    und vor allem: Das grundliegende Problem muss gelöst werden, also nicht nur die Folgen beheben!
     
  14. Mr. Brain

    Mr. Brain Erfahrener Benutzer

    Registriert seit:
    13. Mai 2005
    Beiträge:
    2.290
    Ort:
    Frankfurt am Main
    Firmenname:
    Welcome 2 Inter.Net
    Anbieterprofil:
    Klick
    AW: Löschen vieler kleiner files (sessions) = hohe last

    Mach die "mtime" kürzer.
     
  15. Mr. Brain

    Mr. Brain Erfahrener Benutzer

    Registriert seit:
    13. Mai 2005
    Beiträge:
    2.290
    Ort:
    Frankfurt am Main
    Firmenname:
    Welcome 2 Inter.Net
    Anbieterprofil:
    Klick
    AW: Löschen vieler kleiner files (sessions) = hohe last

    z.B. "sleep 0.1"
     
  16. MW_Internet

    MW_Internet Eingetragener Provider

    Registriert seit:
    22. August 2007
    Beiträge:
    2.507
    Firmenname:
    MW-Internet
    Anbieterprofil:
    Klick
    AW: Löschen vieler kleiner files (sessions) = hohe last


    Da sind doch alle "Schleifenlösungen" Unfug, denn hat schonmal jemand überlegt wie lange eine solche Schleifenfolge andauern soll, wenn zwischen jedem rm eine Sekunde liegen soll? Mit den "mehrere GB" sind ja nicht die Dateigrößen gemeint, sondern die Verzeichnisgröße! Da passen schon einige Millionen Dateien rein...
     
  17. A-N

    A-N Erfahrener Benutzer

    Registriert seit:
    13. September 2004
    Beiträge:
    1.669
    AW: Löschen vieler kleiner files (sessions) = hohe last

    Eben. Und es sind soviele das schon "ls" eine Last erzeugt :)
     
  18. Mr. Brain

    Mr. Brain Erfahrener Benutzer

    Registriert seit:
    13. Mai 2005
    Beiträge:
    2.290
    Ort:
    Frankfurt am Main
    Firmenname:
    Welcome 2 Inter.Net
    Anbieterprofil:
    Klick
    AW: Löschen vieler kleiner files (sessions) = hohe last

    Wie soll den bitteschön der Ordner gelöscht werden? Unter Linux kannst du einen Ordner nicht löschen, solange er nicht leer ist. Ein rekusives "rm" wird bei den vielen Dateien nicht funktionieren, da das "rm" hier meckern wird, dass die Dateiliste zu lange ist.
     
  19. antondollmaier

    antondollmaier Eingetragener Provider

    Registriert seit:
    19. April 2004
    Beiträge:
    902
    Firmenname:
    ADIT Systems
    Anbieterprofil:
    Klick
    AW: Löschen vieler kleiner files (sessions) = hohe last

    Wie schon von FGK gesagt wurde, mach das ganze ohne den "*".

    Bei neueren find-Versionen würde ich mir auch das -exec sparen, und direkt über -delete löschen. Ohne "-print" erfolgt auch keine Ausgabe.


    Code:
    find /var/www/web9/html/v2/tmp -type f -daystart -mtime +7 -print -delete
     
  20. MW_Internet

    MW_Internet Eingetragener Provider

    Registriert seit:
    22. August 2007
    Beiträge:
    2.507
    Firmenname:
    MW-Internet
    Anbieterprofil:
    Klick
    AW: Löschen vieler kleiner files (sessions) = hohe last


    z.B. mit mc und den Ordner markieren, dann delete, funktioniert auch mit ewig großen Verzeichnissen, da es nicht auf rm zurück greift. Man sollte nur darauf verzichten, mit mc in den Ordner wechseln zu wollen...
     
Status des Themas:
Es sind keine weiteren Antworten möglich.

Diese Seite empfehlen