Swapdatei unter OE 2.0

  • Ja, ich weiß, es gibt auch User, bei denen alles super läuft. :winking_face: Bekannterweise führt eine aktivierte Swap Datei bei vielen aber, inkl. mir, zu Aufnahmen mit Aussetzern.


    So eine Swap Datei ist aber nun mal wirklich praktisch, insb. wenn man wie ich CrossEPG und EPGRefresh verwendet. Es ist dann halt nicht genügend Ram da, wenn noch andere Sachen laufen, und irgendwann verabschiedet sich die Box (in meinem Fall eine 8000er).


    Deswegen meine Frage ans Team:
    Könnt Ihr uns Hoffnung machen, dass eine Swap Datei in naher Zukunft auch in den aktuellen OE 2.0 Experimentell Images läuft? Ist die Ursache für die Probleme bekannt?
    Würde mich über eine Antwort und Infos freuen.


    Danke und gruß


    Yappa


    P.S.
    Habe jetzt auf Anhieb keinen eigenen Thread gefunden, wo das diskutiert wird, also sorry, falls ich den übersehen haben sollte.

  • Ich brauche eigentlich keine permanente Swappartition auf der 8k, außer wenn ich HbbTV und Browser intensiv nutze.


    Nach dem letzten Update, gibt es hier aber keinen Crash mehr, wenn der dm8000 der Ram ausgeht.


    Vorher konnte ich, nur durch Browsernutzung "cannot allocate memory" + Crash auslösen.


    Jetzt wird nur noch der Browser so langsam, bis er irgendwann, im Laufe eines langen Fernsehabends unbrauchbar ist.

    Panasonic TX50-EXW784
    Panasonic SC-ALL70TEGK / SC-ALL2 wireless 5.1 Sundbar
    dm8000, dm7080, dm800sev2, dm900-dvb-s2-unicable, dm900-dvb-s2-multisat
    www.dreambox-tools.info Merlin-Project

  • hei hei,...


    YAPPA,... ich möchte dein anliegen mal hiermit unterstreichen, obwohl du `gezielt` durch das
    anlegen einer swapdatei die problematik mit den 2 genannten plugins ausschliessen zu hoffst,...


    es blieb mir (also gezielt in meinem fall) nur übrig, dieses geniale plugin `cross-epg` zu deinstallieren,
    weil aus der luft kommende E2 restarts kamen (dadurch dann natürlich der epg futsch), die box seeehr
    träge war und das `ding` mit dem man bezahl-tv entschlüsseln kann, verabschiedete sich auch des öft-
    eren,... wodurch dann aufnahmen in 2 teilen auf der hdd landeten oder gar nicht aufgenommen wurde.


    evtl. hat ja jemand was auf der pfanne, dass der speicherplatz nicht zu klein wird um `cross` problemlos
    auf der 8000er nutzen zu können,.... meine box: 8000er DMM oe 2.0 mit GP 3.2 alles top-aktuell gehalten


    mit epg-refresh von ritzmo habe "ich" keine probleme (zum glück für meine norw. programme)


    grüsse aus norge


    luigi13


    edith: seit cross deinstalliert wurde 0 probleme, keine zahnräder, alle aufnahmen top, das eine `ding` läuft stabil :smiling_face:

    Einmal editiert, zuletzt von luigi13 ()

  • Das Problem liegt nicht per se an CrossEPG, es liegt am zu knappen RAM (für solche Spielereien) aller Boxen außer der 7020HD.
    EPG Daten werden in den RAM geladen. Wenn Du dir mit CrossEPG die epg.dat mit EPG Daten für haufenweise Provider (gegebenenfalls sogar für die nächsten 30 Tage) vollballerst, dann geht der ohnehin spärliche RAM sehr schnell aus.
    Diverse SoftCams brauchen auch relativ viel Arbeitsspeicher.
    Auch das Streaming hochbitratiger Matroska Files per CIFS ist relativ speicherintensiv.
    Zusätzlich gibt es im gstreamer dann auch noch ein Memory Leak in Verbindung mit Untertiteln.


    Es ist dann letztendlich kein Wunder, dass der Box irgendwann der RAM ausgeht.


    Die Änderung im git, die Micha anspricht, bewirkt nun, dass - wenn der Memory ausgeht - erstmal alle anderen "Großverbraucher" gekilled werden. Zuvor wurde zuerst E2 als Größtverbraucher gekilled und es kam zum Greenscreen.


    Bei aktivem Swapspace würde stattdessen an dieser Stelle geswapped werden.
    Blöderweise kommt es dann aber (im OE 2.0) bei gleichzeitiger Nutzung von Swap und anderen I/O-intensiven Aufgaben (z.B. Aufnahmen) zu I/O-Engpässen und damit zu Aufnahmefehlern.

    Einmal editiert, zuletzt von WilliamG ()

  • jo WilliamG,... in meinem fall (also für meine 8000er) ist genauso wie du es schilderst,... cam, streaming
    (von pc zur box & oft noch mit untertitel) und misratene aufnahmen wg. willkürlicher E2 abstürze)


    --nur-- hatte ich lediglich die engländer auf 28.2°E mit cross gesammelt ,... sonst nix (zu viel ???)


    so wie ich deinen letzten absatz lese,...

    Zitat

    Bei aktivem Swapspace würde stattdessen an dieser Stelle geswapped werden.


    Blöderweise kommt es dann aber (im OE 2.0) bei gleichzeitiger Nutzung
    von Swap und anderen I/O-intensiven Aufgaben (z.B. Aufnahmen) zu
    I/O-Engpässen und damit zu Aufnahmefehlern.

    wird es wohl für die 8000er weiterhin so bleiben (???) und man könnte mit einem `swap` "nur speziell" fürs
    cross-epg nichts verbessern ? (hatte YAPPA schon mal im ihad nachgefragt, sowie es auch beim d-flash be-
    nutzt wird ?) okay,... speicher ist gering, aber eine problemlösung, dass die box nicht immer in die knie geht,
    wäre schön,...


    luigi13

  • Blöderweise kommt es dann aber (im OE 2.0) bei gleichzeitiger Nutzung von Swap und anderen I/O-intensiven Aufgaben (z.B. Aufnahmen) zu I/O-Engpässen und damit zu Aufnahmefehlern.


    Das funktioniert bei mir mittlerweile auch mit Swap ohne dass die Aufnahmen kaputt sind, das mag zum einen Teil am letzten Update liegen zum andern Teil weil ich Swap jetzt auf eine schnelle SSD (bitte keine 0815 SSD verwenden das bringt nix) gepackt hab.
    Auch nach mehreren Stunden Aufnahmetest (parallel mehrere Aufnahmen) war bei mir keine einzige kaputt. Das soll keine Pauschalaussage sein, aber zumindest bei mir funktioniert das jetzt perfekt, kann jetzt auch CrossEPG verwenden ohne dass mir der Speicher ausgeht.

    Einmal editiert, zuletzt von dhwz ()

  • Ja, ich habe Deine und Ghosts Untersuchungen dazu im IRC mitbekommen, dhwz.
    Und bezweifle eure Aussagen auch nicht.
    Kenne aber mindestens zwei Leute (u.a. Micha/Oldboke) - die ich als technisch versiert einstufen würde - die auch mit dem aktuellen Stand immer noch Probleme mit kaputten Aufnahmen bei aktivem Swap haben.


    Ghost sagte ja selbst, dass aktiv nichts Swap-spezifisches geändert wurde. Eine Verbesserung könnte ein "Nebenprodukt" der Kernelchanges sein.
    Hast Du denn bei deinen Tests den RAM zunächst ordentlich zugeballert, mehrere Stunden aufgenommen und auch in der Shell überprüft, ob überhaupt geswapped wurde?
    Und die Testaufnahmen dann auch komplett nach Glitches durchgeschaut?


    Oldboke testete mit SSD. Ok, sein Delock Sata SSD Stick ist, was Performance angeht, low-end (für eine SSD).
    Wobei ich dachte, dass es bei der Swap Problematik viel mehr um das I/O Handling bei zwei zeitgleichen I/O-intensiven Operationen, von denen eine zeitkritisch (Aufnahme) ist, geht.
    Wenn es dann zu einem I/O Flaschenhals käme, und die falsche Operation bevorzugt wird / blockiert, dann kommt es zu den uns bekannten Effekten.
    Die Geschwindigkeit des Swapspaces wäre dann nur dahingehend relevant, dass es bei einem sehr schnellen Swap (hoffentlich) fast nie zu diesen Kollisionen käme.


    Ich könnte natürlich auch total falsch liegen.
    Bin schließlich kein Kernel Coder :smiling_face:
    gutemines Ausführungen zum Thema "Swap im OE 2.0" sind übrigens auch interessant zu lesen *duck* :grinning_squinting_face:


    luigi13
    Ich kann leider auch keine Lösung anbieten.
    Ob ein SoftCam und normales Sat EPG + CrossEPG Daten von 28.2 schon genügen, um die 8k in die Knie zu zwingen, vermag ich mangels Erfahrungen (habe selbst keine 8k mehr) nicht zu sagen.
    Ich denke schon, dass Ghost an einer Lösung interessiert wäre. Nur fehlt momentan der richtige Ansatz.


    Swap Nutzung nur auf bestimmte Anwendungen zu beschränken ist afaik nicht möglich.
    Zumindest abstürzen sollte Deine Box mit dem aktuellen Stand jetzt nicht mehr, wenn ihr der Speicher ausgeht.

  • [ (bitte keine 0815 SSD verwenden das bringt nix)


    Hmm, also wenn ich so die Datenrate anschaue, die die Dream schafft, wenn ich denke dass swappen auf ne Festplatte klappt und wieviel höher die IOPS selbst der lahmsten der lahmen SSDs sind, hab ich da so meine Zweifel...


  • Ghost sagte ja selbst, dass aktiv nichts Swap-spezifisches geändert wurde. Eine Verbesserung könnte ein "Nebenprodukt" der Kernelchanges sein.
    Hast Du denn bei deinen Tests den RAM zunächst ordentlich zugeballert, mehrere Stunden aufgenommen und auch in der Shell überprüft, ob überhaupt geswapped wurde?
    Und die Testaufnahmen dann auch komplett nach Glitches durchgeschaut?


    Das hat nix mit dem auslagern in den Swap zu tun, die Aufnahmen gingen die ganze Zeit bei mir nach ca. 1 Stunde kaputt, völlig egal wie die RAM Auslastung war. Selbst wenn eigentlich Swap ungenutzt war, es reichte schon die Tatsache das überhaupt nur welcher eingebunden war. Frag mich nicht wieso das so ist/war. :confused_face:
    Da brauch ich auch nicht mehr nach Glitches suchen, wenn die Störungen mal angefangen haben war die Aufnahme dauerhaft kaputt, siehe Screenshot von DerMicha hier: OE2.0 und mkv


    Deshalb sagte ich ja auch das ist keine Pauschallösung für jeden, bei mir funktionierts wieso auch immer. :face_with_tongue:


    sirdir
    Jo, wobei selbst mit Swap auf HDD die Aufnahmen schon fast fehlerfrei waren.
    PS: Es gibt auch ganz üble SATA SSD Sticks. :winking_face:

  • Swap Nutzung nur auf bestimmte Anwendungen zu beschränken ist afaik nicht möglich.
    Zumindest abstürzen sollte Deine Box mit dem aktuellen Stand jetzt nicht mehr, wenn ihr der Speicher ausgeht.

    na, dann teste ich das cross nochmal und beobachte es,... :winking_face:
    dann versteh ich jedoch nicht, wie gutemine es bei seinem d-flash einsetzt,... und bevor das
    ganze jetzt zu `technisch` wird bei einer erklärung --> ich hätte nur gerne, dass das cross
    meine box nicht sooo schwerfällig macht,... (zahnräder ohne ende :frowning_face: )


    wenn ich 4 fette menschen im auto habe, weiss ich das der spritverbrauch höher ist und ich
    weiss auch, wenn ich einen berg nicht hochkomme (aufgrund der insassen) was zu tun ist,...
    nämlich 2 rausschmeissen --> das sollte im plugin-fall jedoch nicht das cross sein, norge grüsst,...


    luigi13

  • gutemine nutzt im dFlash Swap nur "on demand", sprich nur während einer Sicherung. Da läuft im Normalfall auch keine Aufnahme.


    Du kannst mal versuchen in den Einstellungen das EPG auf 5 oder 7 Tage zu beschränken. Bin mir aber gerade nicht sicher, ob die Einstellungen nur auf Daten vom Transponder oder auch Daten von extern wirkt.
    Weniger EPG -> kleinere epg.dat -> weniger RAM Verbrauch.

  • so weit ich weiss wirkt die beschränkung vom EPG auf alle daten, transponder und extern (wobie da meistens nur 7 tage geliefert werden)


    habs bei mir auch auf 7 tage eingestellt,
    DVB-T, 19.2 und 23.5 über transponder
    und 28.2 über crossepg (OpenTV)


    und das geht

  • Ich mach einfach vor dem sichern ein swapon und nachher wieder ein swappoff. Wobei es keine Stunde Arbeit wäre ein autoswap Plugin zu schreiben das sobald eine Aufnahme oder Timeshift läuft ein swapoff macht und wenn diese aufhört wieder ein swapon. Das ist nur eine halbe codeseite, die Frage ist eher ob es dann noch was bringt :smiling_face:

  • Na ja ich müsste es dann in den Plugins beim Sichern nicht selber handlen, und auch Sachen wie HBBTV und der Webbrowser sind etwas agiler wenn man nicht gerade auf USB swapped (auf meiner 8k wo ich auf SSD Stuck swappen kann merkt man schon einen Unterschied bei manchen sachen), aber die Frage ist halt ob es den Ärger wert ist.

  • Schlecht wäre diese SwapOff Funktionalität/Plugin garantiert nicht. Gerade wegen HbbTV oder sonstigen Dingen frisst enigma2 flott die MBs und da bringt ein Swap-File/Partition einiges. Man sieht es ja, dass mal kurz 30MB Swap zusätzlich verwendet wird wenn man mal bisschen HbbTV gesurft ist.

    In Betrieb
    Dreambox 920uhd-S2X/C
    Ausser Betrieb
    Dreambox 7080HD-S2/C / 8000-S2

  • wie schon gesagt das ist eigentlich lächerlich wenig code, warum muss immer ich sowas machen wo dann wieder alle böse auf mich sind falls es wieder erwarten problemlos funktioniert ?


    Aber für das mit crossEPG zugeballerte EPG chache bringt dir das nichts, weil du dann kein swapoff mehr zusammenbringst, oder es die Maschine auch wieder in die knie zwingt wenn sie das swapfile dann wieder hergeben muss. Ich würde eher den EPG cache im memory komprimieren, dann müsste das benötigte RAM auf einen Bruchteil des Platzbedarfs zusammenschrumpfen.

  • hei hei,....


    1. rückmeldung: vor 2 tagen das cross installiert (leichte probleme den pfad in der cfg. von internal flash
    auf hdd zu ändern,... nach mehrmaligem boxenstart ging das dann)


    die engl. und die norweger runtergeladen --> ging (für meine norw. jedoch nur 3 tage),... diese wollte ich
    dann heute morgen mit dem epg-refresh runterladen,... auf `hauptbild` gestellt ab zur arbeit,... ich komm
    heim,... die ganze box lahmgelegt (bootlogo war am tv, cam aus,... nach hin- und herschalten kam wieder
    ein bild auf free-tv,... nach neustart der cam konnte ich auch wieder pay-tv sehen)


    dann liess ich epg-refresh heute nachmittag laufen --> ok,... dann startete ich `force-reload-epg` für die
    engländer,... --> nix ging mehr,... cam aus,... ein neustart dieser brachte auch nix,... zum glück hat ein box-
    neustart alles wieder sichtbar gemacht,...


    mein fazit: i.-etwas verträgt sich nicht mit dem cross und der 8000er (oder es ist nur bei mir) das plugin an
    sich funktioniert ja,... aber die unannehmlichkeiten/nebenerscheinungen sind mir zu heftig,... das cross
    kommt wieder runter von meiner box,... eigentlich schade


    an sich wollte ich (vor den ganzen problemen) darauf hinweisen, dass sich wohl der pfad in der cfg. eigen-
    ständig ändert (s. pic),... nämlich auf `intenal flash`,... und dieses überprüft man ja nicht täglich und da
    könnte ich mir vorstellen, dass man sich mit der zeit den flash zuballert und die box träger und träger wird,
    dieses hatte ich auch schon im ihad gelesen,... aber eine lösung fürs selbstständige ändern des pfades gabs
    wohl nicht,.... grüsse aus norge


    luigi13