Die ewige Suche nach den EPG Daten und einem perfekten Image

hucky1 · 6. Dezember 2011, 01:42

Hallo Leute!
Wie das Thema schon sagt, bin ich auf der ständigen Suche nach einer Lösung, dei EPG-Daten regelmäßig - sprich täglich - zu sichern, um bei einem Stromausfall oder sonstigen Abstürzen, die vollständige EPG Liste wieder zu haben.

Seit ein paar Tagen beschäftige ich mich mit newnigma2
Devicename: dm800se
Enigma Version: 2011-11-10-3.2
Image Version: Newnigma2 v3.3.1 2011-11-14
Frontprozessor Version: V3
Webinterface Version: 1.6.8

Während ich mit oozoon zumindest ein Backup erzielte, wenn ich die Box manuell neu gestartet habe (epg wird auf /media/hdd geschrieben usw.) fehlen mir die log-files und die epg.dat-Sicherung.

Und da bin ich auf etwas eigenartiges gestoßen.
Um mir die Sache näher zu betrachten, habe ich in der /usr/bin/enigma2.sh ein init 4 eingebaut, damit der Bootvorgang unterbrochen wird.

Brainfuck-Quellcode

if [ -d /home/root ]; then
cd /home/root
fi
# --------------------user defined startroutines ------------------
# epg-check durchfueren by hucky
/usr/script/EPG_INFO.sh enigma
# aktuelle keys holen by Hucky
#/usr/script/keyupdater.sh
# --------------------------------------------------------
init 4
LIBS="$LIBS /usr/lib/libopen.so.0.0.0"

Alles anzeigen

Ich staunte nicht schlecht, als ich sah, dass mein Script brav ausgeführt wird - aber wo zum Teufel ist meine hdd?

newnigma mountet die angeschlossenen Festplatten zu diesem Zeitpunkt gar nicht - selbst das manuelle mounten (mount all) klappt nicht, weil der die ID's aus fstab nicht zuordnen kann.
(siehe Bilder)

Folglich ist weder meine epg.dat gesichert, noch sehe ich später - wenn die Box wieder läuft meine log-files.
Ich habe das Backup-Verzeichnis sogar umbenannt, aber das bringt auch nichts, weil nach dem Bootforgang das Verzeichnis /media/hdd ein anderes Ziel bekommt.

Nun ist mir aber auch klar, dass newnigma2 die OSD-Pfade der USB-Sticks "vergisst" - aber das soll ein Thema eines anderen Threads werden.

Irgendwie habe ich den Eindruck, dass es kein einziges wirklich brauchbares Image gibt.
Gemini war eines - aber das Projekt ist ja gestorben - schade......

der EPG_info.sh script, mit dem ich dei epg.dat sichern will (wollte)

Brainfuck-Quellcode

Linie="---------------------------------------------------------"
DLinie="========================================================="
epgdat='/media/hdd/epg.dat'
epgback='/media/hdd/backup/epg.dat'
newepgsz=0
oldepgsz=0
minsize=100000
ausgabe='tee -a /media/hdd/EPG_INFO.log'
ausenigma='/media/hdd/EPG_INFO_Enigma.log'
# end
case "$1" in
enigma)
rm -f /media/hdd/EPG_INFO.sh.log
echo -e 'Enigma-Script vom ' `date +"%d. %B %Y - %H:%M:%S"` '\n'$Linie > $ausenigma
# falls es nicht existiert, ein backup-verzeichnis erstellen
mkdir -p /media/hdd/backup
# checken auf ein altes epg.dat (wenn jemals eine Sicherung beim Neustart erfolgt ist)
if [ -f $epgback ] ; then
oldepgsz=`ls -l $epgback | awk '{print $5}'`
oldepgdate= `date -r $epgback +"%d. %B %Y - %H:%M:%S"`
else
oldepgsz= 1
oldepgdate= 1
fi
# checken auf ein neues epg.dat (wenn enigma sanft heruntergefahren wurde)
if [ -f $epgdat ] ; then
newepgsz=`ls -l $epgdat | awk '{print $5}'`
newepgdate= `date -r $epgdat +"%d. %B %Y - %H:%M:%S"`
echo 'epg existiert auf /media/hdd' >> $ausenigma
# ist das neue epg.dat aktuell?
if [ $newepgdate -gt $oldepgdate ] ; then
if [ $newepgsz -gt $minsize ] ; then
echo 'epg groesser als ' $minsize 'B (new epg.dat [' $newepgsz '] > ' $minsize ') >> sichern' >> $ausenigma
cp -f $epgdat $epgback
chmod 755 $epgback
else
echo 'epg.dat kleiner als ' $minsize ' (new epg.dat [' $newepgsz '] < ' $minsize ') >> restore' >> $ausenigma
cp -f $epgback $epgdat
chmod 755 $epgdat
fi
fi
# wennn es ein backup gibt, dann einspielen
elif [ -f $epgback ] ; then
echo 'epg.dat fehlt >> restore von /media/hdd/backup epg.dat: [' $oldepgsz '] )' >> $ausenigma
cp -f $epgback $epgdat
chmod 755 $epgdat
# es exisitiert weder ein backup noch ein neues epg.dat
else
echo 'Kein epg.dat durch enigma2 gespeichert und es fehlt das backup >> kein Vorgang durchgefuehrt' >> $ausenigma
fi

Alles anzeigen

deepblue2000 · 6. Dezember 2011, 11:39

puh so ganz steig ich nicht durch, aber bei mir wird die epg.dat bei einem gui restart oder box neustart vorher auf den USB Stick geschrieben, der automatisch mounted wird. das muss man nur im newnigma menu einstellen, das er die epg.dat auf FlashDisk oder HDD speichern soll.

Rabevater · 6. Dezember 2011, 15:57

Original von deepblue2000
das muss man nur im newnigma menu einstellen, das er die epg.dat auf FlashDisk oder HDD speichern soll.

Hallo

Wo bitte im Menü stellt man das ein?

edit:
habe es gefunden. Entschuldigung
Trotz dem steht bei mir nach Neustart auch nicht gleich das EPG zur Verügung.

hucky1 · 6. Dezember 2011, 20:29

Also, bei einem "normalen"Neustart schreibt Enigma die EPG Daten auf die HDD und liest sie beim Start wieder ein. Ich frage mich nur, weshalb über die Methode, bzw. Die Routine, die dieses File erzeugt, ein solches Geheinis gemacht wird.
Es obliegt scheinbar den Enigma-Entwicklern, dieses "Geheimnis" zu lüften

Nicht wirklich witzig ist, dass dieses Antifeature von keinem Image-Programmierer in Angriff genommen wird - lediglich im Gemini Projekt gab es ein Backup&Restore, soweit ich mich erinnere.
Schade- denn lästig ist es allemal.

PS: Natürlich habe ich eine Lösung für das Speichern der EPG.dat gefunden.
Ich lege dazu auf /media ein Verzeichnis hdx an und schreibe mit meiner shellroutine die EPG.dat von /media/hdd dorthin. So weit so gut - Ich will aber nicht jedesmal von Hand aus einen Neustart durchführen um dies zu erreichen...
Das müsste ich jedesmal tun, wenn mein Fernsehabend endet

hucky1 · 8. Dezember 2011, 23:36

Quellcode

def saveEPG(self, save = True):
savetype = int(config.plugins.automaticepgcachesave.type.value)
if savetype > 0:
if save:
print "[AutomaticEPGCacheSave] saving epg.dat..."
epgcache = eEPGCache.getInstance()
epgcache.save() # Merlin2 feature only

Dies ist die Save-Routine aus dem Plugin "AutomaticEPGCacheSave"!
Wie man erkennen kann, ein Feature aus dem Merlin2-Image...

Also kein Auftrag an die Enigma2-Entwickler
Wo sind die fleißigen newnigma2-Programmierer?

arianebox · 9. Dezember 2011, 11:18

vielleicht steh ich auf der leitung, aber ich verstehe dein problem nicht.

mach doch nachts um warweissich-uhr per cron einen reboot (womit die EPG daten gesichert werden) -
wozu brauchst du da einen programmierer für eine extra sicherung?

Fred Bogus Trumper · 9. Dezember 2011, 11:32

Original von hucky1

Dies ist die Save-Routine aus dem Plugin "AutomaticEPGCacheSave"!
Wie man erkennen kann, ein Feature aus dem Merlin2-Image...

wie du richtig schreibst: aus dem Merlin2

im Merlin3 (Basis DMM 3.2.x) gibt es dieses feature auch nicht mehr, weil man dafür einen Teil im mittlerweile closed source enigma2 patchen müsste ...

hucky1 · 9. Dezember 2011, 13:07

@arianebox
Wenn ich ein Reboot um wasweissich-uhr mache, dann werden die EPG-Daten nicht auf /media/hdd/ hinterlegt.
Ich habe init0 bis init6 getestet, shutdown sowie reboot und in keinem Fall wird der epg-cache auf die Festplatte geschrieben. Das geschieht nur dann, wenn man mit der FB übers Menü einen Neustart durchführt.

Danke für den Tipp, aber das ist nicht die Lösung!

Zum Verständnis für mein Problem:
Es nervt mich (und auch meine Frau), wenn - aus welchem Grund auch immer - die Box rebooten muss und alle EPG-Einträge weg sind.
Ich betreibe im Haus 4 DM's 1 x DM600, 2 x 800HDse und 1 x DM500HD
Mit einer 800HDse kann ich die EPG-Daten im LAN auf die anderen HD-Boxen verteilen.
Das Restore ist dann kein Thema (siehe script-Auszug)

@Fred Bogus Trumper
Die closed source enigma2 wird wahrscheinlich das Motiv für Titan sein - nehme ich an.

Quellcode

;;
restore)
rm -f /media/hdd/EPG_INFO.sh.log
echo -e 'Enigma-Script vom ' `date +"%d. %B %Y - %H:%M:%S"` '\n'$Linie > $ausenigma
# checken auf ein altes epg.dat (wenn jemals eine Sicherung beim Neustart erfolgt ist)
if [ -f $epgback ] ; then
oldepgsz=`ls -l $epgback | awk '{print $5}'`
oldepgdate= `date -r $epgback +"%d. %B %Y - %H:%M:%S"`
else
oldepgsz= 1
oldepgdate= 1
fi
echo 'EPG-Daten: Size: ' +$newepgsz +' vom: ' +$newepgdate >> $ausenigma
if [ $oldepdate -neq 1 ]; then
echo '\nEPG-Backupdaten: Size: ' +$oldepgsz +' vom: ' +$oldepgdate >> $ausenigma
else
echo '\nkein EPG-Backup vorhanden' >> $ausenigma
fi
# checken auf ein neues epg.dat (wenn enigma sanft heruntergefahren wurde)
if [ -f $epgdat ] ; then
newepgsz=`ls -l $epgdat | awk '{print $5}'`
newepgdate= `date -r $epgdat +"%d. %B %Y - %H:%M:%S"`
echo 'epg existiert auf /media/hdd' >> $ausenigma
# ist das neue epg.dat aktuell?
if [ $newepgdate -gt $oldepgdate ] ; then
if [ $newepgsz -gt $oldepgsz ] ; then
echo 'epg groesser als ' $oldepgsz 'B (new epg.dat [' $newepgsz '] > ' $minsize ') >> sichern\n' >> $ausenigma
echo 'Kein weiterer Vorgang. EPG wird selbständig wieder hergestellt' >> $ausenigma
else
echo 'Kein EPG.dat auf /media/hdd >> restore vom Backup' >> $ausenigma
cp -f $epgback $epgdat
chmod 755 $epgdat
fi
fi
# wennn es ein backup gibt, dann einspielen
elif [ -f $epgback ] ; then
echo 'Kein EPG.dat auf /media/hdd >> restore vom Backup: [' $oldepgsz '] - [' $oldepgdate '] )' >> $ausenigma
cp -f $epgback $epgdat
chmod 755 $epgdat
# es exisitiert weder ein backup noch ein neues epg.dat
else
echo 'Kein epg.dat durch enigma2 gespeichert und es fehlt das backup >> kein Vorgang durchgefuehrt' >> $ausenigma
fi

Alles anzeigen

Bit · 9. Dezember 2011, 14:31

Das EPG geht verloren bei init x.
Das kannst Du aber mit wget... machen. Habe die Syntax jetzt nicht im kopf.

arianebox · 9. Dezember 2011, 15:57

richitg, init x ist nicht die lösung

meine /usr/script/reb.sh schaut so aus:
wget -q -O - localhost/web/powerstate?newstate=2

EPG schreiben funkt einwandfrei, grad nochmal getestet.
so eine *.sh in den cron und fertig

Lancom · 9. Dezember 2011, 22:44

Ihr könnt doch nicht erwarten das hinter euren Bildschirm ein ITler steht.

Das verstehen doch nur noch Experten.

Wenn mir das System vorgibt das ich die EPG.dat bla bla auf einem Medium speichern kann..mach ich es.
Nach einem Neustart ist nichts mehr zu sehen..EPG???? Fehlanzeige.
Extra einmal ein CF dafür eingeschoben.
Pfade sind angepasst.

Gruß

arianebox · 10. Dezember 2011, 01:28

Original von Lancom
Wenn mir das System vorgibt das ich die EPG.dat bla bla auf einem Medium speichern kann..mach ich es.

ja aber falsch!

entweder nutzt du die für alle vorgegebene funktion beim ordentlichen runterfahren oder du bastelst halt irgendwas selber. aber dann bittschön mit dem richtigen befehl, ohne mit init x das system zu beenden ohne speicherung!

da du ja kein IT-experte bist, bleib lieber beim standard

hucky1 · 10. Dezember 2011, 01:32

Original von arianebox
richitg, init x ist nicht die lösung

meine /usr/script/reb.sh schaut so aus:
wget -q -O - localhost/web/powerstate?newstate=2

EPG schreiben funkt einwandfrei, grad nochmal getestet.
so eine *.sh in den cron und fertig

Auch soeben getestet Funktioniert perfekt - das meint sogar mein Script, nachdem ich das Backup vom Vortag gelöscht hatte

Brainfuck-Quellcode

Enigma-Script vom 10. December 2011 - 01:26:07
---------------------------------------------------------
EPG.dat existiert auf /media/hdd
EPG-Daten: Size: +502585 + vom: +
EPG-Backupdaten: Size: +0 + vom: +
epg groesser als 100000 B (new epg.dat [ 502585 ] > 100000 ) >> sichern

Herzlichen Dank :thumbsup:

Fred Bogus Trumper · 10. Dezember 2011, 01:37

kannst du mal das gesamte script uppen - klingt wirklich interessant

hucky1 · 11. Dezember 2011, 12:27

Sicherlich - gerne!

Ich bin aber derzeit dabei, eine möglichst komfortable Lösung zu suchen und stoße dabei auf mehrere "Probleme"

Problem 1:
Um die aktuelle epg.dat zu identifizieren, wäre das einfachste, das Datum zu vergleichen. Leider wird beim Booten der Box, während /usr/bin/enigma2.sh abläuft das Datum noch nicht aktualisiert (wie auch) somit ist das Datum von epg.dat stets der 1.1.2000 und es bleibt nur mehr die Möglichkeit über die Filegröße zu entscheiden, ob die Sicherung engespielt wird, oder die aktuelle epg.at gesichert wird. Ich werde aber eine Sicherung auslösen, sobald die Sicherung älter als drei Tage ist

Problem 2:
Nach dem Kaltstart wird die epg.dat in die ungemountete /media/hdd geschrieben. Das ist soweit sehr gut, allerdings schreibt diese Info newnigma scheinbar nicht in den epg-cache. Erst nach einem erneuten gui-neustart sind die epg-Daten verfügbar.
Es ist zudem ein Irrglaube, dass die geschriebene epg.dat gelöscht wird. Sie steht nach wie vor auf /media/hdd, bloß versteckt sich der Speicherplatz später, wenn eine physikalische Festplatte gemountet wird. Siehe Bild (Boot1.png).
Hier ist deutlich erkennbar, dass /media/hdd am 1.1.2000 erstellt wurde - also beim Bootvorgang. Interessant ist das "modified" Datum, das aktuell ist, epg.dat ist wiederum vom 1.1.2000 (Boot2.png). Das "Bild" habe ich nach einem Kaltstart gemacht, wo eigentlich keine epg.dat existieren dürfte.
Es wäre interessant und dienlich zu wissen, wo der Speicher /media/hdd im Flash tatsächlich liegt.

Problem 3:
Nachdem die physikalische Festplatte während des Startvorgangs noch nicht gemountet ist, werden die EPG-Daten in den Root-Speicher der Dreambox gestellt. Das gilt sowohl für die epg.dat von /media/hdd/ als auch für sonstige Verzeichnisse. Derzeit stelle ich die epg.dat in das /tmp, weils wurscht ist, ob ich dazu ein /media/xyz verwende - alles liegt im Memory der Deambox - und belastet diesen Speicher nicht unerheblich, denn es exisitieren ja nach meiner Sicherung immerhin zwei epg.dat Files.

Im Bild Boot3.png habe ich den Script manuell gestartet um zu sehen, dass alles korrekt abläuft.

Bis auf die o.g. Probleme wäre der Skript schon brauchbar. Allerdings hinkt das Ganze durch den nachträglichen GUI-Start noch ein bisschen.

Vielleicht kann hier jemand mithelfen.

Der Script benötigt eine Änderung von /usr/bin/enigma.sh - siehe hier

Brainfuck-Quellcode

if [ -d /home/root ]; then
cd /home/root
fi
# --------------------user defined startroutines ------------------
# epg-check durchfueren by hucky
if [ -e /usr/script/EPG_INFO.sh ]; then
/usr/script/EPG_INFO.sh enigma
fi
# aktuelle keys holen by Hucky
#if [ -e /usr/script/keyupdater.sh ]; then
# /usr/script/keyupdater.sh
#fi

Alles anzeigen

und das ist der sicherungs-Script bereits mit der Abfrage auf eine zu alte Sicherung
(modified 11.12.2011 14:34)

Shell-Script

#!/bin/sh
# powered by hucky1 2011
# modified dec 2012
#
# zuerst wird gecheckt ob epg.dat von enigma gespeichert wurde
# falls ja, dann vergleichen, ob die datei aktuell und groesser
# als 2 MB ist (das trifft fast immer dann zu, wenn die Daten vollstaendig sind)
# Bei Bedarf die Variable minsize aendern
Linie="---------------------------------------------------------"
DLinie="========================================================="
epgdat='/media/hdd/epg.dat'
epgback='/tmp/epg.dat'
newepgsz=0
oldepgsz=0
minsize=3000000
# script, der manuell
ausgabe='tee -a /tmp/EPG_INFO.log'
# script der durch Enigma kreiiert wird
ausenigma='tee -a /tmp/EPG_INFO_Enigma.log'
# end
case "$1" in
enigma)
# dieser case wird immer dann ausgeführt, wenn die Dreambox startet
# egal, ob durch Reset, Stromausfall oder manueller Neustart
# aufgerufen wird er durrch /usr/bin/enigma2.sh
# loeschen des letzten manuellen scripts
# rm -f /tmp/EPG_INFO_Enigma.log'
# rm -f /tmp/EPG_INFO.log'
fall=0
echo -e 'Enigma-Script ausgefuehrt am '`date +"%d. %B %Y - %H:%M:%S"`'\n'$Linie | $ausenigma
chmod 755 '/tmp/EPG_INFO_Enigma.log'
if [ -f $epgback ] ; then
oldepgsz=`ls -l $epgback | awk '{print $5}'`
oldepgdatesec=`date -r $epgback +%s`
oldepgdate=`date -r $epgback +%d.%m.%Y-%H:%M:%S`
echo 'EPG-Backup : Size: '$oldepgsz' vom: '$oldepgdate | $ausenigma
fall=1
else
# es exisitert kein Backup
oldepgsz=1
oldepgdatesec=1
fall=2
fi
epgzualt=$((`date +%s`-259200-$oldepgdatesec))
# checken auf ein neues epg.dat (wenn enigma sanft heruntergefahren wurde)
if [ -f $epgdat ] ; then
fall=3
newepgsz=`ls -l $epgdat | awk '{print $5}'`
newepgdatesec=`date -r $epgdat +%s`
newepgdate=`date -r $epgdat +%d.%m.%Y-%H:%M:%S`
echo 'EPG-aktuell: Size: '$newepgsz' vom: '$newepgdate | $ausenigma
if [$epgzualt -gt 0 ] ; then
fall=4 # das Backup ist zu alt
fi
fi
case "$fall" in
"1") # nur Backup exisitiert
echo 'Fall 1: aktuelles epg.dat fehlt, aber Backup exisitiert'
echo 'restore von '$epgback | $ausenigma
cp -f $epgback $epgdat
chmod 755 $epgdat
;;
"2") # es exisitiert weder ein backup noch ein neues epg.dat
echo 'Fall 2: Weder epg.dat durch enigma2 gespeichert,' | $ausenigma
echo 'noch existiert ein Backup > kein Vorgang durchgefuehrt' | $ausenigma
echo 'Sobald die EPG-Daten aktuell sind, starte hier EPG-Save' | $ausenigma
;;
"3") # es exisitiert ein aktuelles epg.dat auf /media/hdd
echo 'Fall 3: '$epgdat' exisitiert auf hdd' | $ausenigma
# epg.dat neu und aktuell
if [ $newepgsz -gt $minsize ]; then
echo 'Fall 3-1: und ist groesser als ' $minsize 'B >> sichern auf '$epgback | $ausenigma
cp -f $epgdat $epgback
chmod 755 $epgback
else # epg.dat zwar neu, aber nicht aktuell
echo 'Fall 3-2: und ist kleiner als ' $minsize 'B >> restore von '$epgback | $ausenigma
cp -f $epgback $epgdat
chmod 755 $epgdat
fi
;;
"4") # das backup ist zu alt
echo 'Fall 4: '$epgback' ist zu alt' | $ausenigma
echo 'neue epg.dat wird gesichert' | $ausenigma
# epg.dat neu und aktuell
cp -f $epgdat $epgback
chmod 755 $epgback
;;
esac
echo -e $DLinie'\n\n' | $ausenigma
;;
*)
echo -e 'Script zur Info ausgeführt am ' `date +"%d. %B %Y - %H:%M:%S"` '\n'$Linie | $ausgabe
# checken auf ein altes epg.dat (wenn jemals eine Sicherung erfolgt ist)
if [ -f $epgback ] ; then
oldepgsz=`ls -l $epgback | awk '{print $5}'`
oldepgdatesec=`date -r $epgback +%s`
oldepgdate=`date -r $epgback +%d.%m.%Y-%H:%M:%S`
echo -e 'EPG-Backup : Size: '$oldepgsz' vom: '$oldepgdate'\n\n\n' | $ausgabe
fall=1
if [ -f /tmp/EPG_INFO_Enigma.log ]; then
echo -e $DLinie'\nEnigma-Logdatei:'$ausenigma'\n' | $ausgabe
cat /tmp/EPG_INFO_Enigma.log
fi
else
echo 'Kein Backup von epg.dat' | $ausgabe
echo 'Sobald die EPG-Daten aktuell sind, starte EPG-save manuell' | $ausgabe
fi
echo -e $DLinie'\n\n' | $ausgabe
;;
esac
exit 0

Alles anzeigen

hucky1 · 11. Dezember 2011, 15:00

Kleine Ergänzung:

Daten in der vom System gemounteten /media/hdd bleiben nur dann, wenn sie während des Bootvorgangs manipuliert wurden (attribut setzen etc.).
Der Kopiervorgang nach /tmp beeinflusst das Löschen durch das Betriebssystem nicht!

Fazit: epg.dat ist nach dem Bootvorgang tatsächlich gelöscht. Das Datum ist zu diesem Zeitpunkt aber 1.1.2000.

2predator · 15. April 2012, 09:41

hi hucky1
Ich hab einen usb stick an die 800se gesteckt und im Devicemanager in betrieb genommen.

Dann alle pfade auf /autofs/sdb1 geändert.
und siehe da ... der script funzt ohne probleme

mfg

hucky1 · 15. April 2012, 10:00

Brainfuck-Quellcode

Brainfuck-Quellcode

Quellcode

Quellcode

Brainfuck-Quellcode

Brainfuck-Quellcode

Shell-Script

Teilen