EPG-Daten Sichern und einspielen

hucky1 · 31. Dezember 2011, 14:46

Dank der Tips von euch klappt meine Sicherung und ich habe nun die funktionierenden Scripts in ein ipk zur bequemen Installation gepackt.

Warum hier mit newnigma2?
Weil ich festgestellt habe, dass es seit dem Gemini-Project das stabilste Image für meine enigma2-Boxen ist.

Methode:
epg.dat wird Mo, Mi und Fr (/cron/crontabs/root) um 4:45 in /media/hdd/epg gesichert. Diese Uhrzeit deshalb, weil zuvor zwischen 3:30 und 4:30 das epgrefresh-Plugin die EPG-Daten aktualisiert (EPG-Refresh macht Sinn und sollte man installieren..).
Beim Neustart wird /etc/init.d/EPGRestore aufgerufen und die EPG-Daten je nach dem Vorhanden-Sein aktualisiert (restore oder nichts)

Backup, Restore & Info:
Schaltet man die Box aus und wieder ein, dann sucht EPGRestore ob es ein epg.dat oder/und eine Sicherung gibt. Existiert sie, dann stellt der Script die EPG-Daten wieder her.
Manuelles Restore kopiert die Sicherung von /media/hdd/epg auf /media/hdd und rebootet die Box.
Mit Info werden die aktuellen Daten der Sicherung auf dem Screen und im Log ausgegeben

Die Dateien und Verzeichnisse:
/media/hdd/epg/ (Verzeichnis mit dem Backup)
/media/hdd/ (Verzeichnis mit dem aktuellen epg.dat nach dem Neustart)
/tmp/ (Log-Files - werden nach jedem Vorgang überschrieben.)
/cron/crontabs/root (cron zur Automatisierung)
/etc/init.d/EPGRestore (das restore-Script)
/usr/script/EPGBackup.sh (manuelles Sichern)
/usr/script/EPGinfo.sh (wie der Name sagt)
/usr/script/EPGRestore.sh (manuelles Restore eines Backups)

Install:
Vorbedingungen:
enigma2
Festplatte auf /media/hdd gemountet
cron installiert (ist sinnvoll)
epgrefresh plugin installiert und konfiguriert (ist sinnvoll)

Setup:

download und kopieren von enigma2-epgsave-and-restore_1.2_all.ipk oder enigma2-epgsave-and-restore_1.3_all.ipkauf /media/hdd
Ausführen über die lokale Installation
Achtung ein vorhandenes /cron/crontabs/root wird überschrieben!
Telnet zur DM und Aktivieren von EPGRestore mit
/usr/sbin/update-rc.d -f EPGRestore defaults 65
cron starten: root@dm800:/#crond

enjoy it

nowy · 6. Januar 2012, 09:32

hi
danke für plugin
ein Problem habe ich denn

mein Box rebootet immer um 5 Uhr von alleine
das alles nach deine Instalation

EPG-Refresh macht die Arbeit bis 4.45 Uhr dann

passiert das hier dein log aus tmp

Enigma-Script ausgefuehrt am 06. January 2012 - 04:47:57
---------------------------------------------------------
EPG-Backup : Size: 5744825 vom: 06.01.2012-04:46:09
EPG-aktuell: Size: 5744825 vom: 06.01.2012-04:46:13
Fall 3: /media/hdd/epg.dat exisitiert auf hdd
Fall 3-1: und ist groesser als 3000000 B >> sichern auf /media/epg/epg.dat
=========================================================

wie kann ich es verändern

danke

hucky1 · 6. Januar 2012, 10:46

wozu willst du die epg.dat verändern?

nowy · 6. Januar 2012, 13:19

es geht mir darum das Tuner von allein um 5 Uhr reboot macht !
muss es so sein ?

glaube ich nicht oder
nowy

hucky1 · 6. Januar 2012, 14:10

ja doch, weil sonst die epg.dat nicht gesichert wird
Die Zeit, veränderst du in /cron/tabs/root
dort ist die Zeit für das Sichern eingestellt

Edit: Steht eigentlich im 1. Posting des Threads......

hucky1 · 6. Januar 2012, 22:19

Ich habe es geschafft, dass die Dreambox nach einem Stromausfall die gesicherte epg-dat automatisch lädt.

Der Weg zum Ziel:
Dank der Hinweise von unserm "Geistesblitz"

und arianebox habe ich den bootlog analysiert.

Dort versucht die DM bereits zu Beginn, also kurz nach dem Einschalten, die /media/hdd zu mounten.

Quellcode

[4294688.062000] 39 ms: 31 Starting /etc/rcS.d/S04bootup...
[4294688.089000] 27 ms: 10
[4294688.430000] Empty flash at 0x00222a70 ends at 0x00222c00
mount: mounting /dev/disk/by-uuid/b2a0c247-376b-4bb3-9e62-467b09f2fd51 on /media/hdd failed: No such device

Wie man sieht, kann die Festplatte zu diesem Zeitpunkt nicht zur Verfügung gestellt werden.

Viel später werden dann die EPG-Cache-Daten eingelesen.

Quellcode

[EPGC] Initialized EPGCache (wait fo[4294711.973000] bcm4506: channel 0 is sleeping now
r setCacheFile call now)
Loading spinners...
found 12 spinner!
executing main
setIoPrio best-effort level 3 ok
[4294712.710000] JFFS2 notice: (725) check_node_data: wrong data CRC in data node at 0x02eb3000: read 0xb92eb9a2, calculated 0x51021739.
[4294712.725000] JFFS2 notice: (725) check_node_data: wrong data CRC in data node at 0x03920c00: read 0x8fa68d11, calculated 0xa82851b6.
[4294712.779000] 16523 ms: =s
[4294712.827000] 48 ms: 50
/proc/stb/frontend/0/lnb_sense is 0
[setupConfigEntries] initial_call for stored uuid: b2a0c247-376b-4bb3-9e62-467b09f2fd51 {'mountpoint': '/media/hdd', 'device_info': 'SATA', 'device_description': 'ATA-WDC WD5000BEVT-2 (500.107 GB)', 'enabled': 'true'}
[storageDeviceChanged] for UUID:'b2a0c247-376b-4bb3-9e62-467b09f2fd51'
[mountPartitionbyUUID] mountpoint: /media/hdd

Alles anzeigen

Wie man hier sieht, wird aber noch vor dem Mounten der Festplatte der EPG-Cache initialisiert. Also muss ich das Mounten der /media/hdd vorher erzwingen.
Diese Mountprozedur geschieht nur beim Kaltstart der Box.

Diese Erkenntnisse habe ich nun im EPGRestore 1.1 einfließen lassen und eine Lösung realisiert.

Als "Nachgeschmack" bleibt, dass irgendwo, im Enigma2 ein Fehler vorliegt, denn schon im OOzoon-Image konnte ich keine Lösung finden.
Und - nicht ohne Grund versucht das System schon sehr bald die /media/hdd zu mounten.

Wesentlich ist, dass alle jene, die das Tool
enigma2-epgsave-and-restore_1.1_mipsel.ipk
zusammen mit dem EPG-refresh einsetzen, das lästige Problem mit einem leeren EPG-Cache nach einem Kaltstar tnicht mehr haben.

Die Lösung:
Bei dieser Gelegenheit habe ich die Sicherung von epg.at vom Flash-Speicher auf die Festplatte verlagert (/media/hdd/epg). Von dort werden sie beim Booten auf /media/hdd kopiert und schließlich in den Cache eingelesen und belasten den Flash-Speicher nicht mehr.
Und den Schreibfehler ewnigma2 habe ich auch egalisiert....

Ich bin mir sicher, dass diese Option irgend wann in irgend ein System eingebaut wird, weil es ja Sinn macht, dass die EPG-Daten nach einem Kaltstart oder Crash wieder da sind - zumindest bis 24 Stunden davor.

enjoy it!
Neue Version im 1. Posting

wer die Vorige Version 1.0 installiert hatte:
Wer die ewnigma2-epgsave-and-restore_1.0_mipsel.ipk installiert hatte bitte folgendes durchführen:
opkg remove ewnigma2-epgsave-and-restore
umount /media/hdd
rm /media/epg (damit der Flash-Speicher von epg.dat entlastet wird)
Nun die Box neu starten und ewnigma2-epgsave-and-restore_1.1_mipsel.ipk installieren

nowy · 7. Januar 2012, 14:14

oki
alles klar teste jetz version 1.1
danke

edit alles bestens

hucky1 · 15. Dezember 2013, 10:41

Diverse Anpassungen zur fehlerfreien Installation unter Newnigma 4.x
getestet auf
DM800seV2
DM800se

Download im ersten Posting

Schnello · 15. Dezember 2013, 11:34

Wie man hier sieht, wird aber noch vor dem Mounten der Festplatte der EPG-Cache initialisiert

Kann ich nicht nachstellen. Ein einfaches Script tut hier schon Monate gute Dienste

Shell-Script

#!/bin/sh
if [ -f /media/hdd/epg.dat ];then
cp -a /media/hdd/epg.dat /media/hdd/epgsicherung.dat
else
if [ -f /media/hdd/epgsicherung.dat ];then
cp -a /media/hdd/epgsicherung.dat /media/hdd/epg.dat
else
echo "Keine Sicherung Vorhanden"
fi
fi
exit

Alles anzeigen

Edit: Ah ok das bezieht sich auf einen Stand von vor mehr als einem Jahr.

Btw: Bzgl dem automatischen Backup. Werden da nicht Aufnahmen gekillt wenn eine läuft?
Habe ich für mich gelöst mit folgenden Script. Richtig angepasst (läuft auf dem Router und startet noch ein anderes Script) verhindert es den reboot wenn die Box aktiv ist, eine Aufnahme läuft oder geplant ist :

Quellcode

timeframe=$((`date +%s`+1800))
#Timerlist cleanup
wget -O- -q http://192.168.1.10/web/timercleanup?cleanup= | grep e2statetext | sed 's/.*<e2statetext>$.*$<\/e2statetext.*/\1/'
# Status Powerstate: 0 = Standby 1 = Akiv
if [ $(wget -O- -q http://192.168.1.10/web/powerstate |grep -c "false") = 1 ]; then
echo "Dreambox ist AKTIV... keine weitere Aktion"
else
#Ist eine Aufnahme aktiv?
if [ $(wget -O- -q http://192.168.1.10/web/timerlist |grep "e2state" | grep -c ">2<") -gt 0 ]; then
echo "Dreambox IDLE aber Aufnahme aktiv....."
else
if [ $(wget -O- -q http://192.168.1.10/web/timerlist |grep "e2timebegin"|sed 's/.*<e2timebegin>$.*$<\/e2timebegin.*/\1/'| head -n 1) -lt $timeframe ]; then
echo "Dreambox Idle und keine aktiven Aufnahmen.... jedoch in 30min"
else
echo "Shutdown......"
wget -O- -q http://192.168.1.10/web/powerstate?newstate=1
sleep 60
sh /etc/rc.local
exit 0
fi
fi
fi
else
echo "Dreambox offline"
if [ $(cat /mnt/sda1/dreamboxlog/bootlog.txt | tail -n 3 | grep -c "power_off") = 1 ];then
sh /etc/rc.local
echo "found clean shutdown...restart Bootlog"
else
echo "new log or unclean shutdown... no log restart"
fi
fi
exit

Alles anzeigen

hucky1 · 15. Dezember 2013, 17:49

Super Ergänzung!!

Rellyk · 15. Dezember 2013, 18:41

Da mein epg auch ständig wech ist teste ich auch mal das plugin
Danke dir...

hucky1 · 18. Dezember 2013, 10:58

Änderung /media/hdd auf /aufofs/sda1, da beim Hochfahren /media/hdd nunmehr nicht verfügbar ist und daher epg.dat aus der Sicherung nicht kopiert werden kann.
enigma2-epgsave-and-restore_1.3_all.ipk
Bootlog aus einem Kaltstart eingefügt

Taucheranzug · 16. Februar 2014, 22:52

Hallo,

habe Version 1.3 installiert. Wenn ich das Backup-Skript testhalber manuell starte (EPGrefresh wurde nicht vorher ausgeführt), sagt mir das Infoskript nach dem Reboot, dass keine Sicherung gefunden wurde). HDD und das EPG-Cache-Verzeichnis sind korrekt konfiguriert. Ich verwende Newnigma2 4.0.8.

Was läuft falsch?

Grüße,

Taucher

hucky1 · 4. März 2014, 09:26

Antworte spät, sorry war auf Urlaub

Ich kenne dieses Problem an und für sich nicht.
Checke aber folgende Dinge:
Sieh nach, ob im Job /etc/init.d/EPGRestore die Variablen nicht auf hdd sondern auf sda1(je nachdem wo die Harddisk gemountet ist) eingestellt sind

Inhalt z.B:
epgdat='/autofs/sda1/epg.dat'
epgback='/autofs/sda1/epg/epg.dat'

Sieh nach, ob der folder /media/hdd/epg/ existiert

Was steht in den Logs?
/var/volatile/tmp/EPG-Backup.log
/var/volatile/tmp/EPG_Restore.log
/var/volatile/tmp/EPG-Restore.log

sonst fällt mir dazu nichts ein

STW · 11. April 2016, 15:57

Hallo hucky,

wäre es denkbar das ich das EPG backup auf einem NAS ablege und sie dort von einer anderen Box wieder einlesen kann?

ich habe immer wieder Probleme mit fehlenden EPG Daten und habe deshalb EPGrefresh auf meiner DM8000 im Wohnzimmer laufen.
Auf meiner Box im Schlafzimmer DM500HD, die nicht so oft in gebraucht ist fehlen mir öfters mal EPG Daten.
Jetzt zu meiner Frage kann ich die gesammelten EPG Daten meiner Box im Wohnzimmer (zB über mein NAS) mit der Box im Schlafzimmer teilen?
Möchte ungern beide Boxen jede Nacht laufen lassen mit EPGrefresh.

Grüße STW

AlfredENeumann · 11. April 2016, 16:24

Alternative (falls das nicht geht):
Plugin enigma2-plugin-extensions-elektro installieren (sollte es auch online gehen); damit kannst du die Box zu einer beliebigen Uhrzeit aufwecken. EPG-Refresh auf ein paar Minuten später mit anschliessendem runterfahren konfigurieren, und alles ist gut.
Hab allerdings keine Ahnung, ob das auf der DM500 auch funktioniert, aber einen Versuch ist es wert.

Griffel · 11. April 2016, 16:36

Soweit ich das in Erinnerung habe, kann das aufwecken das EPGRefresh selber. In den Einstellungen mal auf erweitert gehen, da kannst du so konfigurieren, dass sich EPGRefresh selber aus dem DeepStandby weckt und nach der der EPG-Aktualisierung auch wieder dorthin geht.

AlfredENeumann · 11. April 2016, 16:58

...sollte wohl theoretisch so funktionieren, hat aber bei mir auf der DM800HD nie geklappt.....

STW · 11. April 2016, 17:12

Danke für die schnellen Antworten.

Ich hatte gehofft das es ausreichend ist an einer Box den EPGrefresh laufen zu lassen,
hätte nämlich noch zwei weitere Boxen die ich gen mit einbinden wollte.

Grüße

AlfredENeumann · 11. April 2016, 17:44

Vielleicht funktionierts ja, war ja nur als Alternative gedacht.
Ansonsten: Wem tuts weh, wenn die Boxen alle 3, 4 Tage mal für 1 Stunde laufen?

EPG-Daten Sichern und einspielen

EPG-Daten Sichern und einspielen

Die fertige Lösung

Quellcode

Quellcode

Anpassungen EPGSave & Restore

Shell-Script

Quellcode

Teilen