VRNW Archivierung

Reduzierung der Datenbank und mehrfache Archivierung

 
Sunhammer
Benutzer
Avatar
Geschlecht: keine Angabe
Beiträge: 21
Dabei seit: 06 / 2013
Betreff:

VRNW Archivierung

 · 
Gepostet: 24.06.2013 - 10:14 Uhr  ·  #1
Hallo zusammen,

erstmal Danke.
An alle, speziell an Holger Fischer, der die Probleme immer einige Wochen früher beantwortet als ich die Lösung brauche, aber auch an alle, die meine Probleme immer etwas früher posten als ich drauf stoße.
Mein Vorteil = schnelle Problemlösung.
Wie gesagt, ich war bisher immer ein stiller Mitleser und auch sehr froh drum, dass ich hier nie was posten musste. Leider hat diesmal die Forum-Suche versagt, ich hab nichts gefunden, was mir irgendwie behilflich gewesen wäre.

Eins noch: Sorry für den Roman, aber ich dachte es ist besser, relativ ausführlich zu beschreiben, um auch eine treffende Antwort zu erhalten.

------------------------
Jetzt zu meinem Problem bzw. zu meiner Frage:

1) Hintergrund
Wir benutzen VR-Networld schon seit jahren, vorher GENO-Lite. Die Geno-Lite-DB wurde damals in VR-Networld importiert.
Aktuelle Version: 4.41
Betriebsystem: Windows XP (nicht mehr lange, dann gehts nach Windows 7)
Unsere VRNW-DB war im "database" (vrfpe1.mdb) über 90MB groß, der Datenbestand liegt im Netzlaufwerk auf dem Server.
Das hat immer mal wieder zu (bekannte 180s) Timeouts beim Einpflegen der neuen Umsätze geführt.
Jetzt wollte ich mal die allten Umsätze archivieren, um die DB zu entschlacken und wieder flotter zu machen.
Das ist mir auch gelungen, ich bin momentan bei 54MB, tendenz fallend.

2)
Folgendes Vorgehen:
Erstellen eines neuen Archivs (z.B. Archiv_5) in den Einstellungen.
Manuelles Starten der Archivierung (Zeitraum: alles vor 01.01.2013 archivieren)
Warten...
Es kommt die Meldung: "5000 Aufträge und 5005 Umsätze archiviert. Es liegen weitere Datensätze zur Archivierung vor. Bitte rufen Sie die Archivierung noch einmal auf."
Gesagt, getan. Gleich nochmal gestartet.

3)
Beim zweiten (und jedem weiteren) Mal hat er schon über 40.000 Aufträge exportiert. Dabei ist er in den nächsten Zyklen auch geblieben. Die obige Meldung kam immer wieder.

4)
Beim Neustart von VR-Networld wurde anschließend die Produktiv-DB verkleinert. Super! Inzwischen kommt beim Auszüge abholen auch kein Timeout mehr. Grund genug, weiterzumachen.

5) Weitere Auffälligkeit:
Jedesmal wenn ich _kein_ neues Archiv zur Auslagerung erstellt hatte, dauerte der Archivierungsvorgang dementsprechend auch wesentlich länger. Warum?
Deshalb folgendes Vorgehen:
Bei jedem Archivierungsvorgang wird eine neue Archivdatei erstellt. Die letzte wurde 261MB groß, hat abr nur für eine Verringerung der Produktiv-DB von 57,7MB auf 54,3 MB gesorgt.

6) Finale Fragen:
Die Archiv-DB ist _wesentlich_ größer als die Produktiv-DB. Warum?
Falls irgendwann mal wirklich alle Aufträge exportiert sind, habe ich eine bestimmte Anzahl an Archiven. (momentan 7, jedes zwischen 250 und 600MB)
Ist es möglich, diese wieder zusammenzuführen auf ein einziges Archiv?
Falls nicht, kann ich dann irgendwie die in jedem Archiv ausgelagerten Umsätze feststellen? Ich würde die Archive gerne beschriften; momentan weiß ich nicht, welche Umsätze wo gespeichert sind.

So, das wars erstmal.
Ich wäre dankbar für Lösungsansätze.

Gruß,

Sebastian
Sunhammer
Benutzer
Avatar
Geschlecht: keine Angabe
Beiträge: 21
Dabei seit: 06 / 2013
Betreff:

Re: VRNW Archivierung

 · 
Gepostet: 24.06.2013 - 17:24 Uhr  ·  #2
Zur Info,
grade ist wieder ein Zyklus durch.
Größe Archiv-File = 297MB
Verringerung Datenbank-Größe: von 54,3MB auf 51,9MB nach Neustart VR-Networld.
Archivierte Aufträge: 42.000
Wieder ein neues Archiv angelegt und den nächsten Archivierungsvorgang gestartet.

Hab auch eben mal mit Notepad in die archiv-DB reingeschaut. Das meiste ist ja "Luft". Mir ist schleierhaft, wie sich das derart aufblähen kann.

Testweise mal ein Archiv gezippt:
297MB archiv-File lässt sich Zippen auf 8MB. Selbst die passen nicht zu den 2,4MB DB-Verringerung. *Kopfkratz*

Gruß,

Sebastian
Holger Fischer
Benutzer
Avatar
Geschlecht:
Herkunft: Korschenbroich
Alter: 53
Beiträge: 6205
Dabei seit: 02 / 2003
Betreff:

Re: VRNW Archivierung

 · 
Gepostet: 24.06.2013 - 18:12 Uhr  ·  #3
Hallo Sebastian

erstmal danke für die ausführlichen Erläuterungen deiner Fragen. Wenn jeder seine Fragen so gut erläutert, würde das oft deutlich weiter helfen.

Die Fragestellungen/Anmerkungen verstehe ich. Aber außer zur Beschreibung 2) und die erste Frage aus 6) kann ich die da praktisch nichts -sicher- zu sagen. Ich habe die daher mal weiter gegeben, da mich die Antwort mal interessiert (vom Bauch her würde ich fast vermuten, dass sich das eine oder andere mit einem möglichen Bug erklären lässt.)

Ich versuche es mal ;-)

zu 2)
Aus Perfomance/Technischen/..... Gründen, teilt die VR-NetWorld Software die Archivierung in maximal 5000 Datensätzen auf und schreibt diese in eine Archivdatenbank.

zu 6)
Nein, die Datenbanken können später nicht mehr zusammen geführt werden.

Davon abgesehen: Wenn Du noch eine Datensicherung vor der Archivierung hast, würde ich die Archivierung anders durchführen.
Ich würde bei der Archivierung immer ein Jahr archivieren. Sprich dwenn Du Daten bis rückwirkend 2001 hast würde ich zuerst Daten Archivieren, die Älter als 01.01.2002, dann die Daten, die Älter sind als 01.01.2003 usw.
Dann würde ich die Archive umbenennen in Archiv 2001 usw. (das geht über Einstellungen -> Netzwerk-Datenbestand - Eigenschaften).

Viele Grüße

Holger
Sunhammer
Benutzer
Avatar
Geschlecht: keine Angabe
Beiträge: 21
Dabei seit: 06 / 2013
Betreff:

Re: VRNW Archivierung

 · 
Gepostet: 24.06.2013 - 22:37 Uhr  ·  #4
Hallo Holger,

Danke für den Tipp.
Ich habs jetz mal genauso probiert und tatsächlich die DB in Windeseile auf jetzt 23MB runterbringen können.
Archivieren habe ich gestartet ab 2006, dann Jahr für Jahr bis "01.01.2012".
Das ist alles wunderbar in max. 5000er Schritten abgelaufen und hat jeweils keine 5 Minuten gedauert. Hat auch alles schön in einer 30MB kleinen Archiv-DB platz und konnte alles in _eine_ Archiv-DB reinlaufen ohne Performance-Verluste.
Jetz versuch ich grad noch "01.01.2013" und schon dauerts wieder. Die Archiv-DB wird auch schon wieder überproportional größer.

Ist da 2012 irgendwas passiert mit der DB? Umstellungen oder so? oder wird da irgendwas anders gespeichert?

Ich lass den jetz mal die Nacht rechnen und schau morgen früh nochmal ins Büro bevor ich zum Kundentermin muss.

Gruß,

Sebastian
Sunhammer
Benutzer
Avatar
Geschlecht: keine Angabe
Beiträge: 21
Dabei seit: 06 / 2013
Betreff:

Re: VRNW Archivierung

 · 
Gepostet: 24.06.2013 - 22:49 Uhr  ·  #5
Ähm, hallo nochmal.
Das ist mal wieder typisch. Kaum will mann dem lieben Rechner mal Zeit geben und schon braucht er sie nicht.
1 Minute nach dem Abschicken des vorigen Posts war das Archiv fertig und ist jetzt auf sehr zufriedenstellenden 15MB und hat auch nur noch Daten drin ab 01.01.2013. So bleibts jetz erstmal.
So flott hab ich VRNW noch nie erlebt beim Kontoauszüge verarbeiten ;)

Was mir beim letzten Lauf aufgefallen ist:
In den Jahren bis 2011 waren die Aufträge auf 5000 und die Umsätze immer auf 0.
Mit Ausnahme vom letzten Lauf, da waren es jetzt ca. 15.000 Aufträge und ca. 4.400 Umsätze, die archiviert wurden. Hat die Auffälligkeit evtl. irgendwas mit der Archivierung der Umsätze zu tun? Nur so ne Idee.

Gute Nacht und bis morgen.

Gruß,

Sebastian
Sunhammer
Benutzer
Avatar
Geschlecht: keine Angabe
Beiträge: 21
Dabei seit: 06 / 2013
Betreff:

Datum bei Archivierung

 · 
Gepostet: 23.07.2014 - 15:07 Uhr  ·  #6
Hallo zusammen,

ich wärm diesen Thread mal wieder auf, weils mit dem Thema zu tun hat.

Folgende Info vorweg:
Seit wir regelmäßig archivieren und die DB-Größe unter 30MB halten, haben wir mit den Verzögerungen beim Auszüge abholen keine Probleme mehr. In unserer DB sind i.d.R. keine Aufträge / Umsätze enthalten, die älter als 4 Monate sind. Das 2013er Archiv ist auch nur 85 MB groß, also keine Riesendatei mehr jenseits der 500MB. Archiviert wird bei uns nicht automatisch sondern manuell, max. 1x pro Monat.

Jetzt zum Thema:
Beim Archivieren wird man ja gefragt, welcher Zeitraum archiviert werden soll, z.B. "Alle Elemente archivieren, die älter sind als 01.04.2014". (Siehe Screenshot)
Folgendes Detailproblem ist mir bei der Archivprüfung grade aufgefallen:
Es wird immer der angegebene Tag mit archiviert, also stimmt die Randbedingung "älter als" nicht. Macht sich zwar beim Jahreswechsel warhscheinlich nicht bemerkbar, weil am 01.01.XXXX ohnehin keine Umsätze auflaufen. Bei Monatsarchiven dagegen wäre das evtl. kritisch.
Ich sehe das auch kritisch, wenn abweichende Wirtschaftsjahre vorhanden sind und der Gechäftsjahreswechsel z.B. auf den 01.11.XXXX fällt (und auch auf dieser Basis archiviert werden würde...). Hierbei würde bei Eingabe von "älter als 01.11.XXXX" der 01.11. mitarchiviert und wäre damit im falschen Archiv.

Viele Grüße,

Sebastian
Der an diesem Beitrag angefügte Anhang ist entweder nur im eingeloggten Zustand sichtbar oder die Berechtigung Deiner Benutzergruppe ist nicht ausreichend.
Holger Fischer
Benutzer
Avatar
Geschlecht:
Herkunft: Korschenbroich
Alter: 53
Beiträge: 6205
Dabei seit: 02 / 2003
Betreff:

Re: VRNW Archivierung

 · 
Gepostet: 01.08.2014 - 09:22 Uhr  ·  #7
Hallo Sebastian,

ich gebe das mal weiter. Mir persönlich ist das so noch nie aufgefallen, kann aber in der Tat daran liegen, dass ich die Archivierung in der Regel nur über das Jahresende durchführe.

Viele Grüße

Holger
Sunhammer
Benutzer
Avatar
Geschlecht: keine Angabe
Beiträge: 21
Dabei seit: 06 / 2013
Betreff:

Archive verkleinern und optimieren

 · 
Gepostet: 05.08.2014 - 18:14 Uhr  ·  #8
Hallo Holger,
ich glaub Dir das schon, dass das i.d.R. nicht auffällt. Ich gehör halt nicht zur Regel. 8-)

Ich habe mich übrigens noch weiter mit dem Thema Archivierung beschäftigt.
Meine alten Archive sind ja teils 300-600MB groß. Viel verschenkter Platz. Du kannst Dich bestimmt noch an meine vorigen Posts erinnern (oder nachlesen) mit meinen Kommentaren bzgl. Dateigröße und "Luft".

Folgende Überlegung:
Die neue Datenbanklogik hält die DBs wirklich schön klein. Warum also nicht diese Logik benutzen, um die alten Archive zu verkleinern?

Gesagt, getan.

Folgendes Vorgehen:

1) Neuen Datenbestand mit der großen Archivdatei anlegen (Screenshot 1)
2) Haken bei "Der Datenbestand ist ein Archiv" _NICHT_ setzen
3) Abmelden und beim neu erstellten Archiv-Datenbestand anmelden (der befindet sich unter "Aktuelle Bestände", _NICHT_ unter "Archive" bei der Anmeldung!!!)
4) VR-Networld beenden (einfach das Fenster schließen)
5) VR-Networld starten -> Jetzt minimiert die DB-Optimierung noch vor dem Login den Archivdatenbestand auf einen Bruchteil der ursprünglichen Größe, weil als Standard-DB die letzte aktive DB eingestellt ist. (Video, leider nur gezippt)
6) Abmelden und beim Produktiv-Datenbestand anmelden
7) Mit dem Explorer in das Archiv-Verzeichnis wechseln und die überflüssigen Ordner löschen (alle außer "database")
8) Fertig

Mit diesem Vorgehen konnte ich eine 600MB-Archivdatei auf 100MB verkleinern, die aktuelle 2014er von 85MB auf 10MB etc.

Vielleicht solltet ihr überlegen, wie die DB-Optimierungsfunktion auch auf die Archive angewendet werden kann - ohne diesen Umweg.

Gruß,

Sebastian
Der an diesem Beitrag angefügte Anhang ist entweder nur im eingeloggten Zustand sichtbar oder die Berechtigung Deiner Benutzergruppe ist nicht ausreichend.
Gewählte Zitate für Mehrfachzitierung:   0