Hallo!

Ich nutze Jameica/Hibiscus schon eine ganze Weile.
In den letzten Jahren sind durch Familienkonto, Kinderkonto, Verein usw. ca. 20.000 Datenbankeinträge zusammengekommen.

Mein Probleme sind nun:
- Die gepackten Datenbanken sind jeweils >200MB, in Summe also mehr als ein Gigabyte auf der Festplatte.
- Das Starten dauert schon lange ... aber besonders das Beenden (neu packen etc ...) benötigt eine Ewigkeit.
- Ein größeres Konto (mit ca. 4000 Umsätze in den lezten Jahren) ist richtig egelhaft zäh in der Umsatzanzeige.


Ich nutze Hibiscus nur zum Abruf der Umsätze der Konten.
Nur vereinzelt werden darüber auch Überweisungen vorgenommen.
Generell nutze ich keine Auswertung oder Verwaltungsfunktionen.

Meint, >95% der Daten sind Kontoumsätze.
Wenn ich nun genau ALLE diese Umsätze in eine CSV-Datei exportiere sind es ca. 5MB.


Besonders verwirrend finde ich, dass die Hibiscusdatenbank selbst gepackt so riesig ist.
Schicke ich meine 5MB CSV durch Winzip hat die Datei nur noch 1/5 der Größe.


Woran liegt dieses extreme Volumen?
Und bekommt man dies irgendwie wieder normal und nutzbar?

Gruß

PS: Der Volumenanstieg war die letzten Jahre stetig und nicht plötzlich nach einen Update osä.

Selbst mit 20.000 Umsatzbuchungen sollte die Datenbank nicht annaehernd so gross werden. Entweder in der Datenbank befinden sich irgendwelche Daten, die eigentlich nicht gebraucht werden oder in deinem Jameica-Benutzerverzeichnis ".jameica" befinden sich Dateien, die da eigentlich nicht hingehoeren. Kannst du mal im Benutzerverzeichnis schauen, welche Dateien konkret fuer den Grossteil der Datenmenge verantwortlich sind. Siehe http://www.willuhn.de/wiki/dok…erzeichnis



Naja, kein Wunder, wenn das Benutzerverzeichnis selbst gepackt ueber 200MB gross ist. Schicke mir mal die Log-Datei "jameica.log" per Mail an hibiscus[at]willuhn.de - vielleicht finden sich da irgendwelche Auffaelligkeiten. Siehe http://www.willuhn.de/wiki/doku.php?id=support:fehlermelden



Stelle hier entsprechende Filter ein, damit nicht jedesmal alle Umsatzbuchungen in die Liste geladen werden. Die Tabellen in Hibiscus sind nicht wirklich zur Anzeige vieler Datensaetze auf einmal geeignet. Daher: Stelle z.Bsp. als Zeitraum das aktuelle Quartal ein. Dann sollte das Laden auch nicht so lange dauern. Ausserdem koenntest du Umsatzbuchungen als geprueft markieren (Rechtsklick auf die Umsatzbuchungen und dann den entsprechenden Menupunkt im Kontextmenu waehlen), die du bereits kontrolliert hast, und dann in der Umsatzliste die Option "Nur ungeprüfte Buchungen anzeigen" aktivieren.



Also du meinst konkret die Datei "hibiscus/hibiscus/h2db/hibiscus.h2.db" im Benutzerordner von Jameica? Wie gross ist die denn?



Wenn die Datenbank selbst so gross ist, ist das auf jeden Fall nicht normal. Selbst mit 20.000 Umsatzbuchungen sollte die Datenbank nicht groesser als 10MB sein.

Kann es sein, dass du die Umsaetze extrem haeufig von der Bank abrufst und sich dadurch viele Kontoprotokolle angesammelt haben? Zu finden unter Konto-Details->Protokoll des Kontos.
Eine andere Möglichkeit wäre noch: Verwendest du eine aktuelle Hibiscus-Version (also idealerweise 2.6.20). Wenn nicht, aktualisiere die mal - kann bequem über "Datei->Plugins online suchen..." durchgefuehrt werden. Eventuell verwendest du noch eine aeltere Hibiscus-Version, in der der BPD-Cache noch nicht zyklisch bereinigt wird und daher im Laufe der Zeit immer weiter gewachsen ist.

Hallo!

Vorab, ja ich verwende von Jameica und Hibiscus die aktuelle Version.

Wenn ich oben von 200 MB Datenbank sprach, meinte ich die Backupdateien ala jameica-backup-20170802__10_14_33.zip usw.


Im Benutzerverzeichnis liegen bei mir nur die gepackten Backups mit a 200MB, ein Log bzw. noch ein paar alte gepackte Logs.
Ansonsten nur die 4 üblichen Verzeichnise

cfg mit 50kB
hibiscus (siehe unten)
plugins 9,5MB
update 0kB

In hibiscus selbst gibt es den Orner h2db mit Datei hibiscus.h2.db mit aktuellen Datum und ca. 20 MB
Zusätzlich noch hibiscus.trace.db (1kB), hibiscus.index.db.backup (20MB), hibiscus.data.db.backup (40MB) und hibiscus.2103.log.db (80kb) die aber vom Dateindatum (Feb 2014) alle identisch und die seit mehreren Jahren unverändert sind.

passports hat bei mir viele hunderte Dateien welche in Summe über 100MB groß sind.
300 Datein sind auch alle vom Feb 2014, der Rest langsam chronologisch steigend bis heute.


Und ja, Protokoll des Kontos geht bei mir bis 2009 zurück. (Sind das diese passports?)
Aber auch diese Protokolle sollten doch nicht 100 MB groß sein?


Bzgl. Umsatzabfrage:
Ja, meisten muß ich wegen der Performance mit einen Zeitfilter arbeiten.
Das ist aber hinderlich, wenn man alle Transaktionen mit einem bestimmten Betreff oder Konto sehen will.
Oder auch wenn man den Suchbegriff oder Zeit ändert wird im Hintergrund schon "live" danach gesucht und man muß 10-20 Sekunden den Scrollbalken zuschauen wie er immer kleiner wird (manchmal auch doppelter Aufbau hintereinander).

Klar sind ein paar tausend Umsätze ein Wort, aber z.B. in Excel sind auch 10-fache Datenmenge quasi wie Echtzeit zu handhaben.

Gruß

Das sind plausible Größen.



Da komme ich in Summe aber nicht auf gepackt über 200 MB.

Plugins: 9,5MB (sind im Backup - und damit in jameica-backup-....zip nicht enthalten)
Hibiscus-Datenbank: 20MB + 20MB + 40MB = 80MB.



Dann kommt das von hier. Die Passport-Dateien enthalten die Bankzugänge. Jedesmal, wenn eine Passport-Datei geschrieben wird, speichert Hibiscus die neue Version der Datei parallel dazu temporär ab. Erst wenn der Schreibvorgang erfolgreich war, wird die vorherige Version der Datei gelöscht und die neue Version auf den Dateinamen umbenannt.
Leider funken hier unter Windows gern Virenscanner dazwischen, die die Dateien blockieren, sodass Hibiscus sie nicht löschen kann. Im Laufe der Zeit sammeln sich dann diese temporären Dateien an. Hibiscus selbst konnte sie wie gesagt nicht löschen, weil der Virenscanner die Datei zu dem Zeitpunkt gelockt hatte.

Du kannst hier einfach alle Dateien mit der Endung *.pt löschen, die schon älter sind. Das sollte das Problem lösen. Am Ende sollte nur eine Datei pro Bankzugang übrig bleiben.



Die Protokolle sind mit in der Hibiscus-Datenbank enthalten und damit bereits in den o.g. 80MB mit drin.
Das Problem sind die verwaisten temporären Passport-Dateien.



Dann könntest du hier doch einfach den bestimmten Begriff als Suchbegriff eingeben und das gewünschte Konto auswählen. Das schränkt die Liste der Umsätze auf genau die relevanten ein.



Die Umsatz-Tabelle in Hibiscus hatte ich nie darauf konzipiert, große Datenmengen am Stück anzuzeigen. Insbesondere auch, weil Hibiscus für jede einzelne Zeile auch noch Formatierungen durchführt oder Daten nachlädt (wie etwa das zugehörige Konto usw.). Um das zu lösen, müsste man diese Umsatz-Tabelle quasi komplett neu programmieren und dabei einen anderen Ansatz wählen - z.Bsp. die Daten erst on-demand zu laden, wenn man nach unten scrollt. Das wäre mit ziemlich viel Aufwand verbunden.

Daher: Wähle erst das Konto aus und gib einen Suchbegriff ein und erweitere erst danach den Zeitraum auf mehrere Jahre. Dann ist sichergestellt, dass beim Laden des großen Zeitraumes bereits die einschränkenden Filter Konto und Suchbegriff gelten, damit die zu ladende Datenmenge kleiner wird.

Alternativ kannst du für eine schnelle Suche anhand eines Suchbegriffs übrigens auch links unter der Navigation die universelle Suchfunktion verwenden. Die ist recht schnell und sucht ohne zeitliche Einschränkung in allen Datensätzen.

Hi!

Im Backup stecken ja nicht nur die 20+20+40 sondern auch noch diese ganzen passports-Dateien.
Die >200MB stimmen leider schon.

Was ist mit:

hibiscus.trace.db,
hibiscus.index.db.backup,
hibiscus.data.db.backup und
hibiscus.2103.log.db

Können die auch gelöscht werden? Von was kommen die?
Es gibt doch nur eine aktuelle Datenbank 8hibiscus.h2, wo alles drin steht?



Dann schreibst Du dass die Passport-Dateien die Bankzugänge enthalten.
Also wenn ich 1 Lesegerät habe, dieses mit 2 Karten verwende und jede Karte mehrere Konten verwaltet, braucht es nur 2 Dateien?

Ich habe nähmlich jetzt in den beiden Bankzugängen und bei jedem Konto einzeln auf speichern geklickt.
Keine dieser Passport-Datei wurde aktualisiert. (???)
Ich weiß also nicht was ich löschen kann. (ich habe auch 1-2 Konten die erloschen sind, aber die Daten gehalten werden sollen).


Auch sind bei mir nur zwei kleine Dateien mit *.pt vorhanden.
Aber hunderte von Dateien in der Form "vieleNummern_vieleNummern" und *keine Endung*.

Gruß

Ich bezog mich auf die reine Datenbank. Und das sind nur die Dateien in hibiscus/hibiscus/h2db



Nein! Die nicht. Die sind Teil der Datenbank. Das sind auch nicht die Dateien, die fuer das langsame Erstellen des Backups verantwortlich sind sondern die vielen Passport-Dateien.



Bitte lösche nur die betreffenden Passport-Dateien, die ich erwähnt habe.
Von mir aus loesche auch die "*.db.backup"-Dateien. Ich weiss aber nicht, ob das Nebenwirkungen hat.



Korrekt. Allerdings wusste ich nicht, dass du Chipkarte und nicht PIN/TAN verwendest.



Wenn nichts zu aktualisieren war, wird auch nichts in die Dateien geschrieben.



Die Passport-Dateien werden nur bei den aktiven Bankzugaengen genutzt. Bei erloschenen Konten ohne Online-Zugang (also wo der Bankzugang nicht mehr genutzt wird), ist die Passport-Datei auch nicht mehr noetig.
Da du mir aber die Log-Datei "jameica.log" nicht geschickt hattest, kann ich hinsichtlich der zu loeschenden Dateien nur Mutmaßungen anstellen.
Bei Passport-Dateien von Chipkartenzugaengen kannst du vermutlich alle loeschen, die einen Unterstrich "_" enthalten. Das sind die Temp-Dateien.



Weil ich nicht wusste, dass du kein PIN/TAN (=".pt") verwendest sondern Chipkarte.



Die kannst du alle loeschen. Alle mit Unterstrich.

Ich hab jetzt alle Dateien mit Unterstrich und die beiden alten Backupdateien gelöscht.
Nun bin ich bei unter 20MB gepackter Zip-Datei! Was für eine Erleichterung.

Bis jetzt merke ich nicht das etwas fehlt ...

Thx!