Hallo Forum!

Ich versuche gerade MT940-Daten aus VR-Networld in hibiscus zu importieren. Mit Konten mit wenig Umsätzen hat es auch prima geklappt. Mein Hauptkonto scheint wohl zu groß zu sein - jameica/hibicsus verschluckt sich daran.
Der Import bleibt stehen und nichts geht mehr. Im Glauben im Hintergrund wirds schon weiter gehen habe ich nun mehrmals den Rechner laufen lassen - ohne Erfolg.

Ich nutze eine Datenbank auf einem Synology-Netzlaufwerk (maria.db).

Bei knapp 20.000 Umsätzen bin ich nun hängen geblieben. Auch der Versuch in kleineren Häppchen weiter zu kommen gelingt nicht.

Was mache ich falsch oder welche Tipps gibt es?

Vielen Dank für Eure Antworten!

MfG Thomas

Laesst sich schwer beurteilen, an welcher Stelle genau es zum dem Haenger kommt. Moeglich waere, dass dem System beim Import der Speicher ausgeht. Der liesse sich durch Aendern des Parameters "-Xmx512m" auf "-Xmx1024m" in der jameica.sh (insofern du Linux auf dem Rechner mit der Hibiscus-Installation verwendest) von maximal 512MB auf 1GB erhoehen. Allerdings wundert mich, warum das Zerlegen in mehrere Haeppchen nicht funktioniert. Also MT940-Dateien zu je z.Bsp. 10.000 Umsaetzen.

Unabhaengig davon: Ich wuerde als Import-Format auch mal CSV versuchen. Dieses Dateiformat ist deutlich leichter zu parsen, als MT940. Es kann einfach zeilenweise gelesen werden und ist damit effizienter. Also versuche mal, deine Umsaetze aus VR-Networld im CSV-Format zu exportieren und lade die dann in Hibiscus.

Wenn auch das noch nicht hilft: Das Synology NAS ist performance-maessig sicher nicht mit einem "echten" Rechner vergleichbar. Von daher macht es sicher auch einen deutlichen Unterschied, ob man die Daten in eine lokale Datenbank importiert oder direkt auf die remote SQL-Datenbank. Du koenntest also auch mal versuchen, eine lokale MySQL/MariaDB-Instanz zu starten, die Daten erstmal dort zu importieren, dann davon einen SQL-Dump erzeugen und den dann auf dem NAS mit den MySQL-Bordmitteln zu importieren.

Hallo "Hibiscus",

ich hatte vorher nur die lokale Version und dachte es liegt an der nicht so performanten Datenbank. Also doch lieber erst mal lokal? Kann man dann einfach auf die Netzwerklösung umkopieren?

Mit dem CSV-Export hatte ich begonnen, aber beim Import viele Fehler erhalten. Z.B. Felder zu lang usw.
GIbts irgendwo einen Hinweis wie lang die einzelnen Felder sein dürfen?

Das Löschen von Umsätzen - nach den Fehleversuchen - war übrigens noch schlimmer. Hier waren manchmal 20 Datensätze zuviel für das Programm.

MfG Thomas

Kannst du mal ein Update auf das aktuelle Nightly-Build machen und es dann nochmal versuchen? Mir ist so, als haette ich kuerzlich in dem Zusammenhang was gefixt, kann mich aber nicht mehr genau erinnern.

Hallo,

also lokale Datenbank und CSV-Import funktionieren auch mit allen ca. 29000 Datensätzen an einem Stück.
Leider werden noch ein paar Fehlermeldungen ausgegeben. Leider zu schnell für meine Augen.
Irgendwas ist also noch zu lang oder vom falschen Typ?

Gibts noch einen Trick mit doppelten Datensätzen?

MfG Thomas

Edit: Ach so, das Nightly hat keinen Effekt auf den Import von MT940 gehabt.

Laeuft es hierbei spürbar schneller als mit der Remote-Datenbank?



Meistens ist es die Laenge des Gegenkonto-Inhabers oder der Verwendungszweck. Auch wenn die Ausgaben in dem Log-Fenster zu schnell vorbeiscrollen, kannst du ja in das Log-Fenster klicken, mit <STRG><A> allen Text darin markieren und dir in einen Texteditor kopieren. Da kannst du die Fehlermeldungen dann in Ruhe analysieren.



Nein, einen Trick gibt es da nicht. Beim Import per Datei findet kein Doppler-Abgleich statt. Du musst hierbei also selbst dafuer sorgen, dass die zu importierenden Umsaetze nicht bereits in der Datenbank vorliegen und diese ggf. vorher manuell loeschen.

Hallo,

vielen Dank für die Tipps!

Falls nocht jemand von VR-Networld auf Hibiscus wechselt:
Verwendungszweck: 35 Stellen
Verwendungszweck 2: 35: Stellen
weiterer Verwendungszweck: 1000 Stellen (alles aus einen anderen Thread)
Vorher(!) die "ß" in "SS" umwandeln.

28964 Datensätze ohne Fehler eingelesen.

Beim Vergleich mit lokaler interner Datenbank mit mariadb auf Synology läuft es mit CSV lokal schneller. Aber auch die externe Datenbank ist schnell - ohne MT940.