Neues Plugin zum Dokumentabruf (DocManager)

Hallo zusammen,

da mir bisher eine Möglichkeit gefehlt hat, Bankdokumente automatisiert abzurufen, habe ich ein Hibiscus-Plugin dafür entwickelt:
https://github.com/faiteanu/hibiscus.docmanager

Derzeit wird nur der Abruf von der DKB und Deka unterstützt.

Zwar habe ich es bei mir in der "produktiven" Hibiscus-Instanz im Einsatz, falls es jemand testen möchte, würde ich jedoch eine Kopie der Jameica/Hibiscus-Installation empfehlen.
Die Installation des Plugins ist auf github erklärt.

Über Meinungen und Kommentare würde ich mich freuen. Es können gerne auch weitere Banken oder andere Institute eingebunden werden, wenn jemand einen Pull Request dafür erzeugt.

Viele Grüße,
Fabian

Ok, ist eingetragen. Ich hatte nicht gesehen, dass man das Wiki selber bearbeiten kann.

Hi Sven,

danke fürs Testen.



Das liegt zum Teil daran, dass hibiscus.scripting.selenium (zumindest bei mir) bei jedem Synchronisieren erstmal Google Chrome Version 89 lädt und installiert, was 30-60 Sekunden dauert. Vielleicht muss Sebastian das Plugin auf die aktuelle Chrome Version 90 aktualisieren, damit das nicht mehr passiert.

Zweitens werden bei der DKB nur 10 Dokumente pro Seite angezeigt, d.h. in deinem Fall müssen über 30 Seiten geladen werden, das dauert ein wenig. Leider kann man den Prozess nicht bei dem ersten bereits geladenen Dokument anhalten, da insbesondere im Archiv neue Dokumente auch nach älteren erscheinen können.
Mit dem Doppelpfeil ganz rechts unten in Jameica kann man übrigens das vollständige Log öffnen, dann sieht man auch, was passiert und was lange dauert.



Ich hatte überlegt, in der plugin.xml eine Extension-Stelle anzubieten, die nach dem Laden eines Dokuments aufgerufen wird. Dann könnte sich das ibankstatement-Plugin dort einklinken und die elektronischen Kontoauszüge verarbeiten.
Falls jemand weiß, wie man das konkret implementiert, kann er es mir gerne mitteilen oder einen Pull Request erstellen.



Dafür ist das "Erstellt am" Feld da, nach dem kann man filtern. Die Dokumente erhalten im Dateisystem auch genau dieses Datum als Erstellungsdatum, falls man sie außerhalb von Hibiscus verwenden möchte.
Einzige Außnahme hiervon ist der Archiv-Ordner bei der DKB, weil dort kein Datumsfeld vorhanden ist, im Gegensatz zu allen anderen Ordnern.
Auch hierfür könnte eventuell ein Extension-Plugin das PDF-Dokument öffnen und Datumswerte extrahieren. Da das Archiv viele verschiedene Dokumenttypen enthalten kann, ist das sicherlich viel Aufwand.
Ich habe bei mir manuell für alle Archiv-Dokumente das Datum einmalig korrigiert (Rechtsklick auf ein Dokument -> Details...).



An welcher Stelle würde die extrahierte Nummer erscheinen?
Unter "Zugänge" kann man als "Bezeichnung" beispielsweise die Kontonummer eintragen.



Es gibt ganz rechts oben das Hibiscus-Suchfeld, welches ich extra angebunden habe. Damit kann man nach dem Namen von Dokumenten oder Ordnern suchen. Wäre ein zweites Suchfeld da sinnvoll?

Gruß,
Fabian

Hallo Sven!

Ursprünglich hatte ich das tatsächlich ohne Datum implementiert. Das funktionierte aber nicht sinnvoll zusammen mit dem Datumsfilter in der Ansicht, der immer aktiv ist. Entweder werden Dokumente ohne Datum nie angezeigt, was unpraktisch ist, oder immer angezeigt, was ich störend fand.
Mit der jetzigen Variante wird das aktuelle Datum für Archiv-Dokumente eingefügt, so dass bei einer Benutzung des DocManager mit Zeitraum "12 Monate" diese Dokumente eben nach einem Jahr automatisch aus der Ansicht fallen.


Da ich bei der DKB nur ein einziges Konto habe, ist mir das Dropdown-Feld bisher nicht aufgefallen, zudem es nur in den Ordnern Kontoauszüge, Kreditkartenabrechnungen und Wertpapierdokumente vorhanden ist, aber nicht in den 5 anderen Ordnern.

Ein weiteres Feld kann ich problemlos anlegen, aber wie nennt man es, so dass es allgemeingültig klingt? "Referenz"?
"Depot/Kreditkarten oder Konto-Nummer" klingt doch etwas unhandlich.
Zur Implementierung der Extraktion fällt mir am ehesten ein, dass man pro Zugang eine RegEx hinterlegt, so wie bei den Hibiscus-Kategorien.

Was meinst du mit der Verlinkung, wo und wie würde sich das zeigen?

Viele Grüße,
Fabian

Also ich habe mir das näher angesehen und denke die einfachste Variante in ibankstatement implementiert.
Das funktioniert auf Basis des Messaging-System von Jameica. Um Kontoauszüge hinzuzufügen muss eine TextMessage mit dem Pfad zum Kontoauszug an die MessageQueue hibiscus.ibankstatement gesendet werden. Es können auch mehrere Kontoauszüge auf einmal verschickt werden, die müssen dann durch Zeilenumbruch (\n) getrennt sein und sollten nach Datum sortiert sein (ältester Auszug zuerst).

Beispiel:

Die Dateien werden einmal entgegen genommen, wenn sie ein zweites Mal gesendet werden sollten, werden sie ignoriert. Werden Kontoauszüge über TextMessage importiert werden die Quelldateien nicht verschoben, wenn ein Zielordner angegeben ist, sondern dorthin kopiert.

Theoretisch können auch andere Dokumente im Pfad vorkommen, da die Dateinamen weiterhin über das Datei-Pattern gecheckt werden. Man könnte auch drüber nachdenken die Kontonummer oder IBAN noch mitzusenden, dann könnten die Auszüge direkt zugeordnet werden. Aber das ist im Moment noch nicht möglich.

facepalm Die Schnittstelle habe ich bereits vor so langer Zeit eingebaut, dass ich sie zwischenzeitlich vergessen habe.
Es wird bereits eine ImportMessage(Document) geschickt.
Als Beispielcode kann man in Hibiscus die Klasse TransferMessageConsumer nehmen, und dort den Typ Kontoauszug gegen Document tauschen. Über doc.getLocalFolder() und doc.getFilename() kann man die heruntergeladene Datei ermitteln, zusammen mit den anderen Daten im Document-Objekt.

Nein, DocManager weiß nicht, was ein Kontoauszug ist. Beispielsweise für die DKB werden ausgehend vom Postfach rekursiv alle Unterordner und Dokumente herunterladen. In verschiedenen Ordnern und deren Unterordnern (Archiv, Tresor) können Kontoauszüge vorhanden sein, müssen aber nicht, und sie können mit anderen Dokument gemischt abgelegt sein.

Das ist zwar schön, funktioniert aber nicht so recht in diesem konkreten Fall. Wie Sven bereits weiter oben schrieb, können bei der DKB Mitteilungen von verschiedenen Konten/Kreditkarten/Depots im gleichen Postfach landen. Eine IBAN gibt es da nicht, aber Kontonummer müsste man parsen können.
Wenn ich es richtig sehe, kann ibankstatement bereits Kontonummer und Datum aus dem Dateinamen parsen. Könnte man das nicht einfach auf Document.getFilename() anwenden?

Die Message an die ibankstatement-Queue ist nun eingebaut und funktioniert im ersten Test auch.
Ich fand es etwas hakelig, die passende RegEx für den ibankstatement-Import zu schreiben, da man nur eine einzige Chance dafür hat. Selbst wenn man ein Dokument im DocManager und auf der Festplatte löscht, und anschließend per Sync neu lädt und die Message an die Queue schickt, wird sie ignoriert.
Ich musste temporär in BankStatementImporter.handleMessage das mSettings.getString entfernen, sonst hätte ich es nicht hinbekommen. Wie soll ein normaler Benutzer das machen können?

Sehr schön, danke. Das vereinfacht den Import für die Nutzer von DKB und Deka natürlich enorm. Dummerweise habe ich bei beiden kein Konto.
Das ist nur der Fall, wenn ein Dokument per MessagingQueue übergeben wird. Wenn es manuell vom Dateisystem geladen wird, dann kann man es so oft probieren, bis man die richtige RexEx gefunden hat. Oder man postet einfach den Art des Aufbaus der Datei im Thread zu ibankstatement, dann kann ich die RexEx erstellen. Bei der MessagingQueue besteht halt die Einschränkung damit die Erkennung nicht jedes Mal gemacht werden muss wenn Dateien schon bekannt sind, die keine Kontoauszüge sind, beim Laden vom Dateisystem geht das Plugin davon aus, dass im Importverzeichnis nur Kontoauszüge liegen.
Muss man in der Regel gar nicht, da ibankstatement über Profile für verschiedene Banken verfügt. Die DKB ist schon als Profil vorhanden, Deka allerdings nicht. Wenn du für Deka eine Regex bereits erstellt hast, könnte ich die auch einbauen.

Aber das wäre dann besser hier zu besprechen, ich habe den Thread über dein Plugin schon übermäßig zugespamt. Hier sollte es ja vorrangig um DocManager gehen.

Perfekt, hat jetzt funktioniert!

Gruß, Uwe

Für neue Banken müsste sich jemand freiwillig melden und den entsprechenden Code schreiben, um Dokumente abrufen zu können, siehe auch
https://github.com/faiteanu/hibiscus.docmanager/issues/1