DKB/Comdirect: Kontoauszüge PDFs Umsätze automatisch auslesen

Ich bin auf das Forum hier nach langer Suche gestoßen und habe mit großem Interesse die Diskussionen zum automatischen Kontoauszug-Abruf von DKB und anderen Banken gelesen (z.B. DKB).

Als Quereinsteiger wollte ich mal Eure Meinung zu folgender Überlegung hören.

• Monatliche Kontoauszüge (PDFs) werden von Comdirect/DKB nur über Web-Banking bereitgestellt
  
• Abruf e-Kontoauszüge (z.B. Banking 4) ersetzen den manuellen Download nicht, man muss sich also weiterhin monatlich einloggen und x PDFs manuell herunterladen, umbenennen (etc.)
  
• Ich habe seit einiger Zeit ein Verfahren entwickelt, wie ich Umsätze aus den PDFs automatisch extrahiere. Dazu nutze ich pdfplumber (https://github.com/jsvine/pdfplumber), welcher Tabellen in PDFs erkennen kann und Daten strukturiert verarbeitet
  
• Für jedes Bank-Kontoauszug-PDF-Format ist ein eigenes "Mapping" zu schreiben. Jedoch bleiben die Formate größtenteils über mehrere Jahre stabil. Bei DKB gab es z.B. erst mit der Umstellung aufs neue Web-Banking einen Formatwechsel, nach mehr als 10 Jahren ohne Änderung
  

Der Vorteil für mich:

• ich muss mich ohnehin einloggen, um die PDF abzurufen
  
• ich habe eine einzige Quelle (single point of truth) für Umsätze (die signierten PDF), nicht mehrere (HBCI, CSV etc.)
  
• ich kann die Daten frei weiterverarbeiten.. in eine eigene Datenbank, Format, LibreCalc etc. In meinem Fall gehen die Daten nach Beancount (https://github.com/beancount/beancount)
  
• ich muss keine HBCI-Fin/TS etc. Standards abstimmen und warten; der ständige Wechsel der Kartenformate bei DKB hat auch einen ständigen Wechsel der Abruf-Verfahren nach sich gezogen, das nervt; Ich habe hier einige Kartenlesegeräte rumliegen, die nutzlos geworden sind. Alles Hardwareschrott.
  
• ich benötige keine kostenpflichtige Girocard (DKB); sondern kann die kostenlose Visa Debit behalten
  

Was derzeit noch fehlt:

• das Verarbeiten ist noch nicht perfekt und noch nicht vorzeigbar. Derzeit verarbeite ich in JupyterLab & Pandas Dataframes und lasse mir Fehler ausgeben. Der Aufwand bisher war aber minimal. Das Mapping für DKB/Comdirect war in 2 Tagen geschrieben. Ich bin zuversichtlich, dass das sehr robust und mit sanity-checks und validation umsetzen lässt und auch absolut sicher die korrekten Umsätze (etc.) extrahiert.
  
• ich habe den letzten Schritt des Automatischen PDF-Abrufs der Kontoauszüge noch nicht automatisieren können. Eine (etwas verrückte) Idee war, ein Android-Handy an meinen Server zu hängen, eine Kamera auf das Display, dann per automatischen Login und srcpy (https://github.com/Genymobile/scrcpy) in der DKB-App den One-Time-Code abrufen, per Kamera Fotografieren, OCR für das Kamera Bild, um den Code auszulesen und dann alles in einer VM nutzen, um sich automatisch einzuloggen. Danach mittels Screen-Scraping (z.B.) die PDF herunterladen, umbenennen (und weiterverarbeiten). Das ist aber zugegeben schon ziemlich abenteuerlich.
  
• Dadurch, dass Kontoauszüge nur monatlich 1x bereitgestellt werden, hat man lokal auch nur 1x im Monat eine aktualisierte Umsatzerfassung. Für mich ist das akzeptabel, aber wahrscheinlich nicht für jedermann.
  

Ich habe dazu aber noch nichts hier im Forum finden können. Wäre für mich mal interessant zu hören, was die Experten denken.. oder andere Laien..

Sehr gut, vielen Dank für die Antwort und Aufschlüsselung.

Ich denke, du hast mich damit überzeugt:
> Außerdem steht in den PDF-Kontoauszügen weniger Info drin als per HBCI übertragen wird (z.B. Kontodaten des Zahlungsgegners bei der DKB).


Aber um noch auf die anderen Themen einzugehen:

> Also wenn ich das so lese, sträuben sich mir die Haare und rollen sich gleichzeitig die Fußnägel hoch

> Das ist wohl alles maximal umständlich und von hinten durch die Brust ins Auge gelöst.

> Was zu bedenken ist: Einmal im Monat Umsätze ist heutzutage fast schon etwas fahrlässig, weil man Unregelmäßigkeiten sehr spät mitbekommt.

In der neuen DB-App werden Umsätze sofort als Nachricht angezeigt, wenn sie passieren.

> Ein PDF in Datensätze umzuwandeln ist ein doch recht unsicheres Geschäft, die Formate ändern sich hin und wieder, bei HBCI bekommt man problemlos echte Datensätze frei Haus geliefert, in einem Standard! Wenn sich Änderungen ergeben, muss man da nicht selbst rumbasteln sondern das macht der Fachmann - der Entwickler der eingesetzten HBCI-Software.

Genau das war nicht meine Beobachtung. Die Formate haben sich bei keiner bank geändert, wohingehen sich Login-Verfahren ständig geändert haben und ständig was neues brauchten. z.B. muss ich jetzt plötzlich für die Girocarte bei der DKB bezahlen, die ich nur für HBCI bräuchte; die Visa Debit ist aber kostenlos, geht aber nicht mit HBCI. Ich habe 5 Konten bei der DKB, das waren gerade 10 Karten Umstellung, jede mit neuer nummer, code etc.

Zudem bekomme ich Informationen bei der DKB über PDFs, die ich nicht über HBCI bekomme, zum Beispiel Kreditkartenumsätze. Dafür muss ich dann ja wieder ohnehin (m)einen PDF-Scraper schreiben.

Die PDFs scrapen ist im übrigen auch nicht unsicher: Alle Werte lassen sich durch andere Werte gegenprüfen und validieren, z.B. Endsalden etc.

> Die verrückte Idee mit Handy vor dem Bildschirm wird zumindest bei der DKB nicht mehr ewig funktionieren, weil die ja gerade auf ihre furchtbare neue App und das neue WebBanking umstellt - in dem Zusammenhang fällt dann wohl pushTAN und auch chipTAN eh weg. Dann musst Du eh ein Handy mit der neuen App für jegliche Bestätigungen benutzen - was jetzt ja auch schon geht - in der alten Umgebung als pushTAN und in der neuen per direkter App-Freigabe. Die Geschichte mit den Kartenlesern... früher wurde bei der DKB das uralte (>20 Jahre) DDV-Chipkartenverfahren der Sparkassen verwendet - das wurde berechtigterweise komplett abgeschafft (vom Rechenzentrum FI der Sparkassen). Aber das hat wirklich sehr lange funktioniert - mit dem gleichen Leser 20 Jahre lang. Ich denke da kann man sich nicht wirklich beschweren. Danach hattest Du wohl einen TAN-Generator mit Flickercode - der funktioniert mit den neuen Girokarten nicht mehr. Allerdings nur, wenn es ein alter Flicker-Leser von Kobil ist, alle anderen - modernere Kobil und alle anderen Hersteller - funktioneren weiter. Und wie gesagt, bei Freigabe via App (so oder so) braucht man weder Karten noch Kartenleser.

Ok, man müsste wahrscheinlich das Problem der Authentifizierung extra sehen, dass tritt wohl bei allen Verfahren auf. Ich habe dafür auch noch keine Lösung, jedenfalls nichts, was ich allein unter Kontrolle hätte, nur über 3rd-Party Services, die selber auch nur scrapen - das Risiko bin ich aber nicht bereit einzugehen.

> Was das Downloaden der PDF-Auszüge betrifft: Ja, das muss man ab und zu mal machen. Aber nicht jeden Monat. Alle paar Monate mal einloggen und alles Neue downloaden - das sollte kein Problem sein. Wenn Du das dann irgendwie automatisieren kannst - umso besser. Mit den nötigen Freigaben wird das aber sicher nicht einfach werden...

Was den Umsatzabruf per HBCI betrifft: Dafür ist eben NICHT jedes Mal eine TAN-Freigabe nötig. Nur alle 90 Tage einmal (wie von PSD2 vorgeschrieben). Für den PDF Abruf ist jedes Mal eine Freigabe nötig - sowohl bei der DKB als auch der comdirect. Ist also umständlicher. Mit einer geeigeten Software geht das alles vollautomatisch - ggf. per Taskplaner gesteuert. Erst alle Konten abfragen (lassen) und danach dann alle Umsätze in einem geeigneten Format exportieren, das Du direkt in Deine Tabellen/Datenbanken einlesen kannst. Damit läßt sich alles völlig automatisieren - ganz ohne Aufwand.

War mir noch nicht klar. Vielen Dank!

Ich denke, ich muss einfach mal beide Verfahren testen und vergleichen. Das letzte mal als ich HBCI vor 10 Jahren getestet hatte, war ich ganz und gar nicht überzeugt.

die Ausführungen von @msa kann man nur bestätigen, höchstens noch ergänzen.

@Gromi
das ganz ist ja noch schlimmer, wie eine E-Mail auszudrucken, um diese per OCR/PDF (fehlerbehaftet) zu digitalisieren.

Wenn Zugriff auf digitale Daten möglich ist, sollten diese doch auch direkt verwenden werden und nicht erst über PDF > OCR und Konvertierungen - letzteres max. Kontoumsatz-Export(csv und div.).
Was ist mehr Wert, die evtl. paar Euro für die Bank oder die x-Stunden (* eigenem Stundensatz) um ein script zu schreiben, das dann auch noch nur individuell/persönlich funktioniert bzw. mit den 2 (!) o.g. Banken?
In jedem Fall sollten auch weitere Banken/Angebot geprüft werden, die evtl. einfacher sind und Schnittstellen zur Verfügung stellen.

Damit kannst Du auf jeden Fall all das, was Du geschrieben hast, machen. Allerdings gibt es beim "normalen" B4 nicht die Möglichkeit, von der Befehlszeile Ausführungen anzustoßen. Dies ist der Profi-Version BankingZV vorbehalten.