Commerzbank/CAMT: wiederholt fehlende Umsätze in Hibiscus 2.12.4

 
little.yoda
Benutzer
Avatar
Geschlecht: keine Angabe
Beiträge: 403
Dabei seit: 05 / 2014
Betreff:

Re: Commerzbank/CAMT: wiederholt fehlende Umsätze in Hibiscus 2.12.4

 ·  Gepostet: Gestern um 15:09 Uhr  ·  #21
Mein Plugin "hibiscus.Duplikate" aktiviert sich nur, wenn du es über den Menüpunkt startest. Sonst macht es rein gar nicht.
hibiscus
Benutzer
Avatar
Geschlecht: keine Angabe
Herkunft: Leipzig
Homepage: willuhn.de/
Beiträge: 11736
Dabei seit: 03 / 2005
Betreff:

Re: Commerzbank/CAMT: wiederholt fehlende Umsätze in Hibiscus 2.12.4

 ·  Gepostet: Gestern um 15:25 Uhr  ·  #22
Deinem Log zufolge hast du die folgenden Plugins installiert, die vom Autor nicht mehr weiter gepflegt werden:

- hibiscus.scripting.selenium
- hibiscus.scripting.htmlunit
- finance.websync

Ich würde sie über "Datei->Einstellungen->Plugins" deinstallieren, wenn du keine Scripting-Konten verwaltest.

Bei der Gelegenheit könntest du auch gleich unter "Datei->Einstellungen->Plugins" (unten der Button "Repositories bearbeiten...") die nicht benötigten Repositories löschen/deaktivieren. Da du abgesehen von den Scripting-Plugins (die du deinstallieren könntest) und hibiscus.duplikate keine weiteren Plugins installiert hast, könntest du alle Repositories bis auf https://www.willuhn.de/* (Hibiscus) und http://www.open4me.de/hibiscus (hibiscus.duplikate) entfernen.

Außerdem kannst du unter "Datei->Einstellungen->Scripting" die Scripts entfernen.

Zum eigentlichen Umsatzabruf der Commerzbank: Da finden sich im Log leider keinerlei Fehler. Der Abruf fand im CAMT-Format statt. Als Startdatum wurde "09.09.2026 00:00" verwendet - hier die relevanten Zeilen (gekürzt):

Code

[Thu Sep 10 14:16:20 CEST 2026][INFO] merge window: Wed Sep 09 00:00:00 CEST 2026 - now (based on fetched booked entries)
[Thu Sep 10 14:16:20 CEST 2026][INFO] applying booked entries
[Thu Sep 10 14:16:20 CEST 2026][INFO] done. new entries: 1, skipped entries (already in database): 3
[Thu Sep 10 14:16:20 CEST 2026][INFO] got no new not-booked (vorgemerkte) entries
[Thu Sep 10 14:16:20 CEST 2026][INFO] clean obsolete not-booked entries
[Thu Sep 10 14:16:20 CEST 2026][INFO] removed entries: 3
[Thu Sep 10 14:16:20 CEST 2026][INFO] umsatz list fetched successfully


Die Bank hat also 4 Umsätze geliefert. 3 davon waren bereits in der Datenbank, 1 wurde neu angelegt. Die Bank hat keine neuen Vormerkbuchungen (grau) geliefert. Daher hat Hibiscus die 3 noch vorhandenen aus der Datenbank gelöscht, da sie inzwischen offensichtlich valutiert und gegen "echte" Umsätze ersetzt wurden.
andrelang
Benutzer
Avatar
Geschlecht: keine Angabe
Beiträge: 3
Dabei seit: Gestern
Betreff:

Re: Commerzbank/CAMT: wiederholt fehlende Umsätze in Hibiscus 2.12.4

 ·  Gepostet: Gestern um 17:23 Uhr  ·  #23
Ich kann das Problem sowohl bei mir als auch bei einem Kunden bestätigen. Beide Konten bei der Commerzbank, beide dasselbe Problem.

Alle am Vortag als Vormerkbuchungen gelieferten Umsätze werden am folgenden Tag ersatzlos und vollständig gelöscht. Das passiert reproduzierbar und immer gleich. Im Screenshot im Anhang sieht man die am nächsten Tag gelöschten Einträge und die entstandenen Löcher in der aufsteigenden Belegnumerierung.

Vorübergehender Fix: Wechsel zum alten Format, oder Abruf Vormerkbuchungen abschalten. Vollständiger Neuabruf liefert die fehlenden Einträge.

Hier das Log von dem Moment, wo der am Vortag vorgemerkte Umsatz (im Screenshot #44403) am Folgetag als endgültiger Umsatz abgerufen wird und dabei in Hibiscus verschwindet.

Code
[Tue Jul 21 10:32:22 CEST 2026][DEBUG][bg-task:Worker][de.willuhn.datasource.db.AbstractDBObject.getInsertSQL] executing sql statement: prep869: insert into UMSATZ (DATUM,VALUTA,EMPFAENGER_KONTO,PRIMANOTA,FLAGS,EMPFAENGER_NAME,CUSTOMERREF,CHECKSUM,ZWECK,CREDITORID,KOMMENTAR,PURPOSECODE,ART,BETRAG,KONTO_ID,ZWECK3,ADDKEY,ZWECK2,TXID,SALDO,GVCODE,ENDTOENDID,UMSATZTYP_ID,MANDATEID,EMPFAENGER_BLZ,EMPFAENGER_NAME2) values (?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?) {1: DATE '2026-07-20', 2: DATE '2026-07-20', 3: 'DE62611700760XXXXXXXXX', 4: '97186', 5: NULL, 6: 'XXXXXXXXXX GmbH + Co. K G', 7: '0025682100', 8: 4193854971, 9: 'EREF+0025682100', 10: 'DE26ZZZ00XXXXXXXXXX', 11: NULL, 12: NULL, 13: 'SEPA-DD EINZELB. SOLL B2B', 14: -1866.51, 15: 9, 16: STRINGDECODE('CRED+DE26ZZZXXXXXXXXXX\nSVWZ+/INV/0200XXXXXXXXXX\n8.7.2026/INV/0200XXXXXXXXXX\n10.7.2026\n'), 17: '992', 18: 'MREF+0002-100000001969', 19: NULL, 20: -207461.68, 21: '104', 22: '0025682100', 23: NULL, 24: '0002-100000001969', 25: 'DEUTDESS611', 26: NULL}
[Tue Jul 21 10:32:22 CEST 2026][DEBUG][pool-1-thread-1][de.willuhn.jameica.messaging.NamedConcurrentQueue.deliver] deliver message de.willuhn.jameica.messaging.QueryMessage@2ea3b030
[Tue Jul 21 10:32:22 CEST 2026][DEBUG][pool-1-thread-1][de.willuhn.jameica.messaging.NamedConcurrentQueue.deliver] deliver message de.willuhn.jameica.hbci.messaging.ImportMessage@680edd8b
[Tue Jul 21 10:32:22 CEST 2026][DEBUG][pool-1-thread-1][de.willuhn.jameica.hbci.messaging.CheckOfflineUmsatzMessageConsumer.handleMessage] imported umsatz, checking if counter entry can be created [id: 44612]
[Tue Jul 21 10:32:22 CEST 2026][DEBUG][pool-1-thread-1][de.willuhn.jameica.hbci.messaging.CheckOfflineUmsatzMessageConsumer.handleMessage] searching for offline account with iban: DE6261170076XXXXXXXXXX
[Tue Jul 21 10:32:22 CEST 2026][DEBUG][pool-1-thread-1][de.willuhn.datasource.db.DBIteratorImpl.init] executing sql query: prep870: select KONTO.* from KONTO where lower(iban) = ? {1: 'de6261170076XXXXXXXXXX'}
[Tue Jul 21 10:32:22 CEST 2026][DEBUG][pool-1-thread-1][de.willuhn.jameica.hbci.messaging.CheckOfflineUmsatzMessageConsumer.handleMessage] skip, no matching account found

Kontonummern und weitere private Daten habe ich mit "XXXXXXXXXXXX" anonymisiert.

Ich könnte auch den Dump der HBCI-Nachricht (aus "received message after decryption") oder das komplette Log anbieten, kann das aber wegen der schlecht anonymisierbaren Daten nur privat senden.

Danke schon mal für die Hilfe und den unermüdlichen Support!
Viele Grüße, André
Der an diesem Beitrag angefügte Anhang ist entweder nur im eingeloggten Zustand sichtbar oder die Berechtigung Deiner Benutzergruppe ist nicht ausreichend.
hibiscus
Benutzer
Avatar
Geschlecht: keine Angabe
Herkunft: Leipzig
Homepage: willuhn.de/
Beiträge: 11736
Dabei seit: 03 / 2005
Betreff:

Re: Commerzbank/CAMT: wiederholt fehlende Umsätze in Hibiscus 2.12.4

 ·  Gepostet: Gestern um 18:09 Uhr  ·  #24
Das Löschen der Vormerkbuchungen an sich ist ja auch korrekt, wenn sie von der Bank nicht mehr geliefert werden.
andrelang
Benutzer
Avatar
Geschlecht: keine Angabe
Beiträge: 3
Dabei seit: Gestern
Betreff:

Re: Commerzbank/CAMT: wiederholt fehlende Umsätze in Hibiscus 2.12.4

 ·  Gepostet: Heute um 02:27 Uhr  ·  #25
Ich verstehe die Antwort nicht.

Die Vormerkbuchungen sind vom Vortag in Hibiscus. Am Folgetag sehe ich dieselbe Buchung in der neuen HBCI Rückantwort, offenbar nun als endgültige Buchung die jetzt geliefert wird, so wie beim Vollabruf auch. Ergebnis davon: Die Vormerkbuchung ist in Hibiscus weg und die endgültige Buchung nicht da. Wie kann das korrekt sein?

Je nach Implementierung müsste entweder die existierende Buchung auf endgültig aktualisiert werden (ich hatte gelesen es gibt da eine Zuordnungsheuristik, da serverseitig keine abrufübergreifende ID geliefert wird), oder aber die Vormerkung muss gelöscht und die endgültige angelegt werden. Beides funktioniert nicht. Was ist daran unklar?

Ich vermute die Buchung wird nicht neu angelegt, da als schon existent gematcht, die Aktualisierung zu endgültig klappt nicht und anschließend wird die Buchung ganz gelöscht, da eben nicht mehr in der Vormerkliste.

Wenn die finale Buchung in der HBCI Antwort drin ist, aber danach in Hibiscus ganz weg, kann ich mir kaum vorstellen wie daß Problem etwas anderes als ein Bug in Hibiscus sein kann, Vormerkbuchung hin oder her.
infoman
Benutzer
Avatar
Geschlecht:
Beiträge: 8377
Dabei seit: 06 / 2008
Betreff:

Re: Commerzbank/CAMT: wiederholt fehlende Umsätze in Hibiscus 2.12.4

 ·  Gepostet: Heute um 03:54 Uhr  ·  #26
hibiscus
Benutzer
Avatar
Geschlecht: keine Angabe
Herkunft: Leipzig
Homepage: willuhn.de/
Beiträge: 11736
Dabei seit: 03 / 2005
Betreff:

Re: Commerzbank/CAMT: wiederholt fehlende Umsätze in Hibiscus 2.12.4

 ·  Gepostet: Heute um 07:27 Uhr  ·  #27
Hibiscus aktualisiert nicht die Vormerkbuchungen sondern löscht sie und legt stattdessen die valutierten Buchungen neu an. Das Löschen geschieht auf einem Set der vorher aus der Datenbank geladenen lokal vorhandenen Vormerkbuchungen. Es kann also nicht passieren, dass hierbei versehentlich valutierte Buchungen wieder gelöscht werden. In deinem Log und dem Screenshot ist das Löschen der Vormerkbuchungen ersichtlich, was aufgrund der gerade nochmal von mir beschriebenen Vorgehensweise das erwartete Verhalten ist. Aus deinem Log ist aber nicht ersichtlich, dass du mit irgendwelchen Umsatzbuchungen gerechnet hast, die nicht da sind. Man sieht im Log keine Fehler. Stattdessen ist der fehlerfreie Abruf von gebuchten Umsätzen eindeutig ersichtlich. Dass du mehr Umsätze erwartet hattest, sieht man in dem Log nicht. Die Bank hat schlicht nicht mehr geliefert. Siehe der von mir zitierte Logabschnitt.

Möglicherweise liefert die Bank Umsätze rückwirkend und sie fehlen deshalb. Das wäre bei der Commerzbank nicht neu und gab es auch damals mit dem MT940-Format schon. Dafür gibt es in Hibiscus als Workaround die Möglichkeit, immer ein paar Tage rückwirkend abzurufen:

umsatz.startdate.offset=-2

Siehe https://www.willuhn.de/wiki/do…tze_fehlen
andrelang
Benutzer
Avatar
Geschlecht: keine Angabe
Beiträge: 3
Dabei seit: Gestern
Betreff:

Re: Commerzbank/CAMT: wiederholt fehlende Umsätze in Hibiscus 2.12.4

 ·  Gepostet: Heute um 10:43 Uhr  ·  #28
Danke für die detaillierte Erklärung wie der Abgleich funktioniert, jetzt weiß ich wo ich weiter suchen muss. Ich werde versuchen den Fehler aus den Logs weiter einzugrenzen und über ein Backup des Datenbestandes einen A/B Test mit und ohne das Rückabruf-Setting machen, um zu prüfen ob die Änderung zurückliegender Buchungen bei der CB die Ursache für das Problem ist.
Gewählte Zitate für Mehrfachzitierung:   0