Duplikate erkennen

neues Plugin

 
Benutzer
Avatar
Geschlecht: keine Angabe
Beiträge: 137
Dabei seit: 05 / 2014
Betreff:

Duplikate erkennen

 · 
Gepostet: 05.03.2016 - 15:43 Uhr  ·  #1
Hi

Durch eine Änderung in Hibiscus bzgl. der Handhabung der Verwendungszwecke, kann es bei der Benutzung diverser Plugins passiert, dass Umsätze doppelt eingetragen werden.

Da dies auch bei mir der Fall war, habe ich ein kleines Plugin geschrieben, dass mögliche Duplikate erkennt (basierend auf Datum und Betrag) und die Möglichkeit bietet, die Duplikate zu löschen.

Installation über Datei / Plugins online suchen / http://www.open4me.de/hibiscus

Über den Menüpunkt Duplikate/Duplikate suchen erhaltet ihr eine Liste mit Umsätzen, die möglicherweise Duplikate sind.

Es werden jeweils zwei Umsätze zu einem Paar zusammengefasst. Wenn es tatsächlich ein Duplikat sein sollte, könnte ihr den "falschen" Umsatz über die rechte Maustaste löschen.
Ihr solltet immer den Umsatz löschen, der als erstes vom Plugin eingetragen wurde und nun von dem Plugin nicht mehr erkannt wird. Es handelt sich um den Umsatz, der die niedrigere "Umsatz ID" trägt.

Gruß,
Sven
Benutzer
Avatar
Geschlecht: keine Angabe
Herkunft: Leipzig
Homepage: willuhn.de/
Beiträge: 10071
Dabei seit: 03 / 2005
Betreff:

Re: Duplikate erkennen

 · 
Gepostet: 07.03.2016 - 13:14 Uhr  ·  #2
Coole Idee! ;)
sme
Benutzer
Avatar
Geschlecht: keine Angabe
Beiträge: 242
Dabei seit: 11 / 2006
Betreff:

Re: Duplikate erkennen

 · 
Gepostet: 18.03.2016 - 18:53 Uhr  ·  #3
Hallo little.yoda,

die Idee ist gut. Du solltest aber noch Empfänger und Zwischensumme in die Liste aufnehmen.
Ich war gerade fürchterlich erschrocken, wieviel doppelte ich habe: ca 200 Einträge! Tatsächlich war es dann aber nur 1 doppelt aufgeführter Umsatz.
Benutzer
Avatar
Geschlecht: keine Angabe
Beiträge: 137
Dabei seit: 05 / 2014
Betreff:

Re: Duplikate erkennen

 · 
Gepostet: 18.03.2016 - 19:06 Uhr  ·  #4
Kannst du mir mal ein paar Beispiele (ggf. annoymiziert) als E-Mails zukommen lassen?
E-Mail findest du unter http://www.open4me.de/index.php/impressum/

Ich bin mir nicht sicher, ob Zwischensumme wirklich zielführend ist, weil sie bei den Plugins teilweise gar nicht korrekt gepflegt.
Benutzer
Avatar
Geschlecht: keine Angabe
Beiträge: 137
Dabei seit: 05 / 2014
Betreff:

Re: Duplikate erkennen

 · 
Gepostet: 19.03.2016 - 17:17 Uhr  ·  #5
Danke für deine ausführliche Mail sme.

Ich habe gerade eine neue Version veröffentlicht.

- Unterschiedliche Gegenkonto nehme ich nun als hartes Filterkriterium. Solche Buchungen werden gar nicht mehr angezeigt.

- Buchungstext:
Ich habe das Plugin geschrieben, da Hibiscus mit einer neuen Version die Behandlung der Buchungstexte geändert hatte. Diese Änderung in Hibiscus führte zu leichten Änderungen im Buchungstext.
Somit sind unterschiedliche Buchungstexte leider kein Kriterium für unterschiedliche Umsätze. Auch gab es in der Vergangenheit Fälle, wo Banken nachträglich den Buchungstext geändert haben.
Gleiche bzw. abgeschnittene Buchungstexte wirken sich aber auf die Wahrscheinlichkeiten aus.

- Unterschiedliche Salden:
Unterschiedliche Salden fließen nun in die Wahrscheinlichkeitsbewertung ein. Als absolutes Filterkriterium ist es aber auch nicht nutzbar, da die Saldenberechnung bei den Plugins doch recht unterschiedlich und mMn nicht zuverlässig ist.

Gruß,
Sven
sme
Benutzer
Avatar
Geschlecht: keine Angabe
Beiträge: 242
Dabei seit: 11 / 2006
Betreff:

Re: Duplikate erkennen

 · 
Gepostet: 19.03.2016 - 20:59 Uhr  ·  #6
Hallo,
noch 'ne Idee für ein bischen Schmuck am Nachthemd:
ein Link zu der jeweiligen Stelle (Konto + Datum). Dann kann ich besser prüfen, was dort passiert ist.
Vielleicht kann man ja auch einfach die Such-/Umsatzmaske aufmachen mit Konto und Datum.
Gruß
sme
Benutzer
Avatar
Geschlecht: keine Angabe
Beiträge: 242
Dabei seit: 11 / 2006
Betreff:

Re: Duplikate erkennen

 · 
Gepostet: 21.03.2016 - 15:46 Uhr  ·  #7
Hallo Sven,
kann es sein, daß Du auf die eine oder andere Weise den Speicher für die PINs störst?
Beide male, nachdem ich Deinen Vergleich habe laufen lassen, mußte ich die Litanei neu eingeben.
Bei fast 30 HBCI-Konten macht sich das irgendwie blöde. :-(
Benutzer
Avatar
Geschlecht: keine Angabe
Herkunft: Leipzig
Homepage: willuhn.de/
Beiträge: 10071
Dabei seit: 03 / 2005
Betreff:

Re: Duplikate erkennen

 · 
Gepostet: 21.03.2016 - 15:47 Uhr  ·  #8
60 Konten? SECHZIG?
sme
Benutzer
Avatar
Geschlecht: keine Angabe
Beiträge: 242
Dabei seit: 11 / 2006
Betreff:

Re: Duplikate erkennen

 · 
Gepostet: 21.03.2016 - 15:50 Uhr  ·  #9
Ja. Aber incl. der Scripting- und Unterkonten.
Es sind aber nicht nur meine sondern die der gesamten Großfamilie.
Benutzer
Avatar
Geschlecht: keine Angabe
Beiträge: 137
Dabei seit: 05 / 2014
Betreff:

Re: Duplikate erkennen

 · 
Gepostet: 21.03.2016 - 16:21 Uhr  ·  #10
Zitat geschrieben von sme

kann es sein, daß Du auf die eine oder andere Weise den Speicher für die PINs störst?


ich wüsste nicht wie. Ich habe gerade nochmal durch die Sourcen geschaut und mir ist nichts aufgefallen. Auch bei meinen Tests habe ich das Problem nie gehabt.

Falls noch jemand anderes schauen möchte:
https://github.com/littleyoda/…eView.java



Bzgl. Konten: Und ich dachte, dass ich mit 24 Konten (inkl. Punkte-Konten) schon viele Konten hätte.
Benutzer
Avatar
Geschlecht: keine Angabe
Herkunft: Leipzig
Homepage: willuhn.de/
Beiträge: 10071
Dabei seit: 03 / 2005
Betreff:

Re: Duplikate erkennen

 · 
Gepostet: 21.03.2016 - 16:29 Uhr  ·  #11
Zitat geschrieben von little.yoda

Falls noch jemand anderes schauen möchte:
https://github.com/littleyoda/…eView.java


Ich sehe in deinem Code keine Stelle, die auch nur annaehernd mit PINs zu tun haben koennte.
sme
Benutzer
Avatar
Geschlecht: keine Angabe
Beiträge: 242
Dabei seit: 11 / 2006
Betreff:

Re: Duplikate erkennen

 · 
Gepostet: 04.04.2016 - 23:33 Uhr  ·  #12
Sorry! Der Grund für die ständige PIN-Abfrage lag vermutlich daran, daß UBUNTU aus irgendeinem Grund das ORACLE-Java-8 nicht mehr erkannt hat und deshalb auf die Open-Java-6-Version zurückgefallen ist.
Benutzer
Avatar
Geschlecht: keine Angabe
Herkunft: Leipzig
Homepage: willuhn.de/
Beiträge: 10071
Dabei seit: 03 / 2005
Betreff:

Re: Duplikate erkennen

 · 
Gepostet: 05.04.2016 - 07:31 Uhr  ·  #13
Ich glaube eigentlich nicht, dass das an der Java-Version lag.
Benutzer
Avatar
Geschlecht: keine Angabe
Homepage: unfinishedbusiness…
Beiträge: 11
Dabei seit: 09 / 2017
Betreff:

Re: Duplikate erkennen

 · 
Gepostet: 01.11.2018 - 12:51 Uhr  ·  #14
Seit einem größeren Update (irgendwas an der Art der Abfrage wurde glaube ich geändert - man wurde gefragt, wenn die Bank das unterstütz) habe ich viele doppelte Einträge bei meinen Umsätzen...

Jetzt finde ich dieses Tool, aber das scheint nicht mehr zu funktionieren: "loader.jameica:class not found"

Ich nutze das "rundum sorglos Paket" unter Ubuntu. Aktuell jameica 2.8.2 , hibiscus 2.8.5

Was kann ich tun??
Benutzer
Avatar
Geschlecht: keine Angabe
Herkunft: Leipzig
Homepage: willuhn.de/
Beiträge: 10071
Dabei seit: 03 / 2005
Betreff:

Re: Duplikate erkennen

 · 
Gepostet: 01.11.2018 - 13:43 Uhr  ·  #15
Die Duplikate entstanden nur in dem Zeitraum, in dem die Umsaetze sowohl per MT940 als auch per CAMT abgerufen wurden. Loesche die doppelten Umsaetze manuell. Bei weiteren Umsatz-Abrufen sollte es dann keine Doppler mehr geben. Es sei denn, du hast mal den Parameter "umsatz.startdate.offset" per Hand konfiguriert (ist unter https://www.willuhn.de/wiki/do…tze_fehlen beschrieben), um die Umsaetze immer auch fuer einige Tage rueckwirkend abzurufen. Dann wird es noch so lange Doppler geben, bis das Offset auf den Tag der Umstellung faellt.
Benutzer
Avatar
Geschlecht: keine Angabe
Beiträge: 10
Dabei seit: 11 / 2011
Betreff:

Re: Duplikate erkennen

 · 
Gepostet: 30.09.2023 - 23:45 Uhr  ·  #16
Klappt das Plugin noch mit aktuellen Hibiscus-Versionen? Ich habe eine lange Liste von Umsätzen, bei denen diverse doppelt vorkommen (gleicher Tag, gleicher Betrag, unterschiedlicher Verwendungszweck), aber nach Installation und Ausführen von "Duplikate suchen" kommt lediglich eine leere Liste. Muss noch etwas anderes eingestellt werden?
Benutzer
Avatar
Geschlecht: keine Angabe
Beiträge: 137
Dabei seit: 05 / 2014
Betreff:

Re: Duplikate erkennen

 · 
Gepostet: 02.10.2023 - 20:09 Uhr  ·  #17
oh je, lange ist es her.


Ich habe gerade noch mal in den Sourcecode geschaut:

Mindestens müssen folgende Dinge gleich sein:
  • Betrag
  • Datum
  • Gegenkonto
  • Konto
  • Betrag ungleich 0 Euro


Erst dann schaut sich das Programm die Ähnlichkeiten überhaupt näher an.

War/ist dies bei dir der Fall?
Benutzer
Avatar
Geschlecht: keine Angabe
Beiträge: 10
Dabei seit: 11 / 2011
Betreff:

Re: Duplikate erkennen

 · 
Gepostet: 03.10.2023 - 20:04 Uhr  ·  #18
Sollte eigentlich alles passen, hier ein Beispiel:



Die Liste, nachdem ich Duplikate->Duplikate suchen aufgerufen habe, ist dennoch leer und zeigt "0 Datensätze". Muss ich irgendetwas beachten, von wo oder wie ich die Erweiterung aufrufe?

P.S.: Soll ich das lieber in deinem Forum besprechen, hatte ich hinterher erst gefunden... ;-)
Der an diesem Beitrag angefügte Anhang ist entweder nur im eingeloggten Zustand sichtbar oder die Berechtigung Deiner Benutzergruppe ist nicht ausreichend.
Gewählte Zitate für Mehrfachzitierung:   0