GnuCash basiert auf AqBanking - was eine andere HBCI-Bibliothek als HBCI4Java ist. Das "RDHNew"-Format von HBCI4Java ist ein proprietäres Format (kann AFAIK nur von HBCI4Java-basierter Software verarbeitet werden), deswegen wird es nicht funktionieren, eine HBCI4Java-Schlüsseldatei in GnuCash zu verwenden. Das "RDH"-Dateiformat von HBCI4Java ist völlig veraltet (ebenfalls proprietär, wurde durch RDHNew abgelöst).
Auf der HBCI4Java-Homepage gibt es jedoch den HBCI4Java Passport Editor, in den man eine RDHNew-Datei reinladen und als "RDH2File"-Datei exportieren kann. Dabei handelt es sich um ein Dateiformat, welches auch von "größeren" (im Sinne von "kommerziellen", nicht zwangsläufig "besseren"

) Banking-Software-Produkten verwendet wird. Da dieses Dateiformat auf jeden Fall weiter verbreitet ist, ist es möglich, dass AqBanking und damit auch GnuCash damit umgehen kann.
Da Du nun vom "RSH-2" Format sprichst, weiß ich nicht, in welchem Format Du nun eine Datei vorliegen hast... Auf jeden Fall einfach mal Martin Preuß (den Autor von AqBanking) befragen, ob der die RDH-2-Schlüsseldateien (=RDH2File in HBCI4Java) verwenden kann oder nicht.
Grüße
-stefan-