Dann versuch's doch mal mit einer älteren Hibiscus-Version. Konkret 2.8.13. Gibts unter
https://www.willuhn.de/products/hibiscus/download_ext.php (installieren per Datei->Einstellungen->Plugins->Plugin manuell installieren...). 2.8.13 enthielt die PSD2-Änderungen noch nicht. Wenn es damit geht, habe ich durch die PSD2-Änderungen bei der Erstellung von Schlüsseldateien einen Fehler eingebaut. Wenn es dort auch nicht geht, kann die Bank scheinbar kein RDH mehr. Oder das Erstellen des Schlüssels schlägt aus einem anderen Grund fehl.
HBCI per Schlüsseldatei sollte jedenfalls (jetzt mal unabhängig von RDH/RAH) auch mit Vor-PSD2-Anwendungen funktionieren. Die ganzen SCA-Änderungen beziehen sich nur auf PIN/TAN.