Du hast beim Einrichten einen Haken übersehen, der normalerweise angehakt ist. Dieser heißt "Schlüsseldatei importieren".
Zum Hintergrund: Bei B4 ist es "normal", dass die Schlüsseldatei nicht irgendwo extern liegt (in Deinem Fall auf dem usb-Stick), sondern dass sie mit im verschlüselten Tresor untergebracht ist, so wie alles Andere auch. Erstens ist das komfortabler und zweitens ist das der Möglichkeit geschuldet, den Tresor 1:1 auf ein anderes Gerät unter Android oder iOS oder auch macOS zu synchronisieren. Damit ist dann auch auf z. B. dem Mobilgerät der Schlüssel verfügbar.
Achtung: Bankverbindungen heißen seit Kurzem im Menü "Onlinebanking-Einstellungen"...
Wenn man nun eine neue Bankverbindung einrichtet, dann wählt man in dem Fall Typ "Schlüsseldatei" aus, danach "vorhandene Schlüsseldatei verwenden". Dann gibt man den Pfad zur Schlüsseldatei an und damit wird diese Bankverbindung dann synchronisiert. Direkt unter dem Pfad ist ein Feld "Schlüsseldatei importieren", und das ist standardmäßig angehakt. Damit wird der Schlüssel in den Tresor kopiert und man braucht die externe Datei erst mal nicht mehr. Wenn man - so wie Du - aus Sicherheitsgründen die Schlüsseldatei nicht im Tresor haben will, muss man in diesem Feld den Haken rausnehmen.
Man kann den Schlüssel über das Kontextmenü der Bankverbindung wieder in eine Datei rausspeichern, man kann ihn aber nicht "im Tresor löschen". Es geht aber über einen Umweg. Man löscht die Bankverbindung (nur die Bankverbindung, nicht das Konto!!) und legt diese dann wieder neu an - unter Verwendung der Schlüsseldatei auf dem usb-Stick. Und man läßt die Schlüsseldatei diesmal nicht importieren. Dann wird immer die Schlüsseldatei auf dem Stick verwendet. Hierfür wird in der Bankverbindung Laufwerk/Pfad/Dateiname hinterlegt. Wenn der Stick nicht eingesteckt ist, dann kommt bei der Kommunikation ein entsprechender Hinweis und man steckt ihn ein. Wenn sich durch irgendetwas auf dem PC der Laufwerksbuchstabe des Sticks ändert, kann man ihn durch Editieren der Bankverbindung anpassen. Wenn nun die neue Bankverbindung synchronisiert wird, dann werden die vorhandenen Konten auf diese "verdrahtet" und diese benötigt dann wieder jedes Mal den Stick. Wenn alles klappt, löscht man die alte Bankverbindung (mit Schlüssel). Zur Neuanlage würde ich auf jeden Fall den vorhandenen Stick benutzen, denn hier liegt der Schlüssel in einem Dateiformat vor, den auch das WebBanking versteht. Der Schlüssel, der aus der Bankverbindung rausgespeichert wird, ist im Format von B4, ob dieses Format vom WebBanking gelesen werden kann ist fraglich.