Ja, so hatte ich das schon gemacht. Unter Linux ist das auch kein großes Problem, aber soweit ich weiß, geht das bei Windows nicht so ohne Weiteres, da snappt das Fenster immer wieder mit der Titelleiste in den sichtbaren Bereich. Es sind auch nicht nur die Buttons die nicht zu sehen sind, auch einige Eingabefelder sind außerhalb des Bildschirms.
Ich kenne mich allerdings nur mit Swing aus, dort kann man die Bildschirmhöhe abfragen und dann den Dialog maximal in der Bildschirmhöhe mit einem vertikalen Scrollbalken anzeigen. So kämen auch die an die Eingaben und Buttons, die nicht wissen, wie man den Dialog nach oben aus dem Bildschirm schiebt (falls das unter Windows überhaupt möglich ist). 768 Pixel sind heutzutage natürlich eher wenig, aber bei Netbooks und günstigen Notebooks durchaus immer noch üblich.