Bajo su iniciativa se comenzó a construir la prestigiosa academia militar Ludovika (Ludoviceum), que lleva el nombre de su madre, el observatorio en la montaña Gellért, así como la fundación de la vía ferroviaria entre Pest y Kőbánya.

Su hermano mayor Alejandro Leopoldo, el anterior conde palatino (nádor) húngaro había realizado un trueque de propiedades donde Isla Margarita pasaba a manos de su familia y las órdenes religiosas se retiraban.

Igualmente el balneario en la Isla Margarita lleva el nombre "Palatinus" en su honor, y en el lado de Buda la pequeña montaña Józsefhegy, donde hay un mirador se encuentra bautizada en su honor, pues ahí tenía su coto de caza.

José se casó con la Gran Duquesa Alejandra Pávlovna de Rusia (1783-1801) en San Petersburgo en 1799.

Tuvieron una hija: Se casó por segunda vez en Schaumburg con la princesa Herminia de Anhalt-Bernburg-Schaumburg-Hoym (1797-1817).