Josef Neruda aprendió a tocar el órgano en el monasterio de Rajhrad.

En su juventud, fue maestro asistente en Náměšť nad Oslavou, tocó en la capilla de Haugwitz y enseñó piano en Olomouc.

Mantuvo ese cargo durante treinta y seis años.

Josef Neruda tuvo diez hijos con mucho talento, con los que hizo varias giras por Europa.

Su hijo, Franz Xaver Neruda, fue un gran violonchelista y más tarde se convertiría en profesor en el conservatorio de San Petersburgo y Copenhague.