Está construido sobre un espolón rocoso entre el lago de Neuchâtel y el río Seyon (hoy canalizado), junto a la Colegiata, y domina la ciudad, a la que da nombre.

Construido a finales del siglo X, era en su origen una residencia señorial situada en el interior de una fortificación más amplia, y a lo largo de los siglos ha experimentado numerosas transformaciones y ampliaciones.

[2]​[3]​ En el siglo XII, el conjunto es mencionado como Novum Castellum y más tarde como Novum Castrum («Castillo Nuevo»); en el griego culto del siglo XVI se denominó Neocomum y en francés antiguo o franco-provenzal antiguo Nuefchastel, Neufchastel o Neufchatel, de donde progresivamente acabó derivando en Neuchâtel a mediados del siglo XVIII.

Aparece mencionado en las fuentes escritas medievales germánicas como Nienburg, Nuvenburch o Nuewenburg, y evolucionó a Neuenburg en el alto alemán moderno (desde 1725).

Las partes más antiguas son el torreón y la Torre de los Prisioneros.

La Torre de la Diesse data del siglo XII y fue renovada en 1715.

En el último cuarto del siglo XX se restauraron las fachadas encaladas.