En 1481 la ciudad fue saqueada por el conde de Holanda en una expedición punitiva que dejó solo en pie la iglesia y algunas casas.

Tras las guerra napoleónicas, en 1815 el palacio fue regalado por los holandeses al príncipe heredero Guillermo II por su intervención en las batallas de Quatre Bras y Waterlo.

Ampliado con dos alas con columnatas a los lados, fue posteriormente utilizado como palacio de verano por Guillermo II y sus descendientes.

Baarn cuenta con estación de ferrocarril desde la que es posible la comunicación con Utrecht, Amersfoort y Ámsterdam.

También Soestdijk tiene estación de tren en la línea que une Den Dolder y Baarn.