Gabriel Bengtsson Oxenstierna puso el nombre al palacio en honor a su madre que descendía de la prestigiosa familia Tre Rosor (“Tres Rosas”).
La construcción del castillo se realizó en el estilo típico de la época, el renacentista.
En 1747, Rosersberg fue adquirido por el barón Erland Carlsson Broman y otra vez fue modernizado bajo asistencia del arquitecto Jean Eric Rehn.
Broman murió en 1757 y el palacio fue adquirido por el estado, que se lo dio a Carlos.
Carlos se instaló en el palacio y continuó con los planes de Rehn para modernizarlo.