Está situado cerca de la boca del canal Göta.

[1]​ Mem se remonta al siglo XIV.

La finca ha sido propiedad de muchos condes, barones y familias nobles suecas.

Mem fue un importante centro para el Duque Carlos, después rey Carlos IX de Suecia y sus fuerzas armadas durante la guerra contra el rey Segismundo III Vasa a finales del siglo XVI.

Otro piso fue construido en el edificio principal y el estilo antiguo del edificio fue reemplazado con frontones de piedra escalonados en estilo de arquitectura gustaviano.