[1]​ Venngarn era conocida al menos desde el siglo XIII.

Durante el siglo XV, la finca fue propiedad de la familia noble Banér.

En 1441, fue dada a Cecilia Haraldsdotter (Gren) tras su matrimonio con un miembro de la familia Banér: fue heredado por su hija Sigrid Eskilsdotter (Banér), la abuela materna del rey Gustav Vasa de Suecia, y a través de ella pasó a formar parte de la casa real en 1555.

[2]​ Venngarn fue vendido al conde Frans Berendt von Thurn en 1619, y comprada por Magnus Gabriel De la Gardie (1622-1686) en 1653.

[3]​[4]​ El Castillo de Venngarn fue confiscado por la corona durante la Reducción de Carlos XI y desde 1686 ha sido alquilado por la corona.