Aunque nunca fue un castillo, la mansión estuvo protegida por murallas desde 1195, cuando Richard Vernon recibió el permiso para construirlas.El origen de las murallas data del siglo XI.Sin embargo, años más tarde se reconciliaron con Sir George, y la pareja heredó la mansión.El Haddon Hall actual medieval y Tudor, incluye pequeñas partes de la estructura original del siglo XI, pero la mayoría incluyen cámaras adicionales añadidas por las sucesivas generaciones de las familias Peverel, Avenel, Vernon y Manners.La mayor parte de la construcción se llevó a cabo en varias etapas entre los siglos XIII y XVII.
