Excavaciones arqueológicas en los 1920s sugieren que está construido sobre una fortificación anglosajona más vieja, posiblemente del siglo V, y hay evidencias de más ocupaciones romanas en la proximidad.
[2][3] Nicholas Stone, un maestro mason quién había trabajado a las órdenes de Jones en Holyrood Palace en 1616, y en el Whitehall Banqueting House, estuvo encargado para añadir una capilla para Lord Dudley Digges, y un monumento funerario para Lady Digges, en 1631-32.
Los jardines, obra de John Tradescant el mayor, fueron rediseñados en el siglo XVIII por James Colebrooke (quién compró la propiedad a Digges) y Thomas Heron quién contrató a Lancelot Brown.
Este último es citado en estudios sobre el pintor Diego Velázquez porque poseyó el Retrato de Ferdinando Brandani, ahora en el Museo del Prado.
Chilham es actualmente propiedad del político populista Stuart Wheeler, quién vive allí con su mujer Tessa y sus tres hijas, Sarah, Jacquetta, y Charlotte.