[1] La fecha más antigua documentada para el castillo es 1454, fecha en la que se concedió una licencia de fortificación a Guillermo Calder, sextp thane de Cawdor (o Calder, como se deletreaba el nombre originalmente).Una característica curiosa del castillo es que se construyó alrededor de un pequeño acebo vivo.Según la tradición, un burro cargado de oro se acostó bajo este árbol, que fue elegido como emplazamiento del castillo.[2] Armas Sir Hugh Campbell y su esposa Lady Henrietta Stewart, en un panel fechado en 1672 El castillo fue ampliado en numerosas ocasiones en los siglos siguientes.[3] Otras mejoras fueron realizadas por John Campbell (c. 1576 - c.1642), que compró ricas tierras en Islay.En Cawdor vivían los hermanos más jóvenes de la familia, que continuaron gestionando las fincas, construyendo un jardín de flores amurallado en 1720 y estableciendo extensos bosques a finales del siglo XVIII.Además, los terrenos del castillo incluyen un bosque con numerosas especies de árboles.Se cita al quinto conde Cawdor diciendo: "¡Ojalá el Bardo nunca hubiera escrito su maldita obra!".
