La primera torre maestra tenía forma cuadrada con unas pocas ventanas pequeñas que daban lo alto de un acantilado.
En el siglo XVI, el condado pasó a la familia Gordon y, durante este tiempo, el castillo fue asediado en dos ocasiones.
El decimoséptimo conde de Sutherland, que se había cambiado el apellido Gordon por Sutherland, logró escapar saliendo por una puerta trasera del castillo, navegó hacia Aberdeen y allí unió al ejército del Duque de Cumberlans.
Tras la Primera Guerra Mundial se contrató el arquitecto escocés Robert Lorimer para renovar la casa.
Desde 1973 la casa y los jardines han sido abiertos al público, aunque hay algunas habitaciones privadas destinadas para el uso de la familia Sutherland.
Hoy día, se llevan a cabo exhibiciones de cetrería en los jardines del castillo.
El actual interior es obra, principalmente, del arquitecto escocés Sir Robert Lorimer, que mantuvo detalles de los siglos XVII y XVIII, que no estaban dañados, como las tallas del carpintero Grinling Gibbons.
[3][1] En el exterior, el castillo tiene elementos inspirados por la obra del arquitecto francés Viollet-le-Duc,[3] como el techo piramidal sobre de la entrada principal.