Se trata, posiblemente, del lugar llamado Airchartdan por lo que san Columba pasó durante una de sus visitas al rey Brude de los pictos del norte.
La zona le había sido concedida a la familia Durward en 1229 y estos fueron, probablemente, quienes construyeron el castillo que se conoce hoy en día.
El conde de Ross lo capturó para la Corona inglesa a mediados del siglo XV pero fue recuperado poco después.
El castillo fue parcialmente destruido en 1692 por los ingleses para evitar que fuera capturado por los jacobitas y nunca fue reconstruido.
En la actualidad es propiedad del Patrimonio Nacional Escocés y constituye el tercer sitio más visitado de Escocia.