[1] La parte más antigua del castillo contiene una modesta casa-salón, con vistas a Dour Burn.
Hoy en día solo el ala del siglo XVIII permanece techada, mientras que la torre se ha derrumbado en su mayor parte.
[3] Sir Alan construyó la iglesia de San Fillan, que todavía permanece en pie al lado del castillo, alrededor de 1140, y probablemente su familia construyera la casa alrededor del año 1200,[4] o incluso antes.
[4] En 1351, Sir William Douglas dio las tierras de Aberdour a su sobrino, Sir James Douglas de Dalkeith, aunque mantuvo el castillo para sí mismo hasta su muerte dos años más tarde.
[3] En 1538 Jacobo V convocó al tercer conde de Morton antes que el Privy Coucil, acusándolo de no pagar sus deudas feudales,[6] y en 1540 desterró al conde a Inverness.
El hijo de William precedió a su padre, pero su viuda, Jean Lyon, continuó viviendo en Aberdour con su segundo marido, Alexander Lindsay, Lord Spynie.
El jardín vallado también fue construido en la década de 1630, y se hicieron mejoras en las terrazas.
Los condes de Morton continuaron viviendo en Aberdour aunque nunca recuperaron su anterior estatus.
Ninguna de estas propuestas salió adelante, aunque se realizaron reparaciones, completadas en 1703.
[13] Las tropas gubernamentales se establecieron en el castillo durante los alzamientos jacobitas de 1715.
[3] La estructura original, llamada casa-salón, tenía probablemente dos o tres plantas, que contenían un salón en la primera planta sobre un sótano no abovedado; y pudo haber estado rodeada por una empalizada defensiva de madera.
[16] La reconstrucción del siglo XV añadió dos plantas más, y reorganizó el interior.
[15] La estrada sur al torreón fue bloqueada, y reemplazada por una entrada oriental a la planta baja.
Este nuevo edificio, que forma el actual bloque central de tres plantas, incluye una cocina abovedada y un almacén.
[3] La planta superior, cuyo suelo de madera ya no está, contiene otros tres aposentos, incluyendo uno sobre la escalera.
La primera planta del edificio está ocupada por una gran galería, a la que se accede desde el bloque central.
[19] En el ala sureste hay tres habitaciones, una por planta, unidas por una escalera de caracol.
La habitación de la primera planta tiene unos frescos del siglo XVII en el techo, decorados con frutas, follaje y emblemas heráldicos.
Entre 1977 y 1980 se llevaron a cabo excavaciones arqueológicas, para determinar si las terrazas más bajas, que aparecía en un mapa de 1740, realmente existían.
Los muros de contención fueron reconstruidos en 1981,[3] y las terrazas se rellenaron con césped, al no haber datos sobre qué plantas hubo en ellas.
Durante la Segunda Guerra Mundial el jardín se usó como huerta y como criadero de cerdos.