Nunca fue un castillo importante en el sentido militar, pero cubría una extensa área amurallada pentagonal de unos 6.000 m² con una torre en el norte, probablemente la residencia del condestable, y una impresionante puerta de entrada en el sur.
El celador podría haber ocupado el cuarto a la izquierda de la puerta, mientras que a la derecha se encontraba la habitación del portero con la habitación del sacerdote arriba.
Otros edificios, documentados en una investigación en 1326 y que ya no existen, incluían el gran vestíbulo en el lado este del claustro.
El arzobispo abandonó Swords cuando en 1324 se construyó un nuevo palacio en Tallaght -un traslado que sin duda se vio reforzado por los continuos daños sufridos por el edificio durante la campaña de Roberto I de Escocia en Irlanda en 1317.
En el siglo XIX fue usado como jardín y vendido cuando la Iglesia de Irlanda fue separada del estado.