Pese a las abundantes opiniones que dicen que el lugar está basado en el pueblo de Portofino (Italia), el creador de Portmeirion, Sir Clough Williams-Ellis, rechaza la atribución directa, afirmando que nada más había querido homenajear la atmósfera de la región Mediterránea.

En el año 1931 Williams-Ellis compró a su tío, Sir Osmund Williams, la mansión victoriana Castillo Deudraeth —sin relación con el castillo medieval mencionado- con la intención de incorporarla al complejo hotelero de Portmeirion, pero el comienzo de la Segunda Guerra Mundial lo impidió.

Williams-Ellis consideró siempre que el castillo era el edificio más grande y majestuoso de la Finca Portmeirion, y se afanó en adquirirlo.

Está situado a un kilómetro del núcleo urbano.

La finca cuenta con una importante colección de rododendros y otras plantas exóticas en una zona ajardinada, plantada por el anterior propietario George Henry Caton Haigh.