En posición dominante sobre el pueblo, próximo a la vertiente nororiental de la Serra de Ossa, se erige sobre una colina defendida naturalmente por el arroyo Ficalho y el arroyo Carrascal, afluentes menores del río Guadiana.

Al estar cerca de la calzada romana que comunicaba Évora con Mérida, algunos autores creen que la ocupación de esta elevación se llevó a cabo mediante alguna pequeña fortificación.

Durante el reinado de D. Fernando I (1367-1383), al igual que en varios castillos del reino, se realizaron importantes mejoras en la fortificación de Vila Viçosa.

Una vez regresado, el duque D. Jaime de Braganza no quiso vivir en el palacio ligado a la trágica memoria de su padre y, siendo tratado su matrimonio con la noble española D. Leonor, hija del duque de Medina Sidonia, construyó en 1501, el actual Palacio Ducal, donde comenzó a residir desde su matrimonio al año siguiente.

Aún para su determinación, se hicieron varias obras en el castillo, entre las cuales los bastiones/torretones de estilo manuelino y el foso defensivo.