Se encuentra situado junto a la parroquia mayor de San Pedro y la plaza del mismo nombre, siendo la zona durante siglos el centro neurálgico, cultural y religioso de la ciudad.[cita requerida] Ante la destrucción del edificio en 1755, la Casa de Medina-Sidonia, levantó un palacio en la parte llana de la ciudad, por donde se empezaba a extender la población, edificio que aun subsiste en la calle Palacio.Según nos describe Juan Agustín de Mora en su obra "Huelva Ilustrada" publicada en 1762, el conjunto "es de una arquitectura magnífica, con cuatro finísimas torres en las cuatro esquinas y todas aquellas fortificaciones que se usaban en tiempos antiguos, porque su misma grandeza y elevación las expone más a la irresistible fuerza de la artillería".[4] Junto a sus restos se encuentra la iglesia de San Pedro Apóstol.Actualmente, el acceso al castillo está cerrado, ya que todo el recinto es propiedad privada.
Escudo de la Casa de Medina Sidonia, en la fachada del antiguo palacio situado en la calle Palacio de Huelva
