Proyectado por el arquitecto Juan de Villanueva, las obras fueron llevadas a cabo por Manuel Serrano en 1771.
Se concibe como espacio integrado en la plaza de San Antonio y unido por un pasillo porticado con la iglesia de San Antonio.
[1][2] Realizada en piedra y ladrillo, la casa es de planta cuadrada, tiene tres pisos y patio con galerías porticadas con dos fuentes.
En 1865 se estableció en ella el cuartel de Alabarderos.
Posteriormente se establecieron las oficinas del Real Patrimonio.