Se edifica y posteriormente se inaugura por el regidor Juan Fernández (dueño de una huerta de su nombre) el 16 de julio de 1611.
[3] Debido a su mal estado de conservación en los años inmediatamente posteriores a su finalización, se acusó de corrupción a Juan Fernández, llegando incluso a expresarse esta sospecha en forma de versos por el Conde de Villamediana:¡Buena está la torrecilla!
Si Juan Fernández lo hurtó, ¿qué culpa tiene la Villa?Carlos Cambronero demostró lo infundado de las acusaciones contra Juan Fernández, ya que la obra llegó a ser tasada el 16 de marzo de 1621 por Juan Díaz, alarife de la villa, y Juan de Herrera, maestro de obras y aparejador de las de la Real Casa.
Con objeto de la urbanización de los jardines del Retiro de Madrid se procede a su derrumbe a finales del siglo XVIII.
Las reformas fueron planificadas y ejecutadas por José de Hermosilla y Ventura Rodríguez y la causa de su derrumbe fue que su emplazamiento al final de la Carrera de San Jerónimo impedía la materialización del proyecto en ese tramo del paseo.