Llegó a tener una muralla de piedra, con un foso que lo rodeaba, un puente levadizo sobre la plaza, con baluartes en sus ángulos con cañones y edificios interiores.
Lo unía a la Plaza Mayor un puente levadizo que duró hasta la gobernación de Bernardino Rivadavia.
En el fuerte se hallaban las habitaciones del Gobernador, Casas Reales y depósitos.
[8] A Diego Rodríguez Valdés lo sucedió Hernando Arias de Saavedra (conocido como «Hernandarias»), quien en 1604 comunicó al Rey que había proseguido la construcción incorporando un mirador y dependencias para la aduana.
[9] Sin embargo, salvo la construcción de las Cajas Reales en 1649, no fueron llevados avances importantes.
Además hizo fabricar cal y ladrillos utilizando como obreros a los soldados del presidio.
De todas maneras, tanto en España como en Buenos Aires reconocían que el fuerte estaba situado en un lugar poco estratégico para la defensa, y que las construcciones particulares situadas alrededor de ella le restaban eficacia.
Del lado oeste, a la mitad de la muralla, se encontraba el puente levadizo y la entrada principal.
En 1761 se concluyó una nueva residencia para los gobernadores, que había sido diseñada 10 años antes por Diego Cardoso.
Este edificio, que fue diseñado por José García Martínez de Cáceres y dirigido por Francisco García Carrasco, puede considerarse como el exponente del nivel más alto al que llegó la arquitectura civil porteña a fines del siglo XVIII.
[16] Durante la Reconquista de Buenos Aires (1806), al ser ocupado por los británicos, los patriotas intentaron volarlo comandados por el matemático Sentenach.
Fue inútil para las tropas británicas continuar adueñados del fuerte una vez que los porteños se apoderaron del resto de Buenos Aires, ya que de continuar en él habrían sido fácilmente sitiados.
[18][9] Volvió a ser sede del gobierno en 1853, tras el derrocamiento de Rosas, pero se hallaba en muy mal estado.
Ésta se situó con frente al mencionado río, detrás del fuerte, y fue proyectada por el ingeniero Edward Taylor.
En 1867, el otro sector del fuerte, sobre la actual Avenida Rivadavia, sufrió un par de graves incendios.
[13] En 1882 el presidente Julio Argentino Roca decidió agregarle a la antigua Casa de los Virreyes una fachada totalmente simétrica a la del nuevo edificio de Correos, quedando ambas construcciones separadas por una calle.
Recién en 1885 pudo comenzarse un plan integral para unificar la sede de la Presidencia en un edificio monumental.
La ampliación prosiguió por etapas, primero demoliendo parte del edificio de Correos construido por Sarmiento y unificando ese sector al darle la misma cantidad de pisos que al bloque recién construido sobre la calle Rivadavia.
Finalmente, se terminó el nuevo edificio en la década de 1890, levantando la fachada posterior que miraba hacia el río, y donde en 1894 se abrió la Plaza Colón, al demoler la Aduana de Taylor.
En 1653, siendo gobernador don Pedro Ruiz, se repelió un ataque francés, haciéndoles perder un barco.
Para ver todo esto, el público en general puede hacerlo accediendo al Museo de la Casa Rosada, situado en la parte trasera de la Casa Rosada, al cual se accede por la calle Hipólito Yrigoyen y Paseo Colón.
[28] También se exhiben allí elementos que pertenecieron al fuerte como el escudo, la cerradura y la llave del portón de hierro.