Es conocido por ser su padre el retratista José Madrazo, y sus hermanos el famoso Federico de Madrazo y Luis de Madrazo.
Es uno de los pocos arquitectos madrileños que sigue las tesis racionalistas del arquitecto francés Eugène Viollet-le-Duc, siendo miembro de la Real Academia de Bellas Artes de San Fernando.
Tuvo una carrera relativamente corta como arquitecto, dejando no obstante ejemplos de su traza.
Compuso un libro sobre Agrimensura legal e inició otro sobre Arquitectura popular.
En 1855 intervino en uno de los proyectos más ambiciosos que se hicieron para la reforma de la Puerta del Sol de Madrid, aunque finalmente no se ejecutó.