Montalvo ocupó varias carteras en diferentes gobiernos conservadores, siendo también congresista a nombre del conservatismo.
[7] Es conocida su frase en un discurso ante el Congreso como Ministro de Gobierno el 13 de febrero de 1948, atacando al caudillo liberal Jorge Eliecer Gaitán y su marcha del silencia,[8] expresando queː[9][10][11] Por esos días, y tras la exclusión de Gaitán del comité bipartidista para la IX Conferencia Panamericana, el presidente Ospina (que había nombrado liberales cercanos a Gaitán), recompuso el comité con ministros suyos, incluyendo a Montalvo, ya que Gaitán logró que los liberales renunciaran para secundarlo.
[12] En marzo Montalvo renunció al ministerio, por lo que los sucesos de El Bogotazo no lo afectaron directamente.
Su nombre fue postulado para ser candidato a la presidencia por el conservatismo, y en consecuencia, del Frente Nacional, ya que por los acuerdos previos, los conservadores debían asumir la presidencia en el segundo de los cuatro períodos de alternación.
A pesar de que ya no era canciller, Montalvo sigió siendo designado presidencial hasta 1964.
Su último acto público fue en 1969 cuando votó en la Convención Nacional Conservadora por el expresidente Mariano Ospina para que fuera candidato del conservatismo a la presidencia, y con ello se refrendara como candidato único del Frente Nacional para las elecciones de 1970.
[11] La postulación la ganó el exembajador en Estados Unidos Misael Pastrana, quien contó con el apoyo de Ospina.
Pese a su avanzada edad, su muerte fue sorpresiva, ya que Montalvo gozaba de buena salud y lucidez mental.
Por esa línea familiar, José era primo tercero del expresidente Misael Pastrana Borrero, ya que la madre de Pastrana era también sobrina nieta de Tomás Falla, y por tanto prima segunda del pintor Ricardo Borrero.
José Antonio Montalvo contrajo nupcias el 10 de enero de 1921 con Isabel Higuera Jiménez, con quien tuvo 7 hijosː Cecilia, Isabel, Ignacio, María Cristina, Luis, el sacerdote católico Gabriel, y la religiosa católica Teresa Montalvo Higuera.