Con el regreso al poder del general Domingo Caicedo y Santa María tras la renuncia del general Rafael Urdaneta, Montoya hizo parte de las Juntas Revolucionarias que conformó el general José María Obando para presionar el desconocimiento del Pacto de Apulo, acuerdo celebrado entre Urdaneta y Caicedo que consistía principalmente en el compromiso que asumió el segundo de respetar a los militares que acompañaron al gobierno del primero, a cambio que este le devolviera la presidencia de Colombia.
Los atropellos cometidos por Obando, que ocupó interinamente la presidencia mientras regresaba al país el electo mandatario, Francisco de Paula Santander, y por el gobierno titular, llevaron al general José Sardá a liderar una conspiración contra el presidente Santander.
Le correspondió a Montoya conducir al preso hasta la cárcel, operación que adelantó sin precauciones distintas a secundarlo con el sable desenvaindo, por tratarse el preso de uno de sus grandes amigos.
En el trayecto, el oficial detenido comenzó a correr y Montoya inició la persecución, en medio de la cual el reo le gritaba que no lo siguiera más o tendría que matarlo, amenaza que metros más adelante cumplió al desenfundar y detonar una pistola que llevaba oculta, asestándole un balazo a Montoya en el pecho que le atravesó el corazón y le causó la muerte de inmediato, quedando el coronel tendido en el suelo y llamando sobre su cadáver la atención de vecinos y de tropa, que ante el aturdidor estallido de pólvora, salieron a verificar lo sucedido.
Recibió suntuosas exequias en el extinto Templo de Santo Domingo.