Markarián se interesó en la política a temprana edad y a los 17 años ya se había integrado en el movimiento nacionalista.
En 1974 las autoridades de la República Soviética de Armenia le condenaron a dos años de prisión por tomar parte en actividades políticas clandestinas.
Miembro del oficialista Partido Republicano, Markarián fue nombrado primer ministro de su país el 12 de mayo de 2000.
Al tiempo que representante del oficialismo, mantenía unas buenas relaciones con la oposición, que acusa al presidente armenio, Robert Kocharián, de cercenar las libertades fundamentales.
Kocharián convocó una reunión extraordinaria del gabinete de ministros para estudiar las medidas a tomar tras la muerte del jefe de Gobierno, en particular, el nombramiento de su sucesor en el cargo.