Viajó a Roma en 1903 para concurrir al capítulo general de su orden.

Su solemne entrada a su diócesis se produjo el 7 de noviembre del mismo año.

Monseñor Holguín apoyó decididamente a los diarios «La Unión», «La Tradición» y «El Deber».

Entre 1931 fue designado como Administrador Apostólico de la Arquidiócesis de Lima, debido a la renuncia del arzobispo, monseñor Emilio Lissón.

Durante un congreso realizado en 1933 disputó con monseñor Pedro Pascual Farfán (entonces Obispo del Cuzco) la candidatura para el Arzobispado de Lima, no obteniendo los votos necesarios.