Olózaga nació en una familia acomodada de ideología liberal[1] en la Rioja alavesa.
En 1803, fue regidor de Logroño como artesano del estado noble, cargo que ostentó posteriormente, al menos, dos veces más.
Tras la derrota liberal, vuelve a Madrid y cursa estudios de Derecho en la Universidad Central, ejerciendo posteriormente como pasante del abogado Manuel María Cambronero.
Fue elegido diputado por esta ciudad y después por Logroño en las sucesivas elecciones parlamentarias desde 1836 hasta 1873.
Debió enfrentarse a las falsas acusaciones del moderado Luis González Bravo, en las que sostenía que había obtenido la disolución de las Cortes mediante el uso de la violencia e intimidación sobre la Reina.
La Embajada de Francia en España está situada en una calle que lleva su nombre.