Nació en una familia de la nobleza burgalesa, hijo de Luis Sarmiento de Mendoza, caballero de la Orden de Santiago, embajador en Portugal, y su madre era Juana Pesquera y Castillo.

Estudió cánones en Salamanca, y en 1550 ganó por oposición la cátedra de Volumen en la Facultad de Derecho, ejerciendo allí la docencia hasta que en 1554, fue nombrado oidor en la Chancillería de Valladolid.

En junio de 1560 tomaba posesión del puesto de auditor de la Rota Romana y referendario de la Signatura Apostólica, cargos que ocupó durante diez años.

El 4 de junio de ese último año, presentado por Felipe II, Gregorio XIII lo nombró obispo de Astorga, sede que ocupó hasta su traslado a Jaén en 1580, donde durante su pontificado se fundaron siete conventos de carmelitas descalzos.

Tras el cese de Francisco Zapata y Cisneros en la presidencia del Consejo de Castilla en 1592, Sarmiento fue designado como su sucesor, cargo al que renunció aduciendo «las obligaciones tan apretadas como tienen los prelados».