Su padre fue el prócer de la Independencia José Fernández Madrid, quien se encontraba desterrado en Cuba con su familia para cuando nació Pedro.

La familia regresó al país en 1825, específicamente a Cartagena de Indias, pero al año siguiente su padre es nombrado agente confidencial en París, por lo que toda la familia viaja a Europa.

En 1827 se trasladan a Londres, hasta la muerte de José Fernández Madrid en 1830.

En 1852 fue elegido al Congreso, que llegó a presidir en 1857; en este mismo año fue Presidente del Estado de Boyacá.

Se destacó como profesor del Rosario en las cátedras de inglés, historia, literatura y derecho internacional.