Nacido en Noruega, su madre, Ellen Cecilie Gjesdal, según un poder judicial no estaba capacitada para criarlo y Peder quedó a cargo de la hermana de su madre y su marido con quienes se estableció en Copenhague.A los nueve años, comenzó su carrera artística con tutores privados y al año siguiente ingresó en el Instituto Técnico de Copenhague.En 1870, con 19 años, completó sus estudios en la Real Academia Danesa de Arte (Det Kongelige Danske Kunstakademi), donde estudió con artistas como Frederik Vermehren.En París, le dio clase Léon Bonnat y se empapó del impresionismo de Claude Monet, Alfred Sisley, Edgar Degas, Pierre-Auguste Renoir y Édouard Manet.Siguió viajando y embebiéndose de la cultura extranjera durante toda su vida gracias a sus exposiciones en Dinamarca y a que Hirschsprung sufragaba sus viajes.Su más reconocida y conocida obra es sin duda, Noche estival en la playa sur de Skagen con Anna Ancher y Marie Krøyer (Sommeraften ved Skagen Sønderstrand med Anna Ancher og Marie Krøyer), 1893.
Tarde estival en la playa de Skagen. El artista y su esposa
, 1899.