Su nombre se debe a la abundancia de ranas (frog, en inglés) que siempre ha habido en esta zona pantanosa cercana al río Támesis.
En 1792, Jorge III la adquirió para que sirviera de retiro campestre a la reina Carlota.
El noble, político y diplomático Louis Mountbatten nació en esta casa en 1900.
En octubre de ese año ya estaba finalizada la cúpula y en diciembre se consagró el edificio, aunque su decoración no se terminó hasta agosto de 1871.
El edificio tiene forma de cruz griega, y su exterior se inspira en el románico italiano.
La estructura del edificio es inestable y está cerrado al público desde 2007.
El cementerio real puede verse desde su perímetro en los días en que los jardines están abiertos.
La estructura del mausoleo real es inestable y en 2007 se cerró al público con carácter indefinido.