Su abuelo Sir Henry Brouncker había sido Lord Presidente de Munster (1603–1607) y estableció a su familia en Irlanda.

Aunque el primer vizconde había luchado por la corona en la guerra anglo-escocesa de 1639, chismes maliciosos decían que pagó la enorme suma de 1200 libras por el título y, como resultado, casi se arruinó.

Hasta 1660 no jugó ningún papel en la vida pública: siendo un partidario incondicional de la monarquía, decidió que lo mejor era vivir tranquilamente y dedicarse a sus estudios matemáticos.

Aunque su asistencia a la Royal Society se había vuelto poco frecuente y se había enemistado con algunos de sus compañeros, le dolió el ser privado de la presidencia en 1677.

[2]​ Brouncker nunca se casó, pero vivió durante muchos años con la actriz Abigail Williams (para disgusto de Pepys) y le dejó la mayor parte de sus propiedades.

El incendio de 1673 que destruyó la Oficina de la Royal Navy comenzó en su armario privado, lo que pudo enturbiar sus relaciones con Samuel Pepys, cuyas dependencias también resultaron destruidas por el fuego.