Por matrimonio con la condesa de Boulogne, María de Blois, llegó a ser conde de Boulogne en 1160.
La pareja se divorció en 1170, pero él continuó con el título de conde hasta su muerte en 1173.
Tuvieron dos hijas: Ida, condesa de Boulogne, y Matilde, que sería esposa del duque Enrique I de Brabante.
En 1171 se casó por segunda vez con Eleonor de Vermandois, hija de Raúl I, conde de Vermandois, con la que tuvo una hija de corta vida.
[1] Fue partidario de Enrique el Joven, por lo que recibió posesiones en Inglaterra.