Su subida al poder como señor de Bellême es confusa: según Orderico Vital, Ivo, ya obispo, logró esta señoría a la muerte de sus hermanos Warin, Roberto, Fulco y Guillermo.

Hacia 1047-1048, habría sostenido la revuelta de Arnulfo de Bellême, contra su padre Guillermo II Talvas; este último fue vencido y tuvo que abandonar sus tierras y el dominio habría sido compartido entre Arnulfo y su tío Ivo, obteniendo este último Bellême mientras Arnulfo permanecía en Alençon; seguidamente, hacia 1048/1049, Arnulfo fue asesinado y parece que no fue de hecho hasta entonces que Ivo recibió el castillo de Bellême.

[2]​ El 1048, Guillermo Soreng y sus tres hijos, se alzaron en rebelión contra Ivo, posiblemente respaldados por partidarios de su hermano Guillermo II Talvas, también enemigos de Arnulfo e Ivo que asolaron la región hasta llegar a Sées y la Catedral de San Gervasio.

El papa León IX lo amonestó seriamente per haber incendiado la catedral.

Para conseguir los recursos y materiales necesarios, abandonó Normandia en un largo viaje que le llevó a Apulia y Constantinopla, donde residían muchos normandos que habían hecho fortuna.