Tras esto quedó retirado del ejercicio militar hasta que Napoleón proclamó el imperio en 1804 y fue mandado a las Indias Orientales por su conducta rebelde junto al general Lagrange.
Ordenó a Estéfano ejecutar a treinta habitantes, pero él, convencido de la inocencia de estos, desobedeció el mandato, aunque redactó un informe haciendo ver que la misión se había cumplido.
Ya en Portugal, ganó para Francia las ciudades de Braga, Oporto, Buçaco, Sabugal y Almeida.
Esto le valió para ser ascendido a general y recibir el título de barón del Imperio.
Por último, participó en la batalla de Arapiles, tras lo cual regresó a la Galia en 1812 con el mariscal Soult.