Afrancesó su nombre como Charles Rossy, en una alta sociedad de la época que entre ella hablaba en francés, como se puede leer en su tumba.

Carlo Rossi nació el 29 de diciembre de 1775 en Nápoles y fue llevado a Rusia en su infancia cuando su madre Gertrude Rossi-Le Picq, una conocida bailarina, fue invitada a Rusia para actuar (y donde vivirán desde 1787).

Su padrastro fue el famoso coreógrafo y bailarín de ballet francés Charles le Picq (1744-1806) y desde su juventud estuvo en contacto con el mundo de las artes.

En 1802, Rossi realizó un viaje de estudios al extranjero para completar su educación que se prolongó durante dos años en Italia (1802-1803).

En 1816, fue nombrado miembro del Comité de estructuras y obras hidráulicas.

Al entrar en conflicto con el entorno que rodeaba a Nicolás I, en 1832, fue despedido «en todas las clases de edificios».