Nació en la calle Lorea (hoy Presidente Luis Sáenz Peña), a media cuadra de la plaza del mismo nombre y sus hermanos mayores y menores nacieron en la Banda Oriental.

En su casa se hablaba siempre de Gustavo Modena, un gran maestro del teatro italiano que tuvo discípulos como Jacinta Pezzana, Adelaide Ristori, Mateo Salvini, Ernesto Rossi, entre otros.

Desde 1911 estudió en Montevideo en la Escuela Experimental de Arte Dramático dirigida por Jacinta Pezzana y por Atilio Supparo.

Esto puso a Caviglia en contacto directo con el teatro nacional: aprendió a hablar con el che y el vos, en lugar del tú académico; alternó con gente que venía de Buenos Aires, del circo y del sainete, lo cual era una novedad porque en Montevideo no había sainetes.

En 1921 se produjo en Buenos Aires un conflicto entre dos sectores de actores, una de cuyas consecuencias fue obligar a los disidentes a improvisar compañías y emprender giras por el interior del país.

El ministro del Interior llamó a Caviglia y gentilmente le sugirió la conveniencia de no estrenar, pero los actores decidieron seguir adelante.

Cuando al final del tercer acto Milagros de la Vega, sosteniendo en sus brazos al protagonista muerto, gritó: '¿De dónde vendrá el hombre que me ayudará a levantarlo?

Durante su gestión formó una compañía homogénea y difundió un calificado repertorio.