Uno de cinco hijos, era el segundo varón; su hermano mayor, José Víctor, murió siendo niño en 1716.

Luis Víctor creció en París, donde su padre era cortesano y un inveterado jugador.

Intensamente endeudado en el Piamonte, y demandado por sus hermanas cuyas dotes había perdido con el juego, huyó a Francia donde vivió una vida tan lujosa de manera que su hijo se vio obligado a vender significativos activos familiares en ese país.

Más tarde se trasladó al Piamonte, entre Turín y Racconigi.

El más célebre de sus hijos, la princesa María Teresa, es conocida en la historia como la princesa de Lamballe cuya estrecha amistad con María Antonieta llevó a su muerte brutal durante la Revolución francesa.