Estudió violín clásico y tocó en una orquesta en el teatro nacional de La Habana.
Entre 1915 y 1918 interpretó tangos en Nueva York junto a una banda conocida como Los Gígolos.
Posteriormente también se dedicó a dibujar tiras cómicas para el periódico Los Angeles Times.
En 1918 contrajo matrimonio con la artista cubana Rita Montaner, y luego de divorciarse, lo hizo con la mexicana Carmen Castillo en 1928.
Participó como actor en diversas películas en idioma inglés, los cortometrajes Mexicana (1929), Let's Go Latin (1937) y Xavier Cugat and His Orchestra (1952).
Otra película de la Metro Goldwyn Mayer en que participó con su orquesta fue Festival en México (Holiday in Mexico), esta vez junto a Jane Powell, Walter Pidgeon y el pianista José Iturbi.
En 1940 grabó la canción Perfidia con el cantante Miguelito Valdés, la cual se convirtió en un gran éxito.