Su abuelo materno, Aizik Yevelevich Dymshitz, era un rico comerciante e industrial dedicado a la producción de madera.

Llegó a los Estados Unidos ese año y, en la década de 1920, realizó conciertos para la radio.

William Walton dedicó su Capriccio Burlesco a Kostelanetz, quien la puso en escena e hizo la primera grabación con la Filarmónica de Nueva York.

[cita requerida] Algunos de los arreglistas mencionados en los álbumes de los 70 de Kostelanetz incluyen a Teo Macero, Torrie Zito, Hank Levy, Luther Henderson, Cortner Jack, Eddie Sauter, Claus Ogerman, Pleis Jack, Tommy Newsom, Harold Wheeler, Bobby Scott, Johnson LaMont, Marcus Wade, Patrick Williams, Sammy Nestico, Warren Vicente, Dick Hyman, Jorge Calandrelli y Don Sebesky.

Después fue el segundo marido de la soprano Lily Pons, con la que estuvo casado entre 1938 y 1958.