Durante su niñez y adolescencia, Elefante tocó la batería con la banda familiar llamada The Brotherhood.

[2]​ Su carrera comenzó cuando audicionó para ser el nuevo vocalista y teclista de Kansas en 1981.

[1]​ John colaboró un gran medida con la banda junto al guitarrista y teclista Kerry Livgren.

[3]​ Al año siguiente, en su álbum sucesor Drastic Measures, compuso el tema «Fight Fire with Fire», sencillo que logró llegar a la 3.º posición del Mainstream Rock, siendo hasta el momento la canción de la banda que se ha ubicado en la mejor posición en esta lista.

[1]​ También participó como teclista, compositor, corista e ingeniero de sonido en este álbum.

Al finalizar la década de 1980, John Elefante produjo cinco álbumes y participó en doce discos.

En los siguientes cinco años, Elefante trabajó como uno de los productores más demandados en Nashville.

Los hermanos Elefante mantienen una relación laboral muy fuerte y John mencionó que le sigue gustando componer canciones.