Ganaron popularidad gracias al sencillo «Me and My Broken Heart» que obtuvo el número uno en la lista del Reino Unido.

Jake Roche y Danny Wilkin empezaron a escribir juntos después de acabar el colegio.

Más tarde se les unió Charley Bagnall y finalmente Lewi Morgan.

En 2020, Danny Wilkin decidió dejar la banda porque quería centrarse en su carrera en solitario.

El 14 de agosto de 2020, Push Baby lanzó su nuevo sencillo "Holding on Is Holding You Back" sin Danny Wilkin, y crearon un sello discográfico llamado "Wow, Big Legend".