Sam Vallen y Jim Grey crearon esta banda a principios de 2011.
[3] De forma independiente lanzaron en primer lugar su primer álbum, Moments from Ephemeral City (2011), y después su EP Colossus (2011) antes de fichar por Welkin Records y lanzar su segundo álbum The Tide, the Thief & River's End (2013).
A comienzos de 2011 Sam Vallen y Jim Grey crearon Caligula's Horse.
Vallen se encargó de la composición, las guitarras, la producción, la grabación y la masterización.
[6] El lineup expandió para incluir Zac Greensill, Geoff irlandés y Dave Couper.
Para exhibir su nuevo lineup un dos-seguir EP el coloso estuvo liberado en septiembre de 2011.
Este disco era un álbum conceptual y las canciones están organizadas con base en un orden cronológico.