El Imperio latino no logró obtener la dominación política o económica sobre los otros feudos latinos que se habían establecido en los antiguos territorios bizantinos como consecuencia de la Cuarta Cruzada, especialmente Venecia, y después de un breve período inicial de éxitos militares el Imperio latino entró en una constante decadencia.
Cuando Balduino comenzó una campaña contra los señores bizantinos de Tracia, estos pidieron ayuda a Kaloyán.
Su hermano Enrique fue elegido regente del Imperio y coronado como emperador en 1206, cuando en Constantinopla se supo la muerte de Balduino.
Derrotados por el emperador Enrique, este exigió a Miguel Comneno que se declarase su vasallo.
En 1214, sin embargo, Miguel fue asesinado y le sucedió Teodoro Comneno Ducas, que estaba decidido a capturar Tesalónica.
Los éxitos latinos continuaron y en 1207 se firmó una tregua con Teodoro, recientemente proclamado emperador de Nicea.
Los latinos infligieron una nueva derrota a las fuerzas nicenas en el río Ryndakos en octubre de 1211.
La paz fue mantenida hasta 1222, momento en el cual la potencia emergente de Nicea se sintió lo suficientemente fuerte como para desafiar al imperio latino, por aquel entonces debilitado por la constante guerra en sus provincias europeas.
Ya sin rivales fuertes en suelo europeo, los nicenos se concentraron en hostilizar al exiguo y menoscabado Imperio latino y el 25 de julio de 1261, con la mayoría de las tropas latinas fuera en campaña, el general niceno Alejo Estrategopoulos encontró una entrada sin vigilancia en Constantinopla y la atacó con sus tropas, tomándola tras un breve combate para su señor, Miguel VIII Paleólogo.
En tanto los cruzados que habían tomado la ciudad eran una fuerza militar multinacional, se estableció un "consejo del Imperio" formado por magnates influyentes que se encargarían del gobierno en casos de emergencia.
En los hechos, el Podestà ejercía un efectivo gobierno sobre los territorios otorgados a Venecia, empleando funcionarios venecianos.
La economía del Imperio tuvo como primer fundamento al carácter estratégico de Constantinopla como gran emporio centro comercial que conectaba el Mediterráneo y el Mar Negro, así como sus facilidades portuarias que le permitían eficaz contacto con otros nudos comerciales de la época.