Falling Out es el segundo álbum de Peter Bjorn y John , lanzado el 4 de octubre de 2004. Si bien no se lanzaron videos, se derivaron tres sencillos del álbum; el sencillo promocional de Tailormade y los lanzamientos completos de Teen Love y It Beats Me Every Time.
El último tema del álbum, 'Goodbye Again, Or...' es de muy baja calidad en todos los formatos, debido a que la única grabación de la canción proviene del teléfono móvil del cantante y guitarrista Peter Morén, añadido al álbum el último día antes de la masterización. Durante la gira de su primer álbum en solitario The Last Tycoon , Morén ha interpretado la canción acústicamente en una versión extendida que incluye un solo de armónica.
Wichita Recordings, responsable de posteriores reediciones de los primeros trabajos de la banda, reeditó posteriormente este álbum con pistas extras extraídas de los sencillos derivados del álbum, de la misma manera que su trabajo debut. Las pistas extra de esta reedición incluían las pistas extras del EP 'Beats, Traps & Backgrounds' y 'Fortune Favours Only The Brave', del sencillo 'Teen Love'.
Las portadas de los sencillos se caracterizan por estar compuestas íntegramente por texto con la misma fuente que la portada monocromática del álbum, que es a su vez un homenaje al tercer álbum homónimo de The Velvet Underground . El tema de todo texto se trasladó a los shows en vivo de la banda, con el fondo impreso con la palabra "Backdrop" repitiéndose sin cesar sobre él y los amplificadores decorados de la misma manera.
De las notas del álbum reeditado en Wichita en 2006:
"En la vida cotidiana tendemos a hacer concesiones, lo cual no es ni bueno ni malo. En el arte es simplemente negativo, mientras que en la vida es simplemente necesario. Renunciamos a cosas en las que creemos para evitar quedarnos atrás o excluidos. En esta vida de concesiones también tendemos a enamorarnos. No sólo de personas, sino de lugares, filosofías, sociedades y nuestra propia imagen de cómo debería ser la vida. Miramos como ovejas en dirección a esa imagen ideal, pero nunca la alcanzaremos. De ese modo, estamos condenados a decepcionarnos, a confundirnos y a hacernos daño unos a otros.
Pero estos enfrentamientos, peleas de toros y conflictos amanerados están ahí por una razón. Los necesitamos para crecer y seguir adelante. Necesitamos estar confundidos. A veces nos peleamos con nosotros mismos y con nuestras expectativas sobre nosotros mismos. Estas son las más difíciles, pero también las más importantes. Aquí están nuestras canciones sobre peleas. Algunas sobre peleas también, pero sobre peleas sobre peleas. Escúchalas."
La versión de Peter Bjorn And John de "Teen Love" de The Concretes fue lanzada como sencillo en 2004. Tiene dos caras B.
Este EP, también lanzado en 2004, funciona como el lanzamiento del single de "It Beats Me Every Time". El EP muestra el lado más experimental de las sesiones de "Falling Out", en oposición al sonido rock clásico, influenciado por Beach Boys y Elvis Costello del álbum principal. La banda lo describe como un "miniálbum". El EP entró en el puesto número 45 en la lista de singles sueca, donde permaneció durante una semana. La canción "Punks Jump Up" es una improvisación instrumental grabada por accidente durante las sesiones de la canción "Money", y lleva el nombre del dúo electro-pop del mismo nombre. La canción "See Through" fue lanzada previamente en un sencillo anterior. El EP cierra la brecha musical entre el sonido barroco-pop anterior de la banda y su material posterior, más experimental, que se encuentra en álbumes como Seaside Rock , utilizando técnicas inusuales como muestras de películas en "Unreleased Backgrounds".