Los hermanos Weiss y el ex guitarrista Christopher Kleinberg tocaban juntos en otra banda llamada The Operation con el actual bajista Greg Jehanian (que lanzó un álbum de estudio y un EP en 2001 titulado There Is Hope for a Tree Cut Down& 1999's Invisible Man EP, lanzado por Takehold Records) , pero Aaron quería empezar otra banda para experimentar con nuevos sonidos.
Con la ayuda de Ricky Mazzotta, Ray Taddeo, y su hermano Mike, Aaron formó lo que hoy es conocido formalmente como MewithoutYou.
En esos meses, Taddeo abandonó el grupo, y Daniel Pishock se unió al mismo para ser el bajista de la banda hasta el momento.
La banda The Operation se disolvió poco después y en 2002 MewithoutYou lanzó su primer álbum de estudio titulado A to B: Life.
El último álbum tiene un estilo diferente con respecto a los anteriores, con Weiss realizando un mayor número de gritos.
Los hermanos Weiss fueron criados en un hogar musulmán sufí - su madre se había convertido de la Iglesia Episcopal y su padre del judaísmo.
Muchas letras se toman del poeta sufí Rumi incluyendo la canción The Cure for Pain del álbum A to B: Life y una frase en la canción Seven Sisters de Catch for Us the Foxes.
En la canción Everything Was Beautiful and Nothing Hurt de su álbum A to B: Life, las letras de Aaron Weiss se basan en un poema del poeta metafísico del inglés John Donne llamado "A Valediction: Forbidding Mourning".