Secret Square fue uno de los primeros proyectos paralelos, ahora desaparecidos, de la baterista y vocalista de The Apples in Stereo, Hilarie Sidney, y Lisa Janssen, que tocó el bajo en el álbum On Avery Island de Neutral Milk Hotel . Tuvieron dos lanzamientos en 1995, ambos homónimos, bajo el sello Elephant Six .