Como lo demuestra el título, el álbum contiene "rarezas" del grupo, varias de ellas inéditas hasta ese momento.
Rarities además de tener pistas peculiares, también tiene canciones no editadas oficialmente, siguiendo una premisa similar a Lost & Found (1961-1962).
Es el único álbum en tener la extraña inclusión de la canción de "With a Little Help from My Friends" de The Beatles (una versión demo), cantada por Bruce Johnston como también "In My Room" cantada en alemán.
La versión de Dennis Wilson de la canción "All I Want to Do" fue grabada en el concierto de 1968 que se editó en el álbum en vivo Live in London, sin embargo no fue incluido en ese álbum en directo.
La versión de "Bluebirds over the Mountain" que aparece aquí es una nueva versión en estéreo holandesa (en un canal tiene sonidos de percusiones).