Fue el primer álbum lanzado bajo un nuevo acuerdo con Warner Bros, que permitió a la empresa distribuir todos los futuros productos de la banda, interna o externamente.

En la etiqueta del disco correspondiente a Pet Sounds aparecía que el álbum estaba en estéreo, no obstante, debajo de la lista de canciones apareció la siguiente leyenda: "This recording is pressed in monophonic sound, the way Brian cut it" (español: "Esta grabación se imprimió con sonido monofónico, tal como Brian lo edito en su momento").

Precisamente la canción "Marcella" es una versión renovada de "All Dressed up for School", escrita por Mike Love y Brian Wilson en 1964.

La primera parte del nombre del álbum es en referencia a uno de los primeros nombres que tuvo The Beach Boys, con el cual grabaron las canciones "Samoa", "Lone Survivor", "Barbie" y "What is a Young Girl" en el estudio de Hite Morgan.

Sin embargo Rieley afirma que él despidió a Johnston por dos razones: en primer lugar, para impedir la votación en los procesos democráticos del grupo y en segundo lugar, supuestamente debido a la falta de respeto y desprecio que Johnston estaría mostrando al mayor de los Wilson.

Brian Wilson apenas contribuyó en las sesiones del álbum distraído por sus demonios personales y varios proyectos paralelos extraños.

Esta canción fue regrabada por primera vez durante las sesiones de Sunflower como "I Just Got My Pay".

La banda inglesa Saint Etienne utilizó el título So Tough para su álbum de 1993, como un homenaje a The Beach Boys.