Contiene composiciones no registradas anteriormente (con la excepción de «No Way Out» y «Slowdown», que aparecieron en 1989 en A Word From the Wise y en 1993 en Unknown Road, respectivamente) de su fallecido bajista Jason Thirsk.
Mark Deming del sitio web Allmusic señaló que «Yesterdays está dominado por varias canciones no grabadas previamente que Thirsk escribió para Pennywise, y los resultados son el arquetípico punk de SoCal: ajustado, poderoso e implacable, con un suministro interminable de acordes potentes, líneas de bajo elásticas y una batería aguda, mientras el grupo lanza 11 himnos de ira y esperanza.
Yesterdays es un homenaje sincero a un camarada caído, así como un recordatorio de que Pennywise recuerda bien sus raíces y no ha perdido de vista las ideas e ideales que los impulsaron».
indicó en su reseña que «Regrabando temas como 'No Way Out' y una serie de temas inéditos escritos por el fallecido bajista Jason Thirsk, la banda intenta reavivar el sonido y la energía de sus primeros lanzamientos.
En la superficie, todo suena bien; la producción es seca y la batería suena minúscula mientras la banda toca once canciones en menos de 30 minutos, recreando la energía abrasadora del 89 con aplomo».