El sello del colegio, que incluye abejas, un panal, el sol y el lema Non Sibi, fue diseñado por Paul Revere.El diseño es dominado por arquitectura neogeorgiana que está centrada alrededor de un gran césped (Great Lawn en inglés).Es considerado uno de los museos pequeños más finos de América y los dos últimos directores han seguido a trabajar en el Yale Art Gallery y el Whitney Museum of American Art.Su colección permanente incluye “Eight Bells” por Winslow Homer y trabajos por John Singleton Copley, Benjamin West, Thomas Eakins, James McNeill Whistler, Frederic Remington, George Bellows, Edward Hopper, Georgia O'Keeffe, Jackson Pollock, Frank Stella y Andrew Wyeth.Exhibiciones rotatorias están abiertas a los estudiantes del colegio y el público también.Cochran Chapel, una iglesia neo-gregoriana ubicada en norte del campus, es el centro religioso para los estudiantes y los profesores.Tiene cuatro comedores grandes junto con tres salones pequeños que pueden ser utilizados por clases y seminarios, o para comer en un entorno más personal.La colección incluye materiales que vienen desde el Paleoindio (hace más de 10 000 años) hasta el presente.Hoy en día está abierto solo por cita previa debido a sus altos costos de mantenimiento y su baja asistencia.Fue nombrada en honor al poeta Oliver Wendell Holmes Sr. quien se graduó de Phillips Academy en 1825.Samuel Phillips Hall, conocido entre los estudiantes y profesores como “Sam Phil”, fue construido en 1924 en honor a fundador del colegio.Phillips también cuenta con varias residencias para los 800 estudiantes que viven en el campus de colegio.Dos dormitorios notables son, America House, donde el himno patriótico, America, fue escrito por Samuel F. Smith cuando vivía ahí, y Stowe House, donde la escritora Harriet Beecher Stowe (autora de Uncle Tom's Cabin) vivió cuando su esposo fue profesor del Andover Theological Seminary.Stowe también está enterrada en un cementerio que existe en el campus detrás de Samuel Phillips.
