La estación se encuentra localizada en los niveles subterráneos de la Pennsylvania Plaza, un complejo urbano localizado entre la Séptima Avenida y Octava Avenida entre la Calle 31 y la Calle 33 en Midtown Manhattan, propiedad de Amtrak.Por tal motivo, el Consejo de la ciudad decidió darle un ultimátum de 10 años, desde 2013, a los equipos profesionales que juegan de local en este escenario (New York Knicks, New York Rangers y New York Liberty) para que busquen un nuevo escenario en la ciudad o para que se trasladen de sede ya que el MSG, una vez se haya cumplido el plazo en 2023, será demolido.En esos primeros años los convoyes eran arrastrados por locomotoras eléctricas de la clase DD1 hasta Manhattan Transfer, en los Jersey Meadows.En Manhattan Transfer, a 14,2 kilómetros al este de la estación, se realizó durante muchos años el cambio de/a vapor.La instalación actual es el remanente sustancialmente remodelado de una estructura mucho más grande, diseñada por la firma McKim, Mead & White y terminada en 1910.En 1962 se anunciaron planes para la nueva Plaza de Penn y el Madison Square Garden.La demolición de la estructura original, considerada por algunos como justificada, y por otros como progresista a la vez, creó indignación internacional, y según comenzaba el desmantelamiento de la vieja estructura, el New York Times se lamentaba:Su destrucción dejó una herida profunda y duradera en la conciencia arquitectónica de la ciudad.