Su nombre fue el que sus primeros colonos usaron para referirse a su comunidad.
Los primeros colonos fueron principalmente seguidores de Jemima Wilkinson, una religiosa entusiasta nacida en Cumberland, quien afirmaba que había recibido un encargo divino.
Tras predicar en Rhode Island, Connecticut, Massachusetts y Pensilvania recibió una gran extensión de terreno, a la que llamó Jerusalem en 1789, en lo que posteriormente sería el condado de Yates.
La población se encuentra en el extremo oeste del antiguo canal de Crooked Lake.
Según el censo de 2000, Penn Yan cuenta con 5.219 habitantes, 2.141 hogares y 1.261 familias.
Los hombres tenían unos ingresos medios de $30,692 frente a los $19,263 para las mujeres.