Philipstown se encuentra ubicada en las coordenadas 41°24′21″N 73°55′47″O / 41.40583, -73.92972.
Según la Oficina del Censo, la ciudad tiene un área total de 133,4 km² (51,5 mi²), de la cual 126,5 km² (48,8 mi²) es tierra y 7 km² (2,7 mi²) (5.22%) es agua.
Según la Oficina del Censo en 2007 los ingresos medios por hogar en la localidad eran de $71,895, y los ingresos medios por familia eran $84,220.
Los hombres tenían unos ingresos medios de $56,536 frente a los $41,969 para las mujeres.
La renta per cápita para la localidad era de $37,738.