Sag Harbor se encuentra ubicada en las coordenadas 40°59′48″N 72°17′32″O / 40.99667, -72.29222.

Según la Oficina del Censo, la ciudad tiene un área total de 6,4 km² (2,5 mi²), de la cual 4,5 km² (1,7 mi²) es tierra y 1,9 km² (0,7 mi²) (2.86%) es agua.

Según la Oficina del Censo en 2000 los ingresos medios por hogar en la localidad eran de $52,275, y los ingresos medios por familia eran $70,536.

Los hombres tenían unos ingresos medios de $41,181 frente a los $34,750 para las mujeres.

La renta per cápita para la localidad era de $40,566.