Port Jefferson se encuentra ubicada en las coordenadas 40°56′46″N 73°03′44″O / 40.946103, -73.062224.

Según la Oficina del Censo, la ciudad tiene un área total de 7,9 km² (3,1 mi²), de la cual 7,8 km² (3 mi²) es tierra y 0,1 km² (0 mi²) (20.76%) es agua.

Según la Oficina del Censo en 2000 los ingresos medios por hogar en la localidad eran de $65,119, y los ingresos medios por familia eran $83,981.

Los hombres tenían unos ingresos medios de $57,125 frente a los $41,936 para las mujeres.

La renta per cápita para la localidad era de $33,852.