En 1940 su familia se trasladó a Manhasset, en el estado de Nueva York, y en 1947 a Eustis, Florida, donde su padre decidió abandonar su profesión de farmacéutico y dedicarse a la industria de los cítricos.
Después de resolver un problema teórico de la conducción eléctrica en superficies semiconductoras, Schrieffer pasó un año en el laboratorio, aplicando la teoría a diversos problemas superficiales.
En 1957, antes de finalizar sus estudios, desarrolló la Teoría BCS sobre la superconductividad junto con John Bardeen y Leon Cooper.
Esta teoría describe como a muy baja temperatura se manifiesta en los electrones una gran fuerza de atracción que les hace fluir agrupado en pares llamados pares de Cooper, de modo que, al pasar cerca de un núcleo atómico, el primer electrón cede energía que es después recuperada por su compañero.
En 1972 fue galardonado con el Premio Nobel de Física, junto con John Bardeen y Leon Cooper, por sus trabajos conjuntos sobre la teoría de la superconductividad, conocida como Teoría BCS.