Luego, pasó a las filas del Palermo, equipo de su barrio.
Posteriormente, pasó al Olimpia y, tras un breve paso por Club Nacional de Football, su hermano Raúl lo llevó con él a Peñarol, cuando tenía dieciocho años de edad.
Se le considera el director del quinteto la Escuadrilla de la Muerte.
En 1949 formó parte de la que está considerada como la mejor formación de la historia de Peñarol, que arrasó en el campeonato uruguayo: Pereira Natero, Vidal, Míguez, Ghiggia, Enrique Hugo, Juan Carlos González, Pepe Schiaffino, Obdulio Varela, Sixto Possamay, Ortuño y Juan Hohberg.
Once días después, Schiaffino se coronó campeón de la Copa Río Branco ante Brasil, también en el estadio Centenario.
Cuatro años después, ante el mismo Brasil, se coronó campeón del mundo en 1950.
En dicho campeonato, el Pepe fue nombrado mejor jugador del Mundial.
Se fue por el túnel levantando su mano derecha a la tribuna que lo saludaba.
Su enorme calidad y su inteligencia le permitieron estar en la élite durante muchos años.
En Italia terminó actuando en la defensa como líbero y, se asegura, era impasable.
Varios legisladores se vieron sorprendidos por la noticia cuando el senador blanco, Jorge Larrañaga, pidió al cuerpo un alto en el orden del día, para exponer unas palabras de reconocimiento a su trayectoria.
Schiaffino participó activamente en la victoria de Uruguay durante el Mundial de 1950, marcando un gol durante la final y derrotando a Brasil en su propio estadio, en lo que fue llamado el Maracanazo, siendo elegido mejor jugador del Mundial.