En 1960, Rosenberg dirigiría su primer film El sindicato del crimen (1960), protagonizado por Peter Falk, pero una huelga del sindicato de a actores y el de guionistas le obligó a dejar el filme y ser sustituido por su productor Burt Balaban.

Hasta que en 1967, el director daría el salto a la fama mundial con la realización de La leyenda del indomable con Paul Newman en el papel protagonista.

Los tres últimos trabajos de Rosenberg serían Sed de poder (1984), Let's Get Harry (1986), donde el director utilizaría el seudónimo Alan Smithee y el drama independiente My Heroes Have Always Been Cowboys (1991).

A partir de 1993, Rosenberg se convertiría en profesor del American Film Institute.

Alumnos suyos han sido Darren Aronofsky, Todd Field, Mark Waters, Scott Silver, Doug Ellin y Rob Schmidt.