Nació como Rose Diane Lanier y fue educada bajo el catolicismo.

Está lejanamente emparentada con el dramaturgo Tennessee Williams.

Ladd estuvo casada con Bruce Dern y es madre de la también actriz de cine Laura Dern, con quien actuaría en las películas Alicia ya no vive aquí (1974), Corazón salvaje (1990) y El precio de la ambición (1991), en las cuales tuvo candidaturas al Óscar a la mejor actriz de reparto.

Posteriormente se casaría con William A. Shea, Jr.

; está casada con Robert Charles Hunter.