El College fue fundado por William de Durham en 1249 (y no por el Rey Alfredo en el 872, como se ha venido sosteniendo sin pruebas), y hasta el siglo XVI solo estaba abierto para estudiantes de teología.Como el college iba creciendo en riqueza y tamaño, los edificios medievales fueron reemplazados por un nuevo patio principal en 1640, aunque debido a la Guerra Civil Inglesa no fue terminado hasta 1676.El Queen's College está directamente en frente, en la acera norte de High Street.Un edificio especialmente construido en el College, el Shelley Memorial, alberga una estatua del poeta Percy Bysshe Shelley – un antiguo miembro del college, que fue expulsado por escribir La Necesidad del ateísmo – hecha por Edward Onslow Ford, en la que se le representa yaciendo sin vida en la costa de Italia.Las personas que han sido directores del University College son:
