En 2002, jugó en 38 juegos con los Orioles registrando promedio de .227 y 22 bases robadas en 26 intentos.

En 2003, fue llamado por los Orioles en mayo para reemplazar al lesionado segunda base Jerry Hairston Jr..

En 2004, Roberts inició la temporada como segunda base titular del equipo luego que Hairston se fracturara un dedo en los entrenamientos primaverales.

[2]​ Finalizó la temporada con promedio de .273 y lideró la Liga Americana con 50 dobles, una nueva marca para un bateador ambidiestro, superando también a Cal Ripken Jr.

Durante la temporada regular, estableció una nueva marca en Grandes Ligas para un bateador ambidiestro con 56 dobles conectados, liderando todas las mayores en dicha categoría.

[11]​ Roberts se convirtió en agente libre por primera vez en su carrera al finalizar la temporada 2013.

[13]​ En 91 juegos con los Yanquis, registró promedio de .237 con cinco jonrones, 21 impulsadas y 7 bases robadas.