Comenzó los 14 juegos para los Seminoles como un estudiante de primer año en 2013, y ayudó al equipo a ganar el Campeonato Nacional sobre Auburn.
En 2014, Ramsey jugó 14 juegos donde registró 80 tacleadas, dos intercepciones, 12 pases defendidos, tres balones sueltos forzados y dos capturas.
Como júnior en 2015, jugó 13 partidos donde registró 52 tacleadas, una captura, nueve pases defendidos y un balón suelto recuperado.
Pro Football Focus le dio a Ramsey una calificación general de 91.8, que ocupó el segundo lugar entre todos los esquineros calificados en 2017.
Sin embargo, durante una derrota por 13-12 ante los Houston Texans en la Semana 2, Ramsey estuvo involucrado en un altercado verbal con el entrenador en jefe de los Jaguars, Doug Marrone, y el jugador y el entrenador tuvieron que ser físicamente restringidos el uno del otro.
[16][17] En general, en la temporada 2019, Ramsey terminó con 50 tacleadas, cinco pases defendidos, dos balones sueltos forzados y una intercepción.
Fue nombrado a su cuarto Pro Bowl consecutivo y por segunda ocasión al primer equipo All-Pro.