En 2002, Pérez terminó segundo en la Dominican Summer League con una efectividad de 0.96.

En 2003, fue nombrado Lanzador del Año de la Appalachian League jugando para el equipo Single-A Burlington Indians y lideró la Appalachian League en victorias (9-3) y efectividad (1.70).

En 2005, sus 12 victorias empató en el tercer lugar en la organización de los Indios y tuvo una efectividad de 2.62 en 29 apariciones combinadas (22 como abridor) para Kinston Indians y Akron Aeros.

Pérez estaba programado inicialmente para ser relevista medio, pero después de que demostró su habilidad para lanzar en situaciones difíciles, se insertó en un papel de preparador junto al relevista derecho Rafael Betancourt.

El analista de ESPN Peter Gammons declaró "podría decirse que es el mejor relevista zurdo en el planeta".