El aspecto y volúmenes del edificio en la actualidad están condicionados, por tanto, y especialmente al exterior, por las estructuras de la vivienda que literalmente forran los restos del recinto medieval, con excepción de la Torre del Homenaje, que permanece exenta en altura, siendo visible desde el entorno inmediato.

[2]​[3]​ En la intervención arqueológica de apoyo a la restauración en la Casa Castillo de Jimena, realizada entre mayo de 1998 y junio de 1999, se han documentado las siguientes fases de ocupación, por lo que respecta al castillo: Bajo esta denominación se engloban todas las estructuras que se adosan e incorporan a las preexistentes del castillo medieval, con un claro carácter funcional de vivienda, hasta configurar el actual aspecto del edificio.

La lectura evolutiva de la vivienda en tanto o más compleja que la del propio castillo, pues la gran superposición de elementos y materiales constructivos denotan una gran actividad de fábrica relacionada con pequeñas fases de remodelaciones parciales del inmueble, a veces en un período corto de tiempo (modificaciones en los vanos, tabiquería, solerías, revocos y enlucidos).

Se diferencian tres grandes fases que suponen la incorporación de nueva planta y/o alteraciones de elementos constructivos estructurales.

Las intervenciones que han tenido carácter estructural, condicionando la morfología del edificio son dos.