Tiene un portalón adintelado en piedra que conserva las puertas de madera originales y que lleva a un zaguán donde se ve un arco de piedra rebajado.
En la esquina del palacio son de resaltar los frontones curvos y partidos sobre los vanos del primer piso que dan a un balcón corrido, y la forja de los antepechos.
Diez años después de la adquisición del Palacio del Portillo, la Federación adquirió otra casa colindante, perteneciente a Francisco Lucas Lucas, y la anexionó al Palacio.
En el interior del palacio se guarda el Compendio Histórico-Geográfico Oriolano, colección de 15 títulos en 20 libros, obra de Josef Montesinos Pérez a finales del siglo XVIII.
[2] La Caja Rural Central, con motivo de su centenario, digitalizó la colección, que había adquirido en la librería México II de Madrid en 1982, y la puso a disposición del público.