La sede social principal estuvo originariamente en la Plaza del Duque de la Victoria, número 6, pasando luego a la calle Sierpes.No obstante, desde 1951 está en la cercana calle Pedro Caravaca, en el que fue el colegio agustino de San Acasio, del siglo XVII.La invasión francesa clausuró este lugar en 1810 y puso unas oficinas de "Crédito Público", que cerraron en 1812.En 1948 el Ayuntamiento le concedió el edificio al Círculo de Labradores, que lo adaptó como sede.En el claustro pueden admirarse un conjunto de pilastras salomónicas adornadas con una decoración vegetal.