La aldea despoblada de San Miguel de Neguera, donde se encontraba, se formó como unidad de producción en torno al palacio.
El complejo señorial consta de dos edificios situados en L y una serie de cercados anejos que envuelven al edificio, produciéndose la entrada principal en una esquina interior de la mencionada L. El edificio principal del conjunto es el palacio formado por el caserón principal, construido entre finales del siglo XV y primeros del siglo XVI por los González de Sepúlveda.
Se trata de un interesante y singular edificio de arquitectura gótica civil perteneciente a la tipología de palacio rural situado fuera de la villa.
Rodeando el edificio principal, que corresponde al caserón, se conservan restos de otras dependencias anejas también medievales, con delimitación de muros y algunos huecos recercados de sillería.
Destaca su portada, construida en sillería y distribuida en los tres niveles del edificio, la planta inferior tiene una gran portada con arco de medio punto sostenido por grandes dovelas, escoltado a ambos lados por aspilleras de defensa y vigilancia, el nivel intermedio tiene una ventana geminada con dos arcos trilobulados sobre la que se coloca el escudo familiar sostenido entre las garras de un águila; el nivel superior tiene un hueco de traza más sencilla y dos aspilleras en forma de cruz similares a la de la planta inferior.