Encargado por Rodrigo de Ulloa, fue realizado por Rodrigo Gil de Hontañón, afamado maestro arquitecto que trabajaba en la iglesia parroquial de San Martín en la misma población.

El edificio, un amplio rectángulo, se estructura con dos pisos de altura en torno a un patio de tres pandas y cierre con el muro de la fachada. Ambas alturas se presentan con arcos rebajados apoyados en columnas, 5 en los lados cortos y 10 en el largo. Los dos pisos se comunican por una escalera claustral. En las enjutas de los arcos inferiores se localizan medallones con cabezas humanas, quizá relacionados con retratos de la familia Ulloa y personajes bíblicos y mitológicos relacionados con la devoción de la misma familia. En la parte alta, centrados sobre los antepechos, el escudo Ulloa.

En el interior se encuentra una sala con trampantojos y paisajes de época neoclásica. En las dependencias privadas se encuentran algunas obras de buena factura de diferentes épocas. Al exterior, en la parte de la fachada, se sitúa el acceso, centrado en el muro y dos potentes cuerpos cuadrados esquinados con galería abierta.

Hacia la parte trasera, un amplio espacio abierto de dos pisos con galerías abiertas con arcos, que dan a un espacioso jardín amurallado, por el que corre un regato que movía un molino en su momento.