El conjunto se organiza en torno a dos patios: uno delantero rectangular con cuatro crujías y torres en las esquinas, y otro trasero en forma de trapecio con la capilla y un portón al norte. Escaleras y corredores de madera comunican las estancias y pisos. La parte más antigua corresponde al siglo XVI, probablemente sobre una casa-torre medieval, mientras que el resto se levantó en el siglo XVIII con mampostería y sillares de arenisca y pizarra.

La capilla, dedicada a San Fernando, consta de un presbiterio con bóveda de cañón y sepulcro, una nave con cubierta a dos aguas, acceso lateral al patio, ventanas, y una tribuna de madera para seguir los cultos.

El palacio responde al modelo barroco señorial, con blasones, gárgolas, cornisas y balcones concentrados en la fachada principal, donde sobresale la puerta adintelada entre dos grandes escudos nobiliarios.

Inscripciones de los escudos del palacio de Mon:

Estas armas y blasón, son de la casa de Mon
Como fuerte las gané y así las defenderé.

Ybias Ybias Dios me ayude
Velarde, el que la sierpe mató, con la princesa se casó

El solar de Valledor es antiguo y de gran valor,
Caballeros de este apellido no lo pongáis en olvido

Leyenda del palacio de Mon

«Existía en los tiempos en que el tiempo no se medía, un monstruo multiforme de beso mortal, era dueño de la distancia y destruía por imposición de su distancia atroz. Campeaba en la noche y en el día, más sus crueldades se medían por estadios de oscuridad. El terror no cejaba en Los Oscos.

Un rey bueno que vivía en lo alto y que gobernaba con lo largo de su vista, con lo profundo de su mirar, con lo elevado, con lo elevado de sus miras y que velaba por su pueblo, ofrecía la mano de su hija, muy bella, a quien destruyera al monstruo elemental. Un joven, muy bello, finalmente surge de entre el pueblo, y apoderándose del mirar del monstruo, le da muerte, ganando la mano de la tierna princesa. Llegado el momento de recibir la joya, el joven héroe rechaza la mano de la amada alegando no tener casa. El rey promete de inmediato la construcción de un plalacio en donde vivirá la feliz pareja. El actual palacio de Mon, embrumado y abrumado de leyenda.

El pueblo de los Oscos, preguntado sobre el palacio responderá: el palacio fue construido para la primera persona del rey.»