El Castillo fue construido por la familia Rodríguez de Valcarce en el siglo XIV, sobre un castro romano y una torre medieval.
Hasta el año 1482 perteneció a los Alvarez Osorio "Condado de Lemos", y después paso a pertenecer a los Alvarez de Toledo.
Don Pedro Alvarez de Toledo era Marqués de Villafranca y virrey de Nápoles, estaba casado con Doña Elvira de Mendoza. Don Pedro envió a su hija Doña María de Toledo con la hermana de él a Villafranca, donde la señora fundó el convento de la Anunciada y fue su primera Abadesa.
El conjunto que se conserva en la actualidad está compuesto de un recinto fortificado de 41 metros por 23 metros.
Se conservan el torreón y los restos de alrededor que formaban el recinto cuadrangular de la villa. La torre almenada está levantada sobre los restos de otra torre anterior.
La Torre del Homenaje conserva una altura máxima de 6,77 metros y una anchura mínima de 1 metros, posiblemente en epocas pasadas tuviera una altura mayor. Es una torre cuadrada de tres pisos separados por impostas, con almenas, modillones, ladronera y restos de una extensa nave de tres cuerpos.
Sobre su puerta aparecen dos escudos de armas que señalan, uno de ellos la casa de los Osorio y el otro el de los Valcarce.
En el año 1467 tuvo lugar la segunda Revuelta Irmandiña, contra la nobleza gallega; este castillo, del mismo modo que otros de la comarca, fue tomado, incendiado y parcialmente destruído. Tras los incidentes, fue reconstruido por Pedro Álvarez Osorio "I Conde de Lemos".
La torre actual es de grandes dimensiones. Tiene unos 20,5 metros de altura y entre 10,40 y 12,60 metros de lado.
El castillo goza de la declaración de Bien de Interés Cultural desde el 21 de febrero de 1996, en virtud de la Ley 16/1985 sobre el Patrimonio Histórico Español.
El Castillo actualmente pertenece a unos descendientes de los Marqueses de Villafranca, que hace unos años se encargsron de su restauración: Cristóbal Halffter y María Manuela Caro.
