Se situa el origen del "castrum" en un destacamento militar, dada su cercanía a las explotaciones auríferas de Las Médulas. Después de que estos yacimientos fueran abandonados por los romanos, quedó relegado durante el dominio visigodo, reapareciendo más tarde como "castellum" en la España cristiana de los siglos IX y X.
A comienzos del siglo XI, el castillo de Ulver cobra gran importancia, en los primeros tiempos de la Reconquista.
En ese mismo siglo, el Conde Munio Muñiz, aparece como tenente del castillo. A comienzos del siglo XII es su hija, Jimena Muñiz, la tenente de dicha fortaleza. Jimena tuvo dos hijas con el rey Alfonso VI de León y Castilla.
En 1211, Alfonso IX de León, hizo las paces con la Orden del Temple y le dona a los Templarios la villa de Ponferrada. Posteriormente, en 1228, los Templarios toman la posesión de Ulver. Estos permanecerían en la fortaleza hasta 1312, cuando la orden desapareció.
En 1327 el Castillo fue donado por Alfonso XI a Alvar Núñez Osorio. Posteriormente, pasó a ser propiedad de Pedro Fernández de Castro. Y en 1388 vuelve a formar parte del señorío de la familia Osorio, con Pedro Álvarez de Osorio, gracias a una donación recibida de Juan I de Castilla.
El castillo es heredado por Rodrigo Álvarez Osorio, y tras su fallecimiento, ya en el siglo XV, pasó a Pedro Álvarez Osorio "I Conde de Lemos", que se llamaba como su abuelo. Este se casó con Beatriz de Castro, hermana del Duque de Arjona, aunando así la herencia de la familia de los Castro, con numerosos señoríos bercianos.
En el año 1467 tuvo lugar la segunda Revuelta Irmandiña, y este castillo, al igual que otros de la comarca, fue tomado y destruído.
En la segunda mitad del siglo XV, Pedro Álvarez Osorio manda reconstruir sus Castillos, entre ellos el de Cornatel. Y años después fallece provocando un conflicto sucesorio.
Por un lado, Rodrigo de Castro Osorio "II Conde de Lemos". Por el otro, la segunda mujer del I Conde de Lemos, María de Bazán y su hija Juana, casada con Luis Pimentel (hijo del Conde de Benavente). Las tropas de Don Rodrigo mantuvieron el asedio al castillo durante dos años.
Los Reyes Católicos en 1486 ponen solución a este conflicto mediante la creación del Marquesado de Villafranca para Juana y su marido. Se obliga a Rodrigo, a entregar el Castillo de Ponferrada, pero más tarde vuelve a tomar Ponferrada y a asediar los castillos de Corullón y Cornatel, porque la decisión de los Reyes Católicos no le satisfizo.
El Castillo siguió formando parte del señorío del Marqués de Villafranca, hasta la desaparición de dichos señoríos.
En el año 1823, el castillo pasa a pertenecer al municipio de Ponferrada. Y goza de la declaración de Bien de Interés Cultural desde el 22 de abril de 1949.
En 2002, el Castillo fue restaurado, tras siglos de abandono, para poder ser visitado de cara al público. La obra fue financiada por Fundación del Patrimonio Histórico de Castilla y León, y la Diputación de León.
El Castillo es la sede de un museo que expone su historia a lo largo de los siglos.
