Se considera que estas tierras ya estaban habitadas hace 4500 años. Dos necrópolis situadas en el Burgo y en la Sierra de Mazaira nos llevan a situar los primeros pobladores en la época megalítica.
De la Edad de Bronce encontraremos en la Veiga de Sas una roca grabada con petroglifos en forma de cueva. En la Edad del Hierro se desarrolla la Cultura Castrexa. Hallándose restos en Castro de Paradela, O Castriño da Cerca (Sierra de Mazaira) o Outeiro da Torre (San Martiño).
La romanización llegó a estas zonas entre el 137 a.c y el 19 a.c. Por esta zona pasaría la XVIII Via del itinerario de Antonio o Via Nueva de Braga a Astorga. Los romanos frecuentaron esta zona en busca de oro, que encontraron. En la aldea de Burgo se situaría la Mansio Praesidium, parada de los viajeros que recorrían éste camino. En esta zona existen abundantes restos arqueológicos.
Tras que los Suevos se hicieran con el poder en Galicia, cambia la forma de vida. Estos son sustituidos por los Visigodos en el año 585, estos traen la cristianización a la zona.
En la Edad Media, concretamente en el siglo IX se hallan las primeras referencias con el nombre actual.
Durante la Edad Media se construyen dos monasterios, el Monasterio de San Juan de Camba y el de San Paio de Abeleda. Del primero se tienen noticias del año 963, aunque en sus ruinas hallamos sarcófagos que pueden fecharse en el siglo VII. El de San Paio de Abeleda podríamos situar su fundación sobre el siglo X, pero hasta el año 1127 no se halla documentación que certifique su existencia.
Otra de las obras arquitectónicas que marcará la Edad Media será el Castillo de Castro Caldelas. Durante el siglo X la familia Gutier Menéndez se hizo con las tierras de Caldelas gracias a las donaciones de los reyes Sancho Ordoñez, Ramiro II y Ossino. La época medieval fue de gran esplendor. Así, en el siglo XII se convirtió en villa de realengo gracias de los fueros que le concedieron en 1172 Fernando II, Emperador de Galicia, León y Asturias, y en 1228 Alfonso IX. En el siglo XIV pasó a manos de don Pedro Fernández de Castro por donación del rey Alfonso XI, aunque pronto pasaría a manos de los condes de Lemos.
El castillo de Castro Caldelas fue testigo de episodios históricos tales como las Guerras Irmandiñas, entre las que la tradición oral sitúa al propio Mariscal Pero Pardo de Cela, así como del asentamiento de una importante colonia judía, cuyas lápidas funerarias son hoy apreciables en el centro de la villa.
Buena parte de la fortaleza fue derribada durante las Revueltas Irmandiñas, siendo reconstruida por don Rodrigo Enríquez Osorio, conde de Lemos, a costa de aumentar considerablemente los impuestos a los vecinos, situación que motivó pleitos entre el concello y el conde en la Audiencia de Valladolid, que fueron por fin resueltos en 1534 por el rey Carlos I a favor de los vecinos.
Durante la Edad Moderna la abigarrada fortaleza se convirtió en una construcción renacentista de carácter marcadamente palaciego. El último episodio militar que protagonizó el castillo fue durante la Guerra de la Independencia, el ataque dirigido por los caldelaos al 15º regimiento de la división del general Marchand, quien como represalia mando incendiar la villa y el castillo, perdiéndose en dicho incendio importante documentación sobre la historia de la comarca. A partir de 1794 el señorío de Lemos se incorporó a la casa de Alba a través del XVIII conde de Lemos, Carlos Miguel Fitz-James Stuart. El edificio estuvo habitado hasta el siglo XIX por Sol Stuart, pariente de los Duques de Alba.
El incendio del castillo es uno de los hechos más destacados de la época contemporánea, y refleja la invasión francesa y resistencia de los habitantes de la villa a estos.
Por último cabe destacar sus casi dos decenas de Iglesias que nos muestran cantidad de estilos arquitectónicos.
