Carballo estuvo poblado desde épocas muy remotas, lo cual demuestra su patrimonio artístico y los utensilios paleolíticos encontrados en yacimientos costeros en el Espacio Natural de Baldaio, que son expuestos en el Museo Arqueológico de La Coruña.
En las Brañas do Carregal (parroquia de Aldemunde) se encuentran los restos del dolmen de Pedra Moura, perteneciente a la cultura megalítica. También existen numerosos restos castreños de los que, a pesar de su conservación irregular, se puede deducir la elevada ocupación del territorio de esta zona durante la cultura castreña y parte de la Edad Media. Los estudios realizados indican que el nombre de la comarca, Bergantiños, podría tener su origen en la tribu celta de los brigantinos.
De la época romana quedan muy pocos restos arqueológicos. Destacan el castro de Torre Pardiñas, en Razo, en el que la influencia romana se percibe en su esquema defensivo, y especialmente el puente romano de Lubiáns, que formaba parte de la calzada romana Per Loca Maritima. Los restos que todavía se ven se supone que datan de la época medieval o del siglo XVIII.
Carballo también fue conocido desde la antigüedad por las propiedades medicinales de sus aguas sulfurosas conocidas como Baños Vellos, que todavía se explotan comercialmente hoy en día, tal y como lo demuestran los restos de una villa termal encontrada en el siglo XVIII. Sus propiedades medicinales están indicadas en afecciones respiratorias no específicas así como en problemas hormonales (hipotiroidismo, hipogonadismo).1
El ayuntamiento de Carballo fue creado en el año 1836. En 1920 el arquitecto Julio Galán construyó la Casa Consistorial usada hasta 1974. En las décadas de 1920 y 1930 Carballo se modernizó ampliamente, siendo construidas escuelas y abriéndose plazas. Durante los años 1940, la explotación de wolframio inició una época de crecimiento que alcanzó su máximo auge a partir de los años 1960 y 1980, y durante el último tercio del siglo XX se produjo una amplia expansión urbanística.
