El Castillo de los Condes Sarmiento de Ribadavia son las ruínas de lo que fue la residencia de la familia Sarmiento durante varios siglos. Está situado en la parte más alta del casco urbano de Ribadavia frente a la alameda y al lado del barrio judío y la Praza Maior.
Algunos historiadores situan el origen del castillo a principios del s.XI, en los años de la Reconquista siendo más tarde ampliado durante el breve reinado de García de Galicia (1065-1071) que estableció en Ribadavia su corte y la capital de su reino. En cambio otros muchos autores consideran que el castillo fue construído en el siglo XII.
Tiempo después sirvió de refugio para la Condesa de Traba y el Rey Afonso VII que resistieron allí el ataque de Arias Pérez, partidario de los derechos sucesorios de Doña Urraca.
En el año 1375 Enrique II de Trastámara le concedió el señorío de Ribadavia a Pedro Ruiz Sarmiento. Esto implicaría que el castillo pasaría desde ese momento a ser propiedad de la familia Sarmiento.
Fue objecto de importantes reformas en el siglo XV que le dieron su imagen definitiva.
En el siglo XVII fue abandonado cuando los condes de Ribadavia trasladaron su residencia al Pazo dos Condes, en la Praza Maior, que estaba comunicado con el castillo por una puerta. Tras su abandono el castillo sufrió la perdida de mucha piedra que fue reaprovechada para la construción de muchas casas de Ribadavia.
En la actualidad solo se conserva una de las puertas originales de las murallas que formaban parte del sistema defensivo del castillo, junto con otras dos posteriores que daban acceso a las aguas del río Avia. Dos fuertes torreones circulares flanquean la puerta principal que presenta un arco de medio punto. Un escudo con las armas de los Sarmiento y los Fajardo decora la puerta principal. En el interior, excavaciones arqueológicas pusieron al descubierto un conjunto de 20 sepulcros antropomorfos que conformaban unha necrópolis medieval, datada en los siglos IX e XII. Junto a las tumbas se encontró una escalinata circular labrada directamente en la roca que pudo pertenecer a la capilla o templo que estaba en el centro del cementerio.
En el interior del recinto amurallado se construyó, en el siglo XX, un auditorio al aire libre donde se celebra la Mostra de Teatro Abrente de Ribadavia, en los meses de julio.
