Don Fernando Miranda falleció en 1908. El reverendo Arienza murió en 1911. Y el 22 de julio de 1915 un incendio arrasó el palacio de Riolago.
Los herederos de Miranda no supieron muy bien qué hacer con la ruina y, en 1939, Octavio Álvarez Carballo la vendió en dos lotes. Durante las siguientes décadas, a medida que la propiedad se subdividía, la incuria y el destrozo progresaban.
Afortunadamente, en 1977, el también vecino de Riolago don Fernando Geijo Rodríguez, sobrado de pundonor, se esforzó en localizar a los múltiples dueños, recompuso la propiedad casi ya convertida en un despojo y acometió las obras de reconstrucción. Contando con expertos maestros canteros de Galicia, buscando el necesario asesoramiento y poniendo todo el esmero y fidelidad al original, logró el espléndido resultado del que hoy disfruta la región.