El pueblo se conserva prácticamente en su estado original. Todas las casas están construidas en piedra, y las calles no están asfaltadas, sino empedradas. Desde 1980 está declarado por el Consejo de Ministros como Conjunto Histórico-Artístico de alto valor monumental.
Según algunas fuentes, el nombre "Castrillo" procede de la cercanía de dos castros: el Castro de San Martino y el de Teso de la Mesa.