El pueblo se conserva prácticamente en su estado original. Todas las casas están construidas en piedra, y las calles no están asfaltadas, sino empedradas. Desde 1980 está declarado por el Consejo de Ministros como Conjunto Histórico-Artístico de alto valor monumental. Según algunas fuentes, el nombre Castrillo procede de la cercanía de dos castros: el Castro de San Martino y el de Teso de la Mesa.