Masures de grangettes devenues pavillons

Bonjour. Je possède un terrain en montagne d'environ 10 000 m2. Ce terrain est en pente sauf dans la partie basse. A cet endroit je possède deux chalets d'alpage . A quelques mètres de mes chalets et sur ma propriété se trouvent plusieurs masures qui par le passé étaient des grangettes à foin appartenant a différends propriétaires qui exploitaient leurs prés environnant et stockaient le foin dans ces grangettes. Probablement que mes aïeux avaient donné l'autorisation pour construire ces grangettes sur notre terrain car c'est le seul endroit un peu plat et à l'abri du vent. Actuellement les héritiers de ces masures décident d'y construire des pavillons de chasse et cela sans permis de construire. La superficie de ces 7 masures varie entre 17 et 40 m2. Ces contructions ne respectent donc aucune distance de débordement de toiture, d'ouverture de fenêtres puisque construite sur ma propriété. Mes grands parents m'avaient dit :" lorsque ces grangettes n'existeront plus, le sol en reviendra au propriétaire du terrain. Ma question: Existe-t'il une loi indiquant que ces masures me reviennent.-Puis je m'opposer à ces constructions Merci