Acte sous seing prive

voici mon probleme : en 2001,j'ai echange une partie de mon terrain,de 500 M2 contre 1500 M2 non constructibles.Cet echange nous arrangeait tous les 2.Donc,nous avons signe un acte sous seing prive qui n'a pas ensuite ete enregistre.Nous connaissons notre voisin depuis tres longtemps,et etions en confiance.Depuis cette date il nous a vus amenager le terrain echangé,faire des restanques,des murets de pierre seche,etc.Nous avons aussi implante la construction de notre maison en tenant compte de la nouvelle configuration du terrain....Aujourd'hui,ce terrain non constructible est devenu constructible,et note voisin-ami veut le recuperer,vu l'implantation de la maison,si il arrive a le recuperer notre maison se retrouverait completement enclave,sans aucun acces possible ,pas meme a pied.Le terrain etant tres pentu,on ne peut meme plus se garer.
Il dit que des demain,s il le veut il peut commencer sa construction: quel recours?
Quelqu un a deja eu ce probleme?Je me suis renseignee au cadastre et on me dit que cet acte sous seing prive reste valable merci pour votre aide!