Demande de travaux préalables sur terrain d autrui

Bonjour,
Je viens vers vous car mon mari et moi avons prêté une partie de terrain constructible à mon voisin pour qu' il puisse construire un poulailler de 20 m2 , en tole, sans dalle, avec un enclos pour lâcher ses volatiles...
Mon voisin m a dit qu il allait demander une demande de travaux , à son nom, prochainement, mais je ne lui ai pas donné une autorisation par écrit pour qu' il construise celui ci.
Je lui ai juste fait un papier assez neutre en disant que "j autorisais Mr X à mettre ses poules dans le poulailler qui se trouve sur notre terrain XY."
Quels sont les risques si un jour je veux récupérer cette partie de terrain pour construire une maison dessus et que mon voisin ne soit pas d accord pour démonter son poulailler.