Construction sur mon terrain sans autorisation

Bonjour,

Je suis propriétaire d'un terrain non constructible d'environ 1500m2 dans un village de montagne.
Ce terrain se situe à environ 80 km de chez moi et je passe le voir 1 fois par année.

Cette année lors de mon passage, en octobre, je m'aperçois que l'agriculteur qui a son bâtiment à coté de mon terrain, a fait construire une fosse à lisier sur mon terrain.
Je contact la mairie qui me confirme que la construction se situe sur mon terrain, elle me demande de le contacter et de les tenir au courant.
L'agriculteur contacté par la mairie m'appel, et est très embêté car il croyait que c'était son terrain.
Je ne prend pas de mesure immédiate et lui propose qu'on réfléchisse à un arrangement.
Je tiens au courant la mairie qui me demande de les rappeler en mars pour convenir d'un rendez vous avec le responsable de l'urbanisme, et de pas contacter de notaire.
Entre temps je prend quand même contact avec un notaire car je n'ai pas de solution et je préfère entamer des démarches dans les règles.
Le notaire me proposent:
La vente de la parcelle
La vente du terrain où se situe la fosse (juste la partie construite)
La destruction du bien

Je rappel la mairie pour les tenir au courant et pour prendre rendez vous avec le responsable de l'urbanisme. Et là il me répondent qu'aucun permis de construire n'a été posé, et que le responsable de l'urbanisme ne pourra pas en dire plus. Et rajoute que la mairie n'a rien a faire avec cette histoire, c'est du domaine privée.

Je ne veux pas vendre le terrain, et pense à un échange de terrain.

Donc mes questions sont:
Est il possible d'envisager un échange de terrain?
Doit on faire estimer la valeur du terrain?
Est ce que la construction qui est sur mon terrain doit elle rentrer l'évaluation de l'estimation du terrain?
C'est à dire si le terrain vaut 1500 euros et la construction 3000, puis je lui échanger avec un terrain de valeur de 4500 euros?

Merci beaucoup pour l'aide que vous allez pouvoir m'apporter.

Cordialement

Nicolas