Litige pour une construction

Bonjour à toutes et tous,
Je suis en litige avec mon voisin sur une question d'occupation d'un terrain qui ne nous appartient ni à l'un ni à l'autre.
Je vous explique, mon mari et moi garons nos voitures sur une parcelle de terrain qui appartient à une personne ne s'en occupant jamais depuis plus de 15 ans, et qui ne se manifeste jamais. Or ce terrain jouxte celui de mon voisin. Ce dernier souhaite construire un mur de séparation, en débordant allègrement sur cette parcelle, et il nous sommes, avocat à l'appui, de retirer nos véhicules pour que son maçon accède à la parcelle pour entamer les travaux. Ils nous accusent d'empiéter sur un terrain qui ne nous appartient pas et l'avocat menace de faire enlever de force les voitures....
Or ce terrain n'est pas à lui, il n'a pas à construire dessus et a priori il n'a pas non plus de prérogatives pour nous faire enlever nos voitures...
Que nous conseillez vous?

Merci pour votre patience