Caravanes saisonnières sur un terrain privé

Bonjour,
Je viens vers vous afin de me renseigner sur la législation concernant l'occupation saisonnière (avec l'accord du propriétaire) d'un petit terrain par plusieurs caravanes habitées de manière saisonnière (d'avril à septembre au plus "large") .

Il y a trois ans, le terrain qui nous est voisin a été vendu. Il y avait un cabanon de jardin qui avait été réhabilité en petite maisonnette (1 chambre, 1 salon cuisine et une salle de bain). Les nouveaux propriétaires ont commencé par enlever toute la végétation et y ont mis du gravier. Très vite, nous avons vu arrivé des caravanes de saisonniers. Les propriétaires nous ont certifié qu'ils avaient une grande famille et que c'était cette dernière qui venait leur rendre visite l'été. Soyons clairs, les voisins sont tout proches de nous (5 m de notre terrasse estivale), nous entendons parfaitement qu'il s'agit de saisonniers qui louent leur emplacement caravane ou camion "au black".

Je sais que notre voisin fait partie de la communauté des gens du voyage et souhaite se sédentarisé. Il n'est pas forcément très "copain avec la législation (le maire s'est déplacé pour faire stopper la construction de sa maison sans permis).
Il faut savoir également que nous sommes en zone inondable, un super projet de camping écoresponsable a été rejeté il y a 2 ans pour cette raison (nous sommes en zone touristique).

Nous sommes plutôt du genre tolérant et avons plusieurs fois demandé à notre jeune voisin de minimiser les nuisances sonores liées à la vie en extérieure "familiale". Il a jusqu'à présent toujours entendu mais est clairement remonté depuis la visite du maire pour la construction illégale de sa maison (nous n'y sommes pour rien).

Nous vendons actuellement notre maison et le fait que le terrain limitrophe soit occupé par des caravanes et camions est quelque peu répulsif pour les acheteurs :-( surtout en pleine campagne ou les acheteurs potentiels souhaitent de la tranquillité.

Du coup,j'ai la nette impression que le maire lui se désengage à présent. Son discours a été pour le moins surprenant : "vous pouvez chercher sur le net, mais à priori, il est propriétaire comme vous, donc il fait ce qu'il veut sur son terrain" ...

Est-ce vrai au final ? quels arguments pouvons-nous apporter pour que les choses se fassent le plus en douceur possible ?
Merci de vos renseignements
L.V.D.