Que faire contre l'ancienne propriétaire ?

Bonjour,
Nous avons acheté récemment une maison à la campagne un mois de décembre. Nous avons eu la désagréable découverte de voir que des gens du voyage s'installaient tous les ans au printemps et en été sur le terrain de foot du village, au bout de notre terrain (je vous épargne les désagréments subit). Le maire ne peut rien faire! Nous ne pouvons rien faire!
Il est bien évident que si nous l'avions su, nous n'aurions pas acheté cette maison. L'ancienne propriétaire et l'agence immobilière étaient forcément au courant et nous l'ont sciemment caché.
Savez vous si nous pouvons faire un recours juridique pour demander des compensations financière auprès de l'ancienne propriétaire et/ou l'agence immobilière ? Car nous ne pouvons vendre la maison, qui l'achèterai ? Donc nous ne somme pas tranquille chez nous et en plus nous perdons de l'argent. Le rêve vire au cauchemar !
Merci pour votre aide!