Reprendre un terrain à un locataire

Bonjour,
Nous avons acheté l'an dernier un terrain. L'ancienne propriétaire nous a demandé de conserver la location d'une partie de ce terrain à une personne l'occupant ponctuellement (caravane sur le terrain). Cela a été inscrit dans l'acte notarié. Cette personne dispose d'un courrier de la mère de l'ancienne propriétaire lui louant ce terrain pour une somme modique.
Nous n'avions rien contre elle mais il s'avère que cette personne est détestable entrainant de mauvaises relations.
Nous voudrions savoir comment faire pour reprendre ce bien. Le notaire nous avait dit que cela ne posait pas de problème mais nous souhaitons un deuxième avis.
Il s'agit juste d'un terrain en zone inconstructible où elle a une caravane et un branchement eau potable.
merci de votre réponse