Compétences juridictionelles

Bonjour,

Ma femme et moi avons acheté une résidence secondaire où nous sommes tous les mois de juillet et d'aout. Notre voisin est agriculteur et notre résidence jouxte son exploitation. Nous avons décidé de faire une piscine et on a donc creusé dans notre jardin et nous avons mis le tas de terre sur un bout du terrain inoccupé de notre voisin qui a décidé de nous assigner en saisissant le tribunal paritaire des baux ruraux de toulouse ( où nous vivons) alors que notre résidence et son exploitation se trouvent à Auch dans le Gers.
N'y a-t-il pas un mauvais choix quant à la juridiction compétente ? du moins territorialement ?