Batir une maison a coté d'une ferme

Bonjour,
je suis artisan dans le terrassement et je suis sur l'achat d'un terrain a batir qui se trouve juste a coté d'une ferme (moins de 25m), sur se terrain je vais garer mon matétriel terrassement et par la suite je batirai ma maison mais le cultivateur voisin fait tout pour que je ne puisse pas batir mai un ami ma parler de déclarer l'habitation comme maison de gardien et a se moment la l'agriculteur ne pouvait pas refuser les permis de construire j'aurai voulu avoir plus de détails et savoir si cela était vrai et si c'est vrai avoir les démarches à suivre pour allé dans se sens.merci d'avance