Terrain agricole permis de construire

Bonjour,

Je suis propriétaire d'un terrain agricole de 2,5 qui est en fait une oliveraie avec 600 pieds.
Mon voisin qui possède également un terrain agricole s'est vu accordé un permis de construire car il possède et élève des chiens.
Le passage qu'empreinte mon voisin se fait sur mon terrain. En effet, lors de mon achat ce chemin s'est toujours fait depuis mon terrain sans que cela soit écrit dans un document. J'ai tout de même demandé à mon notaire d'inscrire cette "servitude" sur l'acte de vente.
Mon questionnement porte sur un éventuellement permis de construire sur mon terrain. Est-il possible que mon terrain puisse être constructible simplement parce que le terrain du voisin le devient et que ce dernier empreinte mon terrain pour y acceder?

Merci de vos réponses.