Refus CU - droit de désenclavement.

Bonjour,
Je viens de recevoir un certificat d'urbanisme négatif pour la deuxième fois, la mairie considère que mon chemin d'accès est trop étroit (2m30) mais je ne peux pas l'agrandir étant donné qu'il se trouve entre deux murs de maisons, j'ai donc demandé à mon voisin de me donner un passage dans son pré (environ 10 mètres) à l'arrière de mon verger qui me le refuse, pourtant je pense être largement dans mon droit en faisant jouer l'article 682...(chemin insuffisant pour opération de construction).
Il veut me faire perdre un maximum de temps sachant que j'ai plusieurs acheteurs.
Que puis je faire pour débloquer la situation rapidement? un référé serait-il possible?
Cordialement.