Faire jouer le tour d'échelle pour annuler permis de construire

Bonjour,

Nous venons d'obtenir un permis de construire pour une extension de maison qui va donc se retrouver en limite de propriété.
Notre voisin veut faire un recours sous prétexte qu'il ne nous donnera pas le tour d'échelle pour réaliser nos travaux.
En réalité il ne veut pas de maison collée à sa propriété. Y a t-il un risque que notre permis soit annulé s'il fait un recours pour cette raison ?
En sachant que nous ferons nos travaux sans avoir à aller chez lui.
Merci d'avance pour vos réponses.