Refus de notre permis de construire

Bonjour,
Nous avons déposé un permis de construire pour une maison individuelle, j'ai appris ce matin que la DDTM avait envoyé à la mairie, une proposition de refus de permis parce que pour elle, il y a deux points qui ne vont pas ; nous respectons pas la limite séparative avec notre voisin et ils ne veulent pas faire une ouverture pour notre entrée, c'est une division de parcelles et elle a été acceptée !! Notre constructeur a appelé le Maire de la commune pour avoir son avis, celui-ci a dit qu'il ne comprenait pas le refus du permis donc qu'il nous accordait le permis (en principe), notre constructeur a vu et revu notre demande de permis et rien à redire tout est respecté pour lui. Donc j'aimerais savoir si le maire nous accorde le Permis, et que quelqu'un n'est pas d'accord et nous attaque, qui est en tord, comment cela ce passe ? qu'est ce qu'on risque ?
Merci d'avance