Destruction d'un mur mitoyen pour construction d'une maison

Bonjour,

Nous avons acquis un terrain l'an dernier sur lequel nous faisons construire un pavillon. Jusque-là, rien de très original. Sur les plans du constructeur et sur le permis de construire, l'un des murs de notre maison est construit en limite de propriété. Un mur mitoyen existait entre notre terrain et celui du voisin, et après accord oral de sa part, notre constructeur a détruit ce mur sur la longueur de notre pavillon. Simplement, le jour de la destruction du mur (ou plutôt le soir, une fois le mur abattu), le voisin a prétendu que nous ne l'avions jamais mis au courant et qu'il n'avait jamais donné son autorisation.
Nous avons pris sur nous et nous avons tenté la diplomatie. Tout s'est arrangé, la seule condition : que nous fournissions au voisin des plaques en béton (identiques à celle du mur mitoyen), afin qu'il les colle à notre maison une fois les travaux terminés, y compris le ravalement.
Le temps a passé, la maison a avancé et nous arrivons à l'étape du ravalement. Sauf que là, le voisin prétend que nous n'avons pas respecté nos engagements et refuse que les équipes passent sur son terrain pour ravaler le pignon donnant chez lui. Nous nous rendons sur place avec mon compagnon et là, le voisin nous insulte et va même jusqu'à me bousculer en me mettant un coup de coude fourbe en passant devant moi. Mon époux parvient à se contrôler difficilement, mais nous finissons par obtenir que contre livraison des plaques (comme nous nous y étions engagés dès l'origine), il nous laisse passer sur son terrain pour le ravalement.

Ma question. Une fois que son mur sera remonté, pourra-t-il encore nous em***bêter avec cette histoire de mur? Nos relations commencent très mal et j'ai peur qu'il ne cherche à empirer la situation.

Si nous devions aller en justice, ce serait sa parole contre la nôtre pour le mur et l'autorisation de détruire (notre conducteur travaux était présent, mais j'imagine que sa parole n'aura pas plus de valeur que la nôtre).

Merci d'avance de vos retours.