Construction mitoyenne : silence du voisin

Bonjour,

Je viens d'acquérir un terrain (passage notaire effectué) où je dois construire ma maison en limite de propriété.
Cette limite mitoyenne est un mur des années 60.
Le voisin, à l'époque de sa construction, avait démonté ce mur construit sa maison et refait le mur. Sa maison se trouve donc à 5cm de ce mur et non pas en limite de propriété.

Une fois que je suis passé chez le notaire, j'ai su qu'il me fallait l'accord du voisin pour que je fasse tomber ce mur et mettre ma maison à la moitié de ce mur.

Le problème : mon voisin retraité vit à l'étrange la moitié de l'année. Je n'ai pu avoir contact qu'avec son beau fils par téléphone qui m'a dit que son beau-père ne comprenait pas pourquoi je ne pouvais pas faire comme lui à savoir me mettre à 5cm du mur. Je lui ai donc dit que j'étais obligé afin 'obtenir le certificat de conformité d'être à la limite séparative qui se trouve au milieu de ce mur.
Il m'a demandé la preuve de cela. Je lui ai envoyé le plan local d'urbanisme par mail.

Depuis, c'est silence radio...sms, appels, messages répondeur, je n'ai plus de nouvelles.

Pour m'être informé via différents sites internet, il est clair qu'il me faut l'accord du voisin. Dans le cas contraire, cela prendrait une voie juridique...qui prendrait du temps.
Je vous épargne les détails de mon logement actuel, les impacts d'un chantier qui démarre avec X mois de retard et la situation financière qui serait mienne...

Le permis a bien été validé par la mairie, le temps d'affichage respecté. J'ai tout fait dans les normes car je ne souhaite qu'une chose : être tranquille et non pas de conflit de voisinage...

Que feriez-vous ou que me conseilleriez-vous de faire au vue de la situation ?
Envoyer un recommandé ? Je sais qu'il ne fait pas suivre son courrier, sa fille s'en charge, mais a-t-elle procuration pour cet éventuel recommandé, je ne sais pas.

Et si ce silence continue ? Y a-t-il d'autres alternatives plus rapides que le judiciaire pour issue favorable ?
A ma mairie, ils m'ont dit qu'il n'y avait plus de conseiller juridique...

Vous remerciant par avance de vos futures réponses.