Problème avec mon voisin

Bonjour, il y a quelques années j'ai acheté une vieille remise sur 2niveaux dans un village. J'ai fais démolir la remise dans le but de reconstruire. Le temps a passé et je n'ai rien fais. A présent le voisin (mitoyen) se plaind qu'il y a des infiltration d'humidité car la remise protégeait sa maison. Il me menace de déposer plainte au tribunal. Je lui ai expliqué que je vais construire un garage (soit un seul niveau) il veut rien savoir. Pour lui je lui refait la façade ou mieux je reconstruits à la hauteur de son toit.
Que dois-je lui répondre, sachant que je n'ai pas encore déposé mon permis de construire.

Merci d'avance.