Maison en construction sur bornes

Bonjour,
je viesn vers vous car nous commencons juste a construire notre maison sur bornes aevc evidement un permis de construire accordé au 30/08/2010.
Seulement voila mon voisin commence par m menacer qu'il n'est pas d'accord avec cette construction en limites de propriete qu'il peut nous faire retarder les travaux s'il porte plainte, qu'il faut que je lui envoie une lettre en recommande pour l'avertir que je passerai chez lui pour faire le crepis.....j'en passe.
Que dois je reellement faire?
Peux t il vraiment me causer des soucis?
Du coup on devait faire une cloture commune mais je me demande si nous n'aalons pas monter un mur.Est ce que je peux monter un mur comme ça ou faut il une autorisation de la mairie ou encore de mon voisin.
Merci de m'informer car je n'ai pas commencer la construction et je commmence deja a me prendre la tete avec le voisin....ça promets.