Mur mitoyen

Bonjour, quand j ai acheté ma maison,il y avait un mur de parpaings construit sur le mur mitoyen ,le voisin m a toujours dit que ce mur lui appartenait car il etait sur son terrain et que c est lui qu il a fait quand il a fait demollir une vielle maison attenante.il y a 3 ans il demolit ce mur de parpaings,et refait un petit muret de 20 cms collé au mur mitoyen pour y accrocher son portail.as t il le droit?et est ce que je peux lui faire enlever.il ne m a jamais demandé mon accord.si oui,pouvez vous m indiquer les démarches?merci