Porte d'un voisin donnant sur un terrain racheté

Bonjour,

Je viens de racheter un terrain jouxtant plusieurs propriétés. Ce terrain est matérialisé par des murs mitoyens (il est en forme rectangulaire et sur deux côtés opposés, il est délimité par des murs). Un voisin a créée une porte pour pouvoir sortir ses poubelles par derrière sa maison il y a plusieurs années. Il avait eu un accord tacite avec le maire de l'époque mais rien n'a été signé et il n'existe aucun écrit. Le géomètre qui a borné le terrain nous a dit que c'était interdit de faire ça.
La mairie actuelle lui a demandé de condamner cette porte avant la vente du terrain, cette demande a été faite par un courrier recommandé.
A ce jour, j'ai signé, avec le notaire et le maire, la vente du terrain mais le voisin n'a toujours pas condamné cette porte. Que dois-je faire ?
Ai-je le droit de le faire moi-même car après tout il est clair qu'il ne fera rien et je l'ai déjà prévenu qu'il fallait la condamner.