Problème de voisinage - Porte de servitude

Bonjour,
Je suis sur le point de partir de mon logement (location) mais j'ai quelques soucis avec mon voisin. J'ai un droit de servitude et la porte intermédiaire s'est cassée lors d'une tempête. Etant donnée que j'ai un chien, j'ai refait d'urgence une porte. Mon propriétaire ne donnait pas de nouvelle pour venir réparer lui-même. Suite à l'intervention, mon voisin se plaint que les murs portants la porte lui appartiennent. Il souhaite que j'enlève la porte. Précédemment, une porte était présente et attachée avec deux poteaux fixés également sur ce mur. Le voisin souhaite m'assigné en justice car je n'enlève pas la porte. Et mon propriétaire m'interdit de la retirer. Mon propriétaire m'avait signalé qu'il ferait le nécessaire après mon départ. Il y a-t-il un risque pénal pour moi de partir sans toucher à la porte?