Porte sur terrain

Bonjour,
J'habite une maison avec une cour à l'arrière. Dans cette cour, j'ai fait une porte qui donne sur un terrain non entretenu et le propriétaire de ce terrain, qui n'habite pas là, m'a demandé par lettre recommandée d'enlever cette porte. Suis-je obligée de le faire ? Merci de m'aider.