Construire sur un terrain loué

Bonjour
Depuis 5 ans nous louons un terrain en ''fermage'' qui n'est en fait qu'un jardin.
Il s'agit de la parcelle mitoyenne à la notre.
Depuis nous aimerions réaliser un carport pour abriter notre voiture ( démontable) .
Il semblerait que l'autorisation du propriétaire soit indispensable alors que nous avons la jouissance du terrain et qu'il ne s'agit pas d'une construction en dure.
Je suis un peu perdu et surtout vis à vis du terme de fermage alors qu'aucune terre n'est exploitée, qu'aucun bail écrit n'existe ( bail rural oral dans l'acte notarié) et surtout un prix supérieur à celui d'un fermage classique.
J'espère être clair
Merci à tous ceux qui pourront me renseigner.