Plantation sur un terrain

Bonsoir.
J'ai un gros soucis. Voila, Mon grand-père ma donner un terrain . Nous avons signer cette donation il y a 1 ans. Au jour d'aujourd'hui j'ai fait une demande de permis de construire et j'attends la reponse. Il y a 5 ans il m'a dit avoir fait verbalement un accord avec un tres bon amis , afin que cette amis puisse planter ses fruits sur le terrain . Il me disait de ne pas m'inquietait, j'ai prevenu cette personne de mon intention de construire lorsque j'ai signer la donation il y a 1 ans, tout c'est bien passer. Sauf qu' il y a quelques semaines de cela je l'ai appeler pour lui dire que je suis prête a construire et il s'est tout de suite enerver en me fesant comprendre qu'il ne voulait rien savoir et qu'il avait une autorisation écrite de mon grand pere lui autorisant de planter ses fruit et qu'il ne voulait pas me voir sur mon terrain. Effectivement moi aussi j'ai decouvert cette sois disante autorisation qui ressemble a un bail. J'aimerais savoir quel sont mes droits par apport a cette personne, sachant qu'il y a 5 ans le terrain était agricole et que maintenant il est constructible .
Cette personne a eu un entretiens avec mon grand père pour resoudre le probleme a la miable et il propose que si nous voulons construire maintenant , nous devrons lui payer une sommes bien precise. sinon d'attendre en février 2014.
Comme le terrain m'appartient depuis 1 ans , ne serai-je pas a moi de le demander un loyer ? Cette autorisation est t-elle toujours valable puisque le terrain n'appartient plus a mo grand pere?