Bail rural

Je souhaite récupérer un terrain agricole dont je suis propriétaire pour l exploiter en mon nom car je loue déjà des terres sur ce site depuis 30 ans. De plus j ai un bâtiment de stockage sur la parcelle que je veux récupérer. Mon bailleur si oppose en me disant que mon siege d exploitation et trop loin des mes terres que je souhaite reprendre ( 30 km ). que dois je faire ? Ne pas oublier que je suis le propriétaire de ce terrain.