Terrain agricole loué par un particulier

Bonsoir, j'ai besoin de vos lumières si vous le souhaitez...Je suis un particulier qui loue un terrain agricole depuis environ 4/5 ans. Je fais faire le foin sur cette parcelle par mon ami pour nourrir mes chevaux. Aujourd'hui, le propriétaire du terrain se réveille (alors qu'il est toujours à l'heure pour m'envoyer le fermage) et me dit qu'il s'est rendu compte que rien n'avez été déclaré à la msa et qu'il y aurait "la familiale et ses arrièrées à payer" et qu'en gros il veut filler le terrain à un agriculteur. Pourquoi dois je payer(si cela arrive) des cotisations à la msa alors que je suis un particulier et que je ne fais aucun bénéfice et surtout a t il le droit de me retirer ce terrain (je précise, je n'ai jamais signé de bail). Merci de vos futures réponses et bonne soirée