Propriétaire de l'étage et la moitié du rez de chaussée

Bonjour,
Je suis propriétaire d'un étage et de la moitié du rez de chaussée.
J'ai acheté en 2004,à l'étage il n'y a jamais eu de séparation et il n'y avait pas d'escalier qui communiquait avec la pièce du bas qui n'est pas à moi.J'ai refais l'étage,traité les poutres et nettoyer les ardoises quand cela était necessaire.voila que le propriétaire se réveille et me demande les loyers depuis 2004 sur la moitié de mon étage.C'est une pièce en terre battue où il n'y a pas d'électricité,avec 2 portes 1 qui sort dans ma cour et l'autre qui va dans une autre courette pour accéder dans une maison.Cette pièce(en terre battue) faisait partie de cette maison qu'il n'a pas vendu avec.
Je n'ai jamais utiliser sa pièce qui fait paertie intégrante de ma maison il car il y a un mur de brique que je n"ai jamais franchi,j'ai même construit une cloison devant la brique qui menace de s'effondrer.
merci d'avance pour vos réponses et vos conseils.
titi