Récuperer un terrain

bonjour à tous!
voilà mon problème, je viens d 'acquérir une propriété qui comprend une maison avec un terrain et une remise.
les voisins occupaient la remise (depuis plus de trente ans selon leur dire).
Après m 'être renseigné auprès du notaire, de la mairie, j'ai informé mon voisin comme quoi je voulais récupérer la remise ainsi que le morceau de terrain où se trouve cette remise.
Ils ont donc vidé les lieux et j'ai repris possession des lieux.
je viens de recevoir un courrier de leur part en disant que nous n 'avions pas le droit de récupérer la remise ( l'usucapion)d'ailleurs cette remise à été construite à leur frais après avoir détruit une remise déjà sur ce terrain.
Sur le plan cadastral ce terrain fait bien partis de ma propriété. Les anciens propriétaires n'ont jamais réclamé ce terrain car il n'en avait pas l 'utilité.
Que dois je penser?
Sachant que la remise était compris dans le prix de ma maison et que je vais devoir payer des impôts sur ce terrain qui selon les dire du voisin ne m 'appartient plus.