Achat d'une propriété dont une parcelle est en indivis.

Bonjour,

Je viens d'acheter il y a un mois une maison constituée de 2 parcelles, l'une est notre propriété intégrante, mais la 2e petite parcelle jouxtant la première à une portion d'environ 1a et celle ci est en indivision avec mon voisin.
L'ancien propriétaire de notre maison avait construit il y a environ 5 ou 6 ans un grand portail électrique sur cette petite parcelle indivis, et ce portail barre complétement le chemin d'accès. Et le voisin n'a jamais rien dit puisqu'il a lui même mis un grillage le long de cette parcelle pour clôturer tout le bout de son jardin.
Comme nous venons d'emménager depuis 15 jours, hier le voisin a voulu savoir si je savais que le chemin était en indivision, car il m'a vu couper des ronces qui tombaient de son côté vers notre portail.
Et il m'a dit qu'il ne ferait pas, mais que s'il le voulait, il pourrait demander à faire abattre nos pilasses et notre portail de façon que celui ci soit reconstruit à la limite des bornes de notre 1ére parcelle qui nous appartient complétement.
Je voudrais savoir si :
- Ce n'est pas nous qui avons construit ce portail, c'est l'ancien propriétaire, il y a 5 à 6 ans, nous, nous n'avons fait qu'acheter cette propriété en l'état, est ce que le voisin pourrait effectivement nous faire abattre notre portail ?

- Et vu que le voisin n'a rien dit pendant 5 à 6 années, serait il en droit d'intenter quelque chose maintenant ??

Merci de vos réponses, car je ne sais plus quoi penser, je tiens à préciser que je n'ai connu cette indivision que le jour de la signature de la vente chez le notaire, à aucun moment n'a été stipulé ce fait d'indivis ni par l'agence, ni par le vendeur et même le notaire n'en a pris conscience que lors de la lecture de l'acte notarié.
Cordialement.