Achat d'appartements en copropriété et Syndic

Bonjour.
Je suis en train d'acquérir 3 appartements dans un petit immeuble d'un centre-ville d'une ville de 60 000 habitants.
Ce petit immeuble comporte un 4ème lot qui est fermé par une porte de garage en bois en mauvais état au niveau de la rue. Ce lot contient divers objets (c'est en fait une sorte d'entrepôt, ou de débarras).
Mais, mon notaire et la propriétaire d'un lot avec laquelle je viens de signer le compromis de vente me signalent que cette copropriété qui regroupe donc 4 lots a des AG annuelles auxquelles le propriétaire du lot du rez-de-chaussée ne participe jamais.
Que faire?
Je vais bientôt être propriétaire de 3 lots sur 4 puisque le propriétaire du lot du 1er niveau (sur la rue) ne vend qu'à un prix prohibitif.
Puis-je me "débarrasser" du Syndic ?
Comment ? Puisque le 4ème propriétaire se refuse à venir ou à être représenté aux AG.

Merci pour vos réponse et conseils.

Cordialement.

Sébastien.