Puis-je interdire légalement l'accès à maison à mon ex ?

Bonjour,
Après avoir acheté une maison à 2 (pacs) mon conjoint est parti sans avoir jamais réglé le moindre centime (ni en apport, ni en remboursement) en me plantant là avec un bébé de 5 mois (nous sommes entrés dans la maison en août 2011 et il est parti en janvier 2012)

Depuis j'assure seule les obligations financières liées à cette maison (mes parents m'aident...) mais nous avons obtenu au forcing que mon ex signe devant notaire un acte stipulant qu'à la revente je récupère et le montant des échéances réglées seule et l'apport que j'avais fait (là non plus il n'a pas mis 1 centime) -
Nous avions initialement un compte joint qui devait être alimenté par nous 2 pour faire face aux prélèvements liés et aux remboursements et aux frais communs, compte sur lequel il n'a bien entendu plus jamais rien versé et il vient de se désolidariser du compte -j'ai un courrier de la banque m'informant de cet état de fait .

Cela ne l'empêche pas de venir récupérer meubles, matériel et autres, quand bon lui semble sous pretexte qu'il est CHEZ LUI !! ce qui est très très fort il faut l'admettre.
Quelles démarches légales puis-je faire (peut être huissier) pour lui interdire l'accès à la maison