Occupatin d'une maison qui n'est pas la sienne

Bonjour, voici mon cas :

J'ai divorcé il y a plus de 12 ans et mon ex mari vit toujours dans la maison que nous avons construite sur le terrain de mon père qui est décédé en 2000 (mais ma mère est toujours en vie). Cette maison se trouve à 200 m de la maison de ma mère, là ou je vis depuis mon divorce).mon ex epoux a gagné le proces du divorce mais le juge n'a pas parlé de cette maison. j'ai 10 freres et soeurs qui comme moi cherche une solution pour que cette maison ne soit plus occuper par cette homme .
Nous avons 3 enfants et aucun n'habite dans cette maison. Mon ex mari loue une partie de cette maison (3 appartements). Je ne perçois aucun loyer.

J'aimerais savoir comment je peux faire pour récupérer cette maison sans passer par un acte notarial trop onéreux ? Quelles sont les démarches à suivre ou encore quel moyen juridique je peux employer.

Cordialement.

PS : je tiens à signaler que cette personne, dont j'avais fait de lui mon mari, se permet d'inviter ses conquêtes dans cette maison à 200 mètres de là où je vis.