Refus de restituer clés de mon ex concubin

Bonjour,
Mon ex concubin a quitté le domicile depuis 5 mois sur son initiative, maison que nous avons acquise ensemble en indivision en 2008. Il vit désormais dans un autre lieu avec sa nouvelle compagne.
Il a récupéré tous ses effets depuis à sa convenance, disposant toujours des clés, et refuse de me restituer les clés malgré mes demandes répétées depuis plus de 2 mois. Après des tractations difficiles et au final à mon désavantage financièrement pour le rachat de soulte (seule solution pour me dégager sinon je me voyais contrainte de rester solidaire de son emprunt avec un couperet permanent au dessus de la tête, lui refusant de me désolidariser de ses prêts), nous signons l'acte définitif dans une semaine. Que puis-je faire pour exiger les clés ? Il se refuse à me les rendre depuis 2 mois avançant qu'il est toujours propriétaire du bien quoique non occupant.
Hormis changer toutes les serrures, y a-t-il une démarche possible pour le contraindre à me les restituer ? Ai-je le droit de me pointer chez lui (il m'a donné le code d'accès de son immeuble et m'y a déjà conviée il y a 2 mois)?