Crédit immobilier suspicion de fausses signature

Bonjour,
Je suis en instance de divorce, mon ex souhaite acheter une maison avec sa nouvelle conjointe.
Pour ça il me réclame ma signature pour accord de prêt, ce que j'ai refusé n'ayant pas assez de garantie.
Or malgré mon refus ils viennent de passer au notaire et on eu les clés de la maison.
Pourtant d'après lui si je signé pas ils ne pouvaient pas avoir la maison je me suis même fait insulter quand je lui est fait part de mon refus.
J'ai donné mon refus il y a moins de quinze jours, mais ils sont passer au notaire cette semaine.
Je le soupçonne d'avoir imité ma signature, comment puis je le savoir? Vers quel organisme je peux me tourner pour savoir si ma signature apparaît dans cette offre de prêt?
Par avance merci pour vos réponses