Curatelle de mon conjoint

Bonjour, en concubinage depuis bientôt 4 mois avec mon conjoint qui est curatelle (ADAE de Longuenesse), celle-ci en entretien privé lui tient des propos comme quoi je ne suis pas fait pour lui, lui demande si il veut rester avec moi etc... En gros elle essaie de mettre notre couple en rupture, lui pleure à chaque fois qu'elle la voit parce qu'on s'aime vraiment. En fait elle ne supporte pas que je prenne soin de lui et voudrait elle-même tout mais vraiment tout gérer... Il a enregistré leurs différents entretiens, est-ce qu'il n'y aurait pas là un "abus de faiblesse"? Est-ce que nous avons le droit d'utiliser les enregistrements comme preuves?
Merci d'avance pour vos réponses car c'est une situation insoutenable pour lui comme pour moi, nous sommes fatigué moralement et on se dispute à chaque fois quand on parle d'elle parce que lui, faible comme il est n'ose rien dire.