Loyers sociaux

Bonjour
J'ai acheté en 1999 2 lots dans un immeuble à Clichy
A l'époque nous avions bénéficié d'un taux de TVA à 5,5% dans l'engagement de faire des loyers à montant sociaux. Nous avions signé une convention avec l'état nous engageant pendant 25 ans à faire ces loyers sociaux selon l'article L.351-2.
Je souhaite vendre ses apartements et casser cette convention pour que le futur acquereur puisse faire des loyers libres.
Dans le réglement de la convention il est marqué à l'article 19 qu'en cas d'inéxecution de la convention par le bailleur, le bailleur doit payer le complément de TVA résultant de la différence entre le taux réduit et le taux normal.
Je passe par une agence immobilière de Clichy, mais malheureusement celle-ci s'est renseignée auprès de son notaire et cette dernière lui dit que le futur acquereur ne poura pas faire de loyer libre, qu'il est engagé avec l'état à faire des loyers sociaux, même si je paye le complément de TVA
Pouvez vous m'éclairer. La seule impossibilité de faire des loyers libres est cette convention signée avec l'état donnant droit à un taux de TVA réduit à 5,5. Si je paye la différence de TVA je romps mon engagement avec l'état et je peux fixer le montant du loyer comme je l'entends ?
Qui peux me renseigner, comment faire pour payer ce complément de TVA ?
Merci de me répondre.