Litige concernant une convention APL

Je me trouve dans un litige avec l'État concernant une convention APL que je n'ai pas signée, relative à l'achat d'une maison en 2008.  Cette convention m'impose de louer ma maison jusqu'en 2035. À l'époque de l'achat, j'avais bénéficié d'un abattement de TVA mais pas de réduction fiscale puisque je n’ai pas signé cette convention et je n’en avais pas connaissance. Cette maison a été acquise par l'intermédiaire d'une SCI, établie à Toulouse, qui a été radiée le 22 juillet 2014. Cette SCI est une filiale d'OMNIUM FINANCE, qui a été condamnée pour escroquerie, abus de biens sociaux, faux en écriture et usages de faux et par une  Décision de la Cour de cassation.
Aujourd'hui, je souhaite mettre fin à cette convention afin de pouvoir résider dans ma maison en tant que résidence principale. Je n’ai pas de résidence actuellement, je réside chez des amis. J’ai un crédit en cours sur cette maison via le Crédit Foncier de France qui a également attaqué en justice OMNIUM FINANCE.  Après avoir contacté le service compétent, on m'a informé que cela n'était pas possible d’occuper mon habitation, suite à cette convention, alors que la convention stipule qu'il est possible de la rompre. Je n’ai pas signé cette convention, mais c’est ce prometteur qui m’a vendu cette maison qui a signé cette convention avec la préfecture à ma place.
En me vendant cette maison, ce promoteur m’a engagé dans cette convention que j’ai été obligé d’accepter sans en connaitre les tenants et aboutissements.
En achetant cette maison à la SCI, j’acceptais dans le contrat de vente, l’obligation que la SCI avait envers l’état en échange d’une TVA réduite à 5%.

Face à cette situation, j'envisage de contester cette décision devant le tribunal administratif. 
Pouvez-vous m’apporter quelques conseils ? Mon but étant d'habiter cette maison en résidence principale.