Abus de confiance

Bonjour,
Je suis une personne ayant deux personnes handicapées à charge, dont ma mère qui est à plus de 80% de handicap. Ayant des difficultés financières et afin de m'aider, ma mère a souhaité vendre sa maison (car depuis le 14/02/2008 elle habite chez moi) pour nous faire une donation à moi et mon frère.
Sur les conseils de ma banque, le 4 octobre 2011 j'ai contacté l'agence immobilière IMM-NORD. M. X m'a demandé d'attendre la fin du mois pour trouver LE client. Après M. X a prétexté qu'il fallait du temps du concrétiser le projet de l'acheteur qui voulait investir en transformant le bien en plusieurs appartements. Comme je n'habite pas sur place, M. X s'est mis d'accord avec mon frère pour qu'un compromis de vente soit signé le 22/11/2011. Dans ce compromis, l'acheteur avait les fonds financiers nécessaires à sa disposition, mais demandait d'autres conditions suspensives : autorisation du permis de construire pour 2 lots à bâtir ainsi que la purge du recours des tiers au plus tard le 30 juin 2012, établissement de la copropriété et la division des lots pour le jour de la signature de l'acte authentique au plus tard le 30 juin 2012. Ma mère et moi avons pensé que c'était exagéré mais que fin juin tout serait terminé. Or nous sommes courant août 2012 et l'attente continue encore. D'autre part le client se permet d'apposer des affiches de location sur la façade de la maison.
Dans le contrat, il parle de la présence des deux parties, alors que nous ne les avons jamais rencontré. Je sais aussi que l'acheteur a obtenu son permis de construire qu'il n'avait demandé que début mai 2012.
En tant que clients, nous avons confié à M. X la vente d'une maison. M. X nous a trompés. Il a profité de notre ignorance pour nous arnaquer.
Il défend les intérêts de l'acheteur et se moque de nous.
Nous sommes bloqués, au bord du surrendettement et à découverts.
Comment sortir de cette situation. Merci de nous aider !