Casser PER car problème imposition

Bonjour,

voici ma situation : j'ai reçu un don d'un proche l'année dernière et je voulais le placer sur mon assurance vie. Mon banquier m'a proposé de le placer sur un PER en m'expliquant que cela fonctionne comme une assurance et que l'argent peut être débloqué en cas d'achat de résidence principale, ce qui est mon projet à courte échéance, l'avantage étant qu'il n'y avait pas de frais de versement sur ce compte. Faisant confiance à mon banquier qui me conseille depuis plusieurs années sans soucis, j'ai ouvert un PER. 

Je suis en recherche active pour acquérir ma résidence principale et je me suis penché sur tout ce qui est lié au retrait de mon argent et à l’imposition qui en découle. Quelle ne fut pas ma surprise d'apprendre que, contrairement à l'assurance vie, le capital du PER est imposable en cas de retrait anticipé pour acquérir une résidence principale. Cette information est très importante et si j'en avais eu connaissance avant, je n'aurais pas ouvert un PER. 

Je ne dis pas que le banquier a omis volontairement cette information, toujours est-il qu'il m'a induit en erreur en me conseillant un PER au vu de ma situation professionnelle car c'est ici le gros problème. 

A savoir que je suis travailleur handicapé et j'ai uniquement l'AAH pour revenus. Avec imposition du capital présent sur mon PER, non seulement mon AAH me sera supprimée pour un an car je dépasserai le plafond d'attribution et en plus, je serai imposé d'environ 1500€ d'après un simulateur. Ce n'est pas une position tenable et je considère que mon banquier a fait une faute en m'aiguillant mal, faute. 

Ma question est de savoir si je suis en droit de demander à casser le PER au vu de ce que je considère comme une faute du banquier ?

Je vous remercie pour votre aide

Gwen