Honoraire architecte refus permis construire

Bonjour,
Ne savant pas si vous pourrez nous aider, peut être pourriez vous nous diriger vers un organisme.

Je vous explique notre problème,
En début d'année, nous avions un projet de rénovation d'un bâtiment agricole afin de transformer ce bâti en habitation.
Nous avons fait appel a un architecte, qui était douteux de notre projet concernant l'obtention du permis de construire, après s'être renseigner, il nous a préciser que le permis devrait nous être accorder.
Nous voila aujourd'hui avec un refus de permis de construire, après un entretien auprès d'un architecte du CAUE , cette personne nous indique les changements que nous devons faire pour que le permis nous soit accordé .
Ces changements étant trop importants sur la forme intégrale du bâti , nous décidons alors d'abandonner notre projet .
Le soucis étant que notre architecte nous a fait régler des factures au fur et a mesure de l'avancement de sa mission, nous lui avons donc déjà versé la somme de 3800 €, de l'argent envolée puisque sa mission ne nous a pas mené a ce que nous voulions .
Nous aimerions connaitre les démarches a suivre afin d'être remboursé des honoraires architectes déjà versées .

Ils faut également savoir que le permis nous a été refuser car les règles d'urbanismes du PLU n'ont pas été respectées par l'architecte, il s'agit donc d'une faute professionnelle de sa part .

Dans l'espoir d'avoir une réponse de votre part afin d'essayer de résoudre ce litige.

Bien cordialement .