Dessinateur en Maisons Individuelles

Bonjour,
Je suis dessinateur en maison individuelles;
Je vous explique mon soucis. J'ai monté tout un dossier pour un client concernant son projet de maison individuelle avec pour but, obtention du permis de construire. Ce dossier à été fait sans contrat, sans devis, juste un prix forfaitaire payable à réception du dossier. Si permis refusé, je m'engage à faire les modifications sans majoration pour le client. Mon soucis c'est que le client à eu son permis refusé car le projet est localisé dans une zone BATIMENT DE FRANCE. Je le savais et nous le savions, puisqu'au premier contact, mon client m'en avait informé. Dans un premier temps, je lui avait répondu que supposant la complexité du dossier, je ne voulais pas lui faire. Mais comme il m'a rassuré en me disant qu'il avait tous les tenant et aboutissants du projet, je ne craignais rien à lui faire. Tout ça en fait à été fait par téléphone, puisque ce client habite à 130km de chez moi. Maintenant, vu que son permis est refusé et qu'il se trouve dans l'obligation d'acheter le terrain correspondant, il me réclame de lui rembourser la somme qu'il m'a payé soit 500€, sinon c'est tribunal, paiement des honoraires de l'avocat adverse, etc etc etc.
Pouvez vous me guider ?
Cordialement