Erreur dans la destination du bien

Bonjour,

Nous sommes passés par une agence immobilière pour l'achat d'une bâtisse de ferme en ruine. L'agent immobilier nous a indiqué qu'une rénovation sur la totalité du bien était possible, sans changement de destination. Sur la promesse de vente il était indique: cellier, partie habitation, débarras et grange.
Il ne sait pas renseigné et il semblerait que les 3/4 de la bâtisse soit considéré comme agricole et donc ne pouvant prétendre à un changement de destination (PLU de chez nous c'est pas possible quand c'est agricole). Par ailleurs, il ne sait pas renseigné sur le fait que notre permis de construire aurait été refusé car il n'y a pas de défense incendie à proximité (toujours indiqué dans notre PLU). Nous avons eu ses informations après la signature de la promesse de vente et après avoir engagé près de 3500€ de frais notamment dans le début de projet avec notre maître d'œuvre. Ne pouvant renové que 60m2 et non les 160 prévu initialement nous avons annulé la vente. Le notaire nous a restitué la somme versée dans le cadre de la réservation du bien.
Cèpendant, pourrions nous réclamé les sommes investis soit 3500€ à l'agence immobilière au titre de défaut de conseil ? Il a une obligation de conseil mais également de se renseigner lui même sur tous les points d'une certaine importance notamment la destination du bien.
Qu'en pensez vous ?
Merci pour votre aide