Problème avec mon agent immobilier

Bonjour, Je viens de signer un compromis pour l'acquisition d'une maison. L'agent immobilier qui s'est occupé de nous a été plus que malhonnête envers nous acheteurs et envers la vendeuse.
En effet, nous avons découvert lors de nos visites et en posant des questions supplémentaires plusieurs vices cachés qui augmentaient de façon importante le coût d'acquisition.
Nous avons donc fait une proposition très basse pour rattraper ces coûts et signé un compromis. Les délais de rétractation sont finis, la demande de prêt déposée.
A ce jour, la propriétaire nous refuse une visite, laquelle nous est nécessaire pour prendre des mesures afin d'acheter du matériel. Cette dégradation des relations vendeur/acquéreur est la cause de l'agent immobilier.
Nous refusons de payer les frais d'agence compte tenu des mauvaises prestations que nous avons eues dans ce dossier.
Cela est-il possible ???? ou tout au moins de les diminuer en proportion des prestations.
Merci de vos réponses.