Offre d'achat conditionnelle

Par l'intermédiaire d'un agent immobilier, nous avons fait une offre d'achat conditionnée par les résultats d'une expertise programmée le 28/02/2019 par la compagnie d'assurance du vendeur (catastrophe naturelle). Cette offre a été acceptée par le vendeur.
Depuis, l'expert a sollicité auprès de l'assurance l'autorisation d'effectuer des investigations plus approfondies. Nous n'avons aucune information quant au suivi nonobstant mails et appels téléphoniques à l'agent immobilier qui, selon ses dires, n'obtient pas plus d'informations auprès du vendeur.

Vu cette situation, nous souhaiterions mettre fin à notre offre. Devons-nous notifier cette décision à l'agent immobilier , au vendeur ou aux deux?
Merci de votre aide