Interdit e visites sans accord bancaire

Bonjour,
Nous avons signé un compromis de vente pour l'acquisition d'un logement ancien.
Nos demandes de prêt sont en cours.
N'ayant visité le bien qu'une seule fois, et souhaitant également faire réaliser un devis par un entrepreneur, nous avons sollicité les propriétaires, via l'agence, pour une seconde visite.
Or, les vendeurs nous refusent cette visite, tant que nous n'aurons pas notre accord de prêt.
Réaction illogique puisque nous aurions éventuellement besoin de ce devis pour la demande de prêt.
Sont-ils dans leur droit?
Quel recours avons-nous?
Merci d'avance