Refus de prêt , arrêter toute démarche avec l agence

Bonjour tout le monde
Voilà ma situation, moi et mon conjoint avons fait des démarches pour acheter une maison Elle nous plaisait à tous les deux on a signé avec l'agence un compromis de vente, et aussi un papier en quoi que si on était intéressé par la maison on devait la prendre avec lui, donc nous avons signé. Nous avons demandé à la banque un prets mais celui-ci nous a été refusé, donc nous avons mis les propriétaires ainsi que l'agence au courant, du coup les démarches s'arrête...
Je voulais savoir si nous pouvions aussi arrêter le papier en quoi que si nous étions intéressés par la maison nous l'achetions avec l agence ?!
car si nous avons le prêt beaucoup plus tard nous pourrions peut-être passer par les propriétaires directement si la maison n'est toujours pas vendu mais le souci c'est qu'on a signé ce papier donc nous voulions savoir si l'agence pourrait se retourner contre nous, ou si À partir du moment où le prêt a été refusé et que les démarches Sarette ce papier ça nul aussi, merci d'avance pour vos réponses