Achat appart directement avec le propriétaire mais après visite avec agence

Bonjour,
J'ai trouvé sur se loger.com un appartement. L'agence me le présente comme une exclusivité. Apres l'avoir visité. Je vais une offre qui est refusé mais on arrive à un compromis. L'agence me fait attendre plus d'une semaine et il finit par faire marche arrière et me propose un prix plus cher car l'appartement n'est plus une exclusivité.
J'ai voulu faire la même offre à la propriétaire directement.
L'agence m'a rappelé pour me dire qu'elle pouvait demander des dommages et intérêts car c'est eux qui m'ont présenter l'appartement.

Ai-je le droit d'aller voir la propriétaire pour faire une offre directement ou en effet je n'ai pas le droit après être passé par l'agence (qui n'a pas accepté l'offre)? Est ce que je risque quelque chose?

Merci d'avance de vos réponses .