Compromis signé et squatteur arrivés, comment faire?

Bonjour
Nous avons signé un compromis pour l'achat d'un local.
Nous avons fait appel a un architecte pour les transformations et demande de permis de construire pour transformation de la façade. Qui est accepté par la mairie.
Et là, à 13 jours de signer la vente, il y a des squatteurs qui se sont installés, dans une partie du local .C'est une partie du local qui ne se ferme pas à clé !
L'agence, le propriétaire et le notaire sont informé de ce changement de situation mais rien ne se passe !
Ma question:
- Cette partie de local est non fermé a clé, et les squatteurs n'y sont pas là, la journée. Nous avons demandé à ce que le local soit vide et fermé à clé pour la vente.
Mais, la réponse du propriétaire et agence, c'est de ne rien faire.
ps: le notaire est en vacances.
Que fait-on?
- peut-on refuser de signer la vente? et, qu'est ce que cela engendre comme problème?
Nous avons déboursé 3500€ à l'agence et déjà réglé 2400€ à l'architecte.
- acheter ? et, auquel cas, peut on sortir les affaires de ce local la journée , mettre un verrou et reprendre possession de ce lieu?
Quels sont nos droits de futurs acheteurs ?
Cordialement
PM