Changement de notaire après compromis

bonjour,
j'ai signé un compromis pour l'achat d'un appartement le 6 juin, la date butoire de la vente définitive est le 15 septembre, j'ai signé avec mon notaire et celui de la vendeuse. suite à des soucis avec mon notaire, qui risque d'ailleurs de reporter un peu la vente définitive de mon appartement, je voudrais savoir si je peux en changer maintenant ou s'il est trop tard?
merci