Achat maison

Bonjour,
Le 12/06/2019, mon mari et moi avons eu un coup de coeur sur une maison. Le jour de cette visite, l'agent immobilier nous a expliqué que le propriétaire, qui est une société, a réalisé une division du terrain pour y construire 3 maisons derrière notre future bien. Elle nous a envoyé par mail le plan de division, mentionnant des mesures de terrain et en nous disant que "La maison sur le terrain voisin sera implantée sur la limite de propriété et sera de 8 mètre de large, pignon sans aucune ouverture.
Le mur en parpaing peut être édifié par le promoteur sur le reste de la limite séparative.Quant aux délais de constriction et des travaux : les constructions vont commencer au début de décembre et vont durer entre 6 et 9 mois".
Le 14/06: signature de la proposition d'achat,
Le 28/06 : signature du compromis en agence.
Étant donné que nous vendions notre bien chez le notaire le 26/08, et que nous avions un apport de cette vente pour notre nouvelle acquisition nous avions demandé à l'agence immobilière de pouvoir envoyer le compromis à ce même notaire. En sachant que le propriétaire (la société ) avait son notaire. C'est d'ailleurs ce dernier qui a transmis le dossier à mon notaire où devait avoir lieu la signature, approximativement à la date de notre vente.
Au lieu du 29/08, le notaire a fixé au final la date de signature au 03/09.

Étant donné que notre futur bien était vide, nous avions demandé au propriétaire, la possibilité de pouvoir y mettre nos affaires. Choses qu'il accepté à conditions de faire un document écrit pour le dégager de toutes responsabilités et l'attestation d'assurance à la date de la dépose de nos cartons et effets matériels, soit le 22/08. Ce même jour nous constatons que les travaux qui devait être fait pour la réalisation des travaux des autres lots à générer de gros dégâts autour du bien (enrobage complètement cassé à cause des passages de camions, découpage d'une partie de notre terrasse pour réaliser une ouverture pour les passages camions, pas de fermetures délimitant notre parcelle à l'autre lot.
Le responsable de chantier a assuré à l'agent immo que tout sera réparé pour le 03/09. Or la veille, rien n'avait été fait donc nous avions prévenu le notaire qui nous a conseillé de ne pas signer en l'état. Nous avons donc suivi son conseil.
Aujourd'hui, nous sommes en location avec 3 enfants dont 2 en bas âgés, la rentrée et en plus nous changeons régulièrement de location. Par ailleurs, nous nous sommes aperçu que la mairie a mis un arrêté pour la réalisation de travaux "extension de réseau pour branchement EU et terrassement pour raccordement AEP" à notre adresse.
Que pensez vous de tout cela en sachant que l'agent immobilier et le propriétaire se connaissent bien.
Nous ne savons plus quoi faire.
Sandra