Faute du notaire dans la rédaction de l'acte de vente

Bonjour,
J'ai acheté en mars 2013 un appartement dont les travaux de ravalement venaient d'être votés les mois précédant la signature de l'acte. Le vendeur ayant voté ces travaux s'était engagé à les payer, et la somme correspondant à ceux-ci m'avait été remise par imputation sur le prix de la vente, pour me permettre de répondre aux appels que le syndic de la copropriété devaient m'adresser ultérieurement.
Cette résolution d'accomplir ces travaux a donné lieu à un recours judiciaire en annulation par l'un des copropriétaires et l'assemblée des copropriétaires a décidé, par assemblée extraordinaire, de tenir cette décision pour caduque.
Le vendeur me demande lui restituer cette somme. Le notaire, prenant fait et cause pour le vendeur, m'a demandé également de la restituer. D'autre part, ces mêmes travaux vont être revotés avec quelques modifications, à mes frais puisque je suis désormais copropriétaire.
Le notaire dans l'acte de vente n'a émis aucune réserve à propos de l'inexécution des travaux. Dans la partie "financement", il est mentionné que la somme destinée au ravalement doit être imputée sur le prix de vente, sans plus de précisions.
Puis-je me retourner contre le notaire, qui n'a émis aucune réserve et ne m'a pas mise en garde contre les conséquences financières d'une possible inexécution des travaux ?
Je vous remercie à l'avance de votre aide.