Notaires pas assidus

Bonjour,

je viens de vendre mon appartement et je suis extrêmement insatisfait du sérieux avec lequel mon notaire a conduit l'opération. Pour résumer brièvement, la signature du compromis date du 20 décembre 2011, et la date limite de signature de l'acte authentique était le 20 mars 2012.
Dans la mesure ou j'effectuai parallèlement un achat immobilier, j'étais assez pressé sur la date de signature pour pouvoir pallier à tous les frais liés à cette acquisition. J'ai donc précisé très clairement ce point à mon notaire, en sachant très bien que certains éléments ne dépendaient pas de ma seule volonté (prêt des acquéreurs et droit de préemption urbain notamment), ce à quoi on m'a garanti que dès que les documents seraient réunis, la signature serait programmée.
A la date du 20 février 2012, tous les documents nécessaires à la signature étaient réunis: prêt bancaire validé et signé par les acquéreurs, droit de préemption urbain revenu de la commune et de la communauté d'agglomération, ... et le RDV pris pour le 1er mars 2012.
J'ai d'ailleurs à cet effet résilié mon contrat avec l'agence qui s'occupait de la gestion de cet appartement.
C'est là que les problèmes commencent: le jour de la signature, les acquéreurs étaient présents, leur notaire était présent, l'agence immobilière était représentée, je m'étais fait représenté par procuration par un clerc (mon notaire) qui était présent lui aussi.
Et là surprise, mon notaire avait oublié le titre de propriété et le document (dont j'ai oublié le nom) émanant du bureau des hypothèques qui garantie que l'appartement n'est pas sous hypothèque.
Donc pas de signature!
Signature repoussée normalement à un jour ou deux pour reprogrammer un RDV, qui surviendra finalement le jour limite possible de signature à savoir le 20 mars 2012. Auquels s'ajoutent 10 jours qui auront été nécessaires à réaliser le virement sur mon compte.

Bilan de l'opération:
- mon compte à découvert (car deux crédits à payer, plus les travaux commandés à honorer, plus les besoins de la vie de tous les jours)
- des agios relativement élévés
- des chèques rejetés qui ont entrainés un interdit bancaire
- un appartement qui n'était plus sous gestion et pour lequel du coup je n'ai pas pu encaisser les loyers car je n'avais pas les coordonnées des locataires.

Ma question est donc triviale, est ce que j'ai une possibilité de me retourner contre cet office de notaire, et de quelle manière dois-je m'y prendre?