Piégé par un viager qui se transforme en donation

Bonjour,

Il y a quelques années, j'ai acheté en viager une ferme au frère de ma marraine décédée avec qui je n'avais aucun lien de parenté. Cela semblait le meilleur moyen de conserver ce lieu chargé d'histoires dans mon patrimoine sans avoir à payer des frais de succession de 60% et permettait en même temps au vendeur de toucher chaque mois un revenu suffisant.
Tout allait bien et chaque mois, j'ai payé la mensualité prévue dans l'acte notarié.
Jusqu'au jour où le vendeur a été hospitalisé. Afin de conserver la ferme en état, j'ai décidé de la mettre en location. Je pensais que le vendeur serait le bailleur, puisqu'il disposait du droit d'usage de la ferme jusqu'à son décès. Le notaire qui avait rédigé le viager s'est proposé de rédiger le bail de location de la ferme, car je ne voulais surtout pas faire d'erreur. En plus, il m'a proposé de le réaliser gratuitement... Mais à ma grande surprise, le bail était rédigé à mon nom. J'ai fait part de ma surprise au notaire qui a insisté pour conserver cette rédaction. Le nom du vendeur de la ferme apparaissait bien dans le bail auquel il renonçait en échange du paiement de la rente mensuelle auquel je consacrais le paiement des loyers encaissés. C'est bien moi donc qui recevais les loyers.
Faisant confiance à mon notaire, je fis donc ainsi. Et je déclarais ces loyers sur ma déclaration de revenus annuels pendant plusieurs années.
Récemment, le vendeur étant décédé, j'ai reçu de l'administration fiscale une proposition de rectification particulièrement "salée". Les impôts ont considéré que le vendeur, en abandonnant ses loyers, m'avait fait une donation de son droit d'usage évalué selon le même barême que l'usufruit... Bref, avec les intérêts de retard à 0,4% par mois, le montant exigé est du même ordre que la totalité des loyers que j'ai encaissés.
Bien entendu, en encaissant les loyers, je n'avais pas imaginé que l'administration fiscale conclurait à une donation de l'usufruit. Je ne sais pas que penser de mon notaire qui, pour l'heure ne répond même pas à un message que je lui ai envoyé. Mais il me paraît évident que c'est son mauvais conseil qui est à l'origine de cette situation. D'autant que je l'avais mis moi-même en garde devant cette situation qui me parraissait étrange.
Quels sont les éventuels recours que j'ai contre ce notaire ?
Quels sont les avocats compétents dans ce genre d'affaire, en particulier en Franche Comté ?
Merci d'avance pour vos réponses.