Calcul de l'impot de la plus-value

Bonjour,
Le 15.01.2001 j'ai acheté avec mon ex conjoint un appartement au prix de 79273 € qui était notre résidence principal.
Le 12.06.2006, suite à notre séparation, j'ai racheté en pleine propriété ses parts.
Nous nous sommes entendus sur un prix de 160000€, (résidence principale), ce qui a fait une plus-value non imposable de 80727€ à divisé à 2 puisque nous avions acheté ce bien à 50% soit 40363€ chacun.
Jusqu’en Mars 2010 l'appartement était ma résidence principale, puis est devenue une résidence secondaire jusqu’à aujourd’hui.

Actuellement, je vends cet appartement vide et non loué. Le compromis de vente est signé le 13.06.2016 au prix de 181000€.

Je rencontre une difficulté puisque mon notaire me calcule l'impôt sur la plus-value sur la totalité de la plus-value réalisée avec mon conjoint en 2006 soit 80727€ et pas seulement sur la part que j'ai perçu soit 40363€. Dans le formulaire de déclaration, il ne tient absolument pas compte du partage en 2006 !! Je paye donc de l'impôt sur une somme que je n'ai pas perçu !!!

Je m'interroge si légalement cette façon de calculer est la bonne ?
Pouvez-vous m'éclaircir sur ce point ?
Par avance je vous en remercie.