Exonération de taxe sur plus-value résidence secondaire

Bonjour,
Je suis propriétaire depuis février 2018 d'un appartement qui a été ma résidence principale durant 1 année. Je l'ai ensuite mis en location depuis 1 an et 2 mois aujourd'hui.
Je suis actuellement locataire de ma résidence principale et souhaiterais faire l'acquisition d'un nouveau bien pour résidence principale et vendre mon appartement pour financer ce bien.

La loi stipule que pour être exonéré des taxes sur la vente d'une résidence secondaire :
- Il doit s'agir de la première vente d'une résidence secondaire
- Il faut réemployer la plus value dans l'achat de la nouvelle résidence principale
- Il ne faut pas avoir été propriétaire de sa résidence principale durant les 4 dernières années

Le dernier point m'interroge et me pose quelques difficultés. Je ne suis pas aujourd'hui propriétaire de ma résidence principale, mais je l'ai été avec mon appartement en 2018 que je souhaite aujourd'hui mettre en vente. Mon notaire me dit que je ne suis pas éligible à l'exonération mais je trouve cela aberrant car si je n'avais jamais habité cet appartement j'aurais pu en bénéficier! Est-ce bien le cas ? Est-ce possible de négocier une exonération avec le fisc pour mon cas?

Merci pour vos réponses