Changement de résidence principale

Bonjour,

Nous avons le projet de vendre notre résidence secondaire dans quelques années.

Un agent immobilier nous informe que nous pourrions la transformer en résidence principale (elle est située non loin de notre actuelle résidence principale actuelle) pour éviter la taxe sur la plus-value !

Que risquons nous si, après la vente, nous "déménageons" de nouveau vers notre ancienne résidence principale devenue secondaire pour quelques années ?