Vendre ma résidence secondaire

Bonjour,
Je souhaite vendre ma résidence secondaire (grange achetée en octobre 2002, 13.720 €) ; ma résidence principale se trouvant en Guadeloupe.
Cette grange n'était pas habitable en l'état, moyennant un permis de construire, nous avons réalisé pour 50.000 euros de travaux faits par nous-mêmes (mon mari et moi). Les factures correspondent au prix des matériaux.
Contacté la semaine dernière, un notaire] de Rivesaltes me dit que lors de la vente, nous ne pourrons pas déduire les travaux... même avec un permis de construire...
Alors que l'année dernière, j'avais contacté un autre notaire (hors département) qui m'avait dit :
"Résidence secondaire avec permis de construire, déduction totale des travaux faits par vous-mêmes ; Attention : sans permis de construire : aucune déduction car c'est de la rénovation"...
Qui dit la vérité ? Je n'arrive pas à trouver la réponse sur Internet.
Sans déductions de travaux, je suppose que la plus-value sera dissuasive...
Merci pour votre réponse. Cordialement,