Vente d'un bien familial en nu-propriété

Bonjour,

Depuis le décès de notre père, mon frère et moi sommes nu-propriétaires à la hauteur de 1/4 chacun de la résidence familiale. Notre mère en possède les 50 autres % et en a l'usufruit. Compte tenu de l'état de santé de notre mère qui est en fin de vie, mon frère est devenu son tuteur légal et d'un commun accord nous avons décidé de vendre ce bien afin de faire face aux frais d'hébergement de l'EPAD où est hospitalisée notre mère.
Lors de la signature du compromis de vente, le notaire nous a informé que nous étions assujettis à l'impôt sur les plus-values au titre des résidences secondaires. En ce sens je souhaiterais savoir ce qu'il en est exactement, sachant que bien entendu nous n'avons jamais résidé en aucune manière dans ce que nous considérions comme le domicile de notre mère sans autre ambiguïté. Merci de bien vouloir m'aider et surtout m'éclaire sur ce sujet un peu pénible à traiter.