Plus-value résid. secondaire ou principale ?

Bonjour à tous,

J'aurais besoin de vos conseils éclairés pour savoir comment gérer une situation un peu compliquée !

Mon mari (qui ne l'était pas à l'époque) a acquis il y a 5 ans une maison en indivision avec un ami à lui, maison à retaper, dans l'idée d'y vivre en cohabitation. Ils l'ont payée 120000€ à l'époque.
Ils ont travaillé à la restaurer (donc sans facture quasiment, ils ont tout fait eux-mêmes), vécu dedans par périodes, puisqu'ils sont tous les deux marins, donc avec de longues plages d'absence.
Après avoir rencontré mon mari, j'ai quitté mon appartement lorsque je suis tombée enceinte, et suis venue habiter chez ses parents car la cohabitation avec son pote et moi enceinte paraissait peu opportune, et cela me permettait d'avoir un peu d'aide avec mon gnome.

Aujourd'hui nous sommes donc dans la situation où mon mari est propriétaire d'une moitié de maison à Oléron dans laquelle vivent son copropriétaire et sa copine en permanence, et lui-même par période, sachant qu'il passe beaucoup de temps avec moi chez ses parents.
Nous ne pouvons pas nous domicilier fiscalement à Oléron sous peine de ne plus pouvoir scolariser ou mettre à la cantine notre petit garçon de 3 ans ici, d'autant que nous nous sommes mariés entre temps.
Les factures de la maison d'Oléron sont essentiellement au nom de son copropriétaire par commodité, et prélevées sur un compte commun.
Nous souhaitons leur céder intégralement la maison, et vendre notre part à la copine du copropriétaire afin de racheter qqch intégralement à nous et clarifier notre situation.

Nous avons donc proposé un prix très bas pour leur rachat.
Seul problème, nous découvrons que nous pouvons payer une taxe importante sur la plus-value comme s'il s'agissait d'une résidence secondaire ?
Nous n'avons aucun autre bien, aucune location, l'hébergement chez ses parents, au départ une solution de dépannage, est à titre gratuit.
Pensez-vous que nous paierons la taxe en question ?
Comment faire, sachant qu'à l'heure actuelle payer cette taxe correspondrait pour nous à juste récupérer ce que nous a coûté la maison si nous la vendons au tarif que nous avions proposé...

Merci de votre aide !!