Echange maison HLM contre F3 HLM

Bonjour à tous
ma femme notre enfant et moi désirons échanger notre appartement F3 contre une maison à une dame qui vie seule avec sa fille dans la même résidence que nous et avec le même bailleur
Elle paye trop chère de loyer et le notre serais dans son budget.
Peut-on échanger notre contrat de location via courrier au bailleur.
Que pouvons nous faire légalement car a peur de faire la demande à notre organisme si il refuse l'échange.

merci de nous apporter les solutions les plus fiables
Cordialement
Alain