Pacs et Résidences fiscales différentes

Bonjour,

Mon ami et moi sommes tous les 2 propriétaires d'un appartement chacun.
Lui vit dans son appartement, et moi je passe mon temps entre son appartement et le mien car je ne peux pas mettre mon appartement en location car j'ai un Pret à Taux Zero à rembourser dessus (primo-accédant pour la résidence principale).

Du coup, légalement, je ne sais pas si on peut se pacser et surtout je ne sais pas si j'ai le droit de m'installer chez lui définitivement et de déclarer son adresse comme Résidence commune pour notre pacs et qu'elle devienne aussi mon adresse fiscale (quitte à laisser mon appartement vide en attendant de pouvoir rembourser le PTZ)

Merci par avance pour vos réponses

Camille