Résident etranger et vehicule immatriculé en France

Bonjour,

Je suis expatrié (dans l'UE) mais revient environ 2 mois/an en France, j'ai actuellement un véhicule immatriculé ici en Fr, mais j'ai fait échanger mon permis par le permis du pays où je réside la plupart du temps
Puis-je continuer à circuler en France? je lis par ci par là qu'on peut me forcer à changer mon permis pour un permis français (par exemple en cas de perte de points..) mais je ne peux pas passer mon temps à changer de permis entre les 2 pays! ,j'ai absolument besoin du permis dans mon pays de résidence (60kms de trajets /jour..)
D'avance merci de m'éclairer sur ces parties pas tres claires de la législation...