Problème de résidence principale

Bonjour,
Mon père est décédé l'année dernière en nous laissant à mon frère et à mois une maison et des terrains situés à 1000 km de notre lieu de résidence (nous habitons dans la même ville).
D'un commun accord, nous avons décidé de conserver cette maison en indivision, le temps que mon frère prenne sa retraite dans quelques années. Nous déciderons alors de la destination de cette maison.
Cependant, trois semaines après le décès de notre père, mon frère m'annonçait avoir demandé sa mutation à proximité de la résidence. Iil a obtenu celle-ci et est muté le 1er septembre 2011.
Bien qu'il ait trouvé un appartement sur son nouveau lieu de travail, il compte se déclarer en résidence principale sur la maison familiale.
J'ai contacté le centre des impôts. Pour eux, cela n'a aucune importance, les ^taxes foncières étant prélevées des deux côtés.
MA QUESTION : A-t-il le droit de le faire sans mon consentement ? Si oui, peut-il y installer ses meubles, y faire venir une compagne, etc ... Quels sont mes droits dans ce cas là ? Je comptais venir y passer mes vacances trois ou quatre fois dans l'année. Puis-je demander à mon frère l'exclusivité de la maison lors de mes séjours ?
Je précise que mon frère (naîvement avec mon accord) a fait établir il y a quelques temps toutes les factures à SON NOM et qu'il détient les deux trousseaux de clés, sans vouloir m'en restituer un. Quelques mois après le décès de notre père, il a fait plusieurs aller-retour dans la maison, pour y "prélever" certains biens.
Je vous remercie pour les conseils précieux que vous pourriez m'indiquer.
Je voudrais éviter le plus possible faire appel à la justice pour faire valoir mes droits.