Bail avec deux noms

Bonjour, je vis avec mon ami depuis plusieurs années, nous avons pris en location une maison, le bail est au deux noms et mon père c'est porter caution, mon ami paye le loyer et moi les charges d'à coté il veut que je parte il m'a menacé d'aller à l'agence immobilière pour enlever mon nom du baille ainsi que celui de mon père a t il le droit de faire cela sans mon accord?
En vous remerciant d'avance pour vos réponses