Limites à un arrangement financier propriétaire - locataire

Bonjour,

Je suis propriétaire d'un appartement mis en location (non meublé) en 2017 pour cause de départ à l'étranger. Comme je projette un retour cette année, j'ai fait savoir à mes locataires (via l'agence en gestion) que je souhaitais mettre fin au bail, pour cause de reprise de l'appartement. Je ne détaille pas le comment, c'est le boulot de l'agence de gérer en vertu de la loi.

Le bail court jusqu'au 30 novembre 2020. Or, il m'intéresse pour des raisons pratique de pouvoir récupérer l'appartement plus tôt. Je comprend tout à fait que le locataire est en droit d'attendre jusqu'au 30 novembre pour libérer l'appartement, et je respecte ce droit. J'ai suffisamment loué d'appartements avant d'acheter pour savoir qu'un déménagement ne tombe que très rarement bien dans le déroulé de la vie quotidienne, qui plus est imposé de l'extérieur.
Maintenant, j'ai compris qu'il était possible de conclure un arrangement financier qui serait dans l'intérêt des deux parties.

Par exemple, offrir deux/trois mois de loyer (grosso modo l'équivalent des frais d'agence pour la recherche d'un nouvel appartement, et des frais de déménagement) si le locataire accepte d'organiser son départ pour juillet.

Ma question est la suivante : y a-t-il un cadre légal limitant ce genre d'arrangement, peut-être particulièrement d'un point de vue fiscal ?

Merci d'avance pour vos réponses éclairées.