Droits parent veuf vis a vis des ex beaux parents

Bonjour,
Je suis papa d'un petit garçon de 6 ans dont la maman est décédée il y a 4 ans. J'ai depuis rencontré quelqu'un avec qui j'ai refais ma vie, mais elle n'est pas acceptée par mes ex beaux-parents qui la voient comme une "voleuse d'enfant" malgré sa volonté initiale d'avoir de bonnes relations avec eux.
Depuis, les relations sont exécrables et créent des tensions au sein de notre couple lorsque je laisse mon fils un peu à ses grands parents, qui m'ont menacé du juge et d'un avocat au cas ou je ne permettrais pas qu'ils voient leur petit fils.
J'estime néanmoins qu'ils ont le droit de le voir car lui aussi les réclame de temps en temps, mais je me sens menacé dans mon couple par leurs exigences et leurs menaces.
Quels sont leurs droits réels et que peuvent ils faire au niveau de la loi pour me causer des ennuis ?
Merci de vos réponses