¿ como podría renunciar a las visitas a mi hijo ?

Buenos días, hace ya un tiempo que llevo planteándome esta posibilidad. La madre de mi hijo y yo firmamos un convenio en el cual ella tiene la patria potestad y yo, al vivir en otra comunidad tengo las visitas de un día cada dos semanas. ( Sábado o Domingo )
Prácticamente he cumplido todas las visitas ( mínimo he ido una vez al mes) y las veces que no he podido ir han sido algunas por imposibilidad mia o por cambios de última hora de mi hijo/madre.
La cuestión es que el comportamiento del niño ( 11 años ) ya está siendo muy violento, con faltas de respeto e insultos hacia mí por su parte.
Yo no me niego a pagar y lo haré hasta que lo
necesite, pero estoy en una situación en la que todo esto ya no me compensa. Un saludo y gracias.