Mi ex pareja quiere quitarme a mi hijo

El padre de mi hijo y yo nos separamos porque el me fue infiel quisimos retomar la relación pero ya no funcionó la familia de el siempre se mete en la forma q educó a. Mi hijo el padre de mi hijo hace dos años se fue para otra ciudad y ahí reinicio su vida y tiene su pareja y hijos ahora el me dice que me quiere quitar a mi hijo porque yo tengo un amante y se lo quiere llevar a vivir con el mi hijo tiene 6 años y lo engaña fácilmente con juguetes es posible que yo pierda la costudia somos casados pero aún no nos hemos divorciado