El papá de mis hijos me los quiere quitar

Hace 6 meses me separé, estoy en proceso de divorcio, ya hay demanda por pensión alimenticia para mis hijos a lo cual mi ex está molesto por qué le estamos quitando de su dinero, yo tengo amistades a muchas veces me ayudan con cosas para la casa ya sea hombres y mujeres los cuales an entrado a mi domicilio.. no a tomar ni nada malo, pero eso el papá de mis hijos lo toma a mal y una vez entro sin mi permiso y reviso mi celular y saco unas conversaciones con un "amigo" y ahora dice q me va a quitar a mis hijos con esas pruebas, ya que para el no puedo tener ninguna amistad ni buena ni mala,xq debo a unas personas y de lo poco q yo gano es como pago mi deuda, mi pregunta es: si me los puede quitar?? Cabe mencionar que existe un acta levantada en su contra hace algunos años de violencia hacia mi, yo trabajo casi todo el día pero estoy con ellos y al pendiente de ellos para todo