El papa de mi hija amenaza con quitármela, ¿puede hacerlo?

Hola, tengo una duda enorme. Hace casi ya dos años me separé del padre de mi hija y llegamos a un acuerdo de que él vería a la niña todos los fines de semana, se la llevaba el viernes en la tarde, y me la regresaba los domingos en la noche, y los gastos eran en partes iguales. Últimamente él me amenaza con quitármela porque no he podido cubrir la mitad de un pago que tenemos juntos y tengo miedo, ya que mañana él va a venir por ella y no quiero dejarla ir porque temo que no me regrese, ¿pueden orientarme por favor? No sé qué hacer.