Me pueden quitar la custodia de mi hija si la mama regreso después de 4 años

Buenas noches mi caso es el siguiente soy el padre de una niña tuve problemas con mi ex pareja por discusiones Peleas etc ya la relación se habla caído por faltas de nos dos y mientras yo trabaja ella se me llevo a escondidas a la niña a otra ciudad sin disputar la custodia de la niña despues de habérsela llevado me toco presentarme en la ciudad de palmira valle a comisaria de familia ya que me había demandado y halla llegamos a un acuerdo y esos días me tocaba regresarme a la isla y me traje conmigo a la niña ya que ese mes me tocaba estar con ella acá pero en esos días que estuve acá con mi hija me entere por un propio familiar de ella que ella le habla comentado de que tenia pensado en dejar a la niña donde un familiar de ella y ella irse a vivir a otro lado y a raíz de eso acudí al bienestar familiar para poner el caso y pedir la custodia de la niña el bienestar familiar le hizo una citación a la mamá a presentarse acá a la isla dos veces y no se presento y después la contactaron en la ciudad de palmira y le hicieron la visita y llegaron a la conclusión de que ella no era acta de tener a la niña y me otorgaron la custodia compartida a la mamá le toca estar con la niña las vacaciones de junio y diciembre y a mi los demás meses y pues desde entonces e sacado adelante a la niña ya hacen 4 años y la mamá de palmira valle cogió para Perú y entre veces le hacia videollamada a la niña y pocas veces le mandaba algo a la niña por que yo le decía que le mandara algo a su hija ahora decidio regresar a la isla Despues de 4 añosy veo que quieres pelear la custodia de la niña por que ella es la mamá y tengo miedo que ahora le otorguen la custodia a ella ya que ella vive en un hogar mas cómodo y mejor del que vivo yo y yo lo e dado todo por sacar a la niña adelante y tengo miedo de que me la quite ¿que debo hacer? Gracias