¿Qué posibilidad tiene mi ex pareja de quitarme la custodia de mi hijo?

Nos separamos hace 2 años, por violencia de género (por miedo a cuando él salga retire la denuncia) estoy viviendo con mi hijo, en estos dos años el padre no se preocupó de nada, el peque de 6 años fue un gran prematuro y tiene mucho seguimiento médico que el padre nunca se preocupó, está en el cole y allí tampoco se preocupó de ir a ver cómo va (en el cole le hace falta mucho apoyo, que se lo conseguí), no me pagó nunca manutención, el divorcio y la custodia está por llegar, pero tengo miedo de quitarme el peque porque yo ahora no estoy trabajando y él tiene una pensión de 600€ (tenemos 30 año de diferencia de edad), por favor ¿me puede decir si me puede quitar el niño por eso? Gracias.