¿Puede un padre irresponsable llevarse a su hijo de tres años?

Hola, mi caso es el siguiente: tengo una hija de 26 años y tiene un niño de tres. Viven los dos en mi casa. Ella tiene una relación tormentosa con el padre del niño. Él es un irresponsable, da el dinero que quiere, no quiere pagar ropa, uniforme, etc. y cuando mi hija se queja la amenaza con llevarse al niño. Si quiere viene a verle y si no, no. En fin, nos tiene a todos en un sin vivir.

¿Me podrían aconsejar? Gracias