Amenaza con llevarse a mi hija si se va de la casa

Mi pareja solo estamos juntos por el nacimiento de mi bebé, pero cada que dice que si se va de la casa de mis padres se llevará a mi hija. Él es trabajador, me da lo que necesito para nutrirme, trabaja de 12 horas a más en un taller, pero se queja de que no tengo la casa hecha y me la paso con mi niña ya que dice que no hago nada. ¿Qué puedo hacer?, Es mucho para mí emocionalmente, desde que estaba embarazada era lo mismo, ya que tuve embarazo de riesgo