¿Podría perder la custodia de mi hija por consumir marihuana eventualmente?

Buenas, tengo un problema tengo una hija de 2 años con mi ex pareja nos separamos hace unos 2 meses desde que se fue me dejo a nuestra hija conmigo alegando que ella no podía ni tiene como mantenerla en su casa, ahora vienen mas conflictos por que ella se quiere ir del país y llevarse la niña a juro y yo no quiero que mi hija se vaya ya que nunca le ha faltado nada conmigo, yo trabajo y tengo mi propia casa y mi niña esta contenta y jamas he fumado en presencia de mi hija ni me ha visto, ni ha tenido nada que ver con ello pero soy fumador ocasional, cada 2 semanas y así fumo estando sin mi hija por supuesto, y se que la mama se guindara por allí para quitarme la custodia de la niña ya que ahora viene a querer llevársela después que la dejo conmigo. Mi hija siempre ha estado bien en un ambiente familiar ya que la cuida mi madre que vive en la casa que queda al lado de la mía mientras yo trabajo. Quisiera saber que probabilidades tengo y como podrían ayudarme.