Mi ex es drogadicto, me puede quitar a mi hijo?

Tengo un hijo de casi dos años y desde que nació no vivía con su padre, hasta el año y meses me junté a casa con sus padres pero no duré ni 4 meses porque se droga con marihuana, teníamos problemas por ello y psicológicamente me maltrata, llegaba del trabajo y nos dejaba para irse con sus amigos. Y me separé. Tengo miedo de que me quite a mi hijo