Quitarle la patria potestad a un padre

Mi exmarido está condenado por maltratador pero la juez le dejó ver a los nenes, en dos años los ha visto 2 veces. No pasa la pensión, consume drogas y alcohol y conduce bajo sus efectos, llama cuando quiere y mi hija me ha contado que en el pueblo lo ha visto borracho y tiene 7 años y el pequeño lo ha visto fumando hachís y lo cuenta como si nada... ¿cómo puedo hacer para que le quiten la patria? ¿Podría llevar a los nenes a un médico psiquiatra forense para que los valorara? Y a él hacerle unas pruebas de drogas, me da mucho miedo... es lo único que tengo, mi madre falleció y me da mucho miedo que se vayan con él.