No hice convenio regulador ni nada, ¿se puede retirar patria potestad o algo?

Mi hija tiene para 16 años y desde que tenía 2 dejó de tener contacto con su padre, nunca se ha interesado en ella y yo nunca he reclamado nada. Ella tiene una discapacidad psicomotriz. Lo cierto es que a la hora de solicitar pensiones y demás me piden documentos de él y es imposible ya que no hay ningún tipo de relación ni nada. Hace dos años más o menos intente a través de un abogado de oficio retirar la patria potestad pero el fiscal no estaba de acuerdo e iba establecer régimen de visita y manutención y yo no quiero eso ya que su entorno familiar no es el apropiado y mi hija está en una edad muy difícil y con la discapacidad pues aun mas ella no sabe nada de esa persona y tampoco quiero que pase por esa situación estoy desesperada no se qué vía coger y necesito arreglar la situación porque a la hora de tramitar cosas no puedo a ver si me podéis dar alguna solución gracias