He comprado una vivienda con la hipoteca sin levantar

Hola, he comprado una vivienda y he firmado ante notario que la vivienda está libre de cargos . Ahora después de dos años de firmar las escrituras, mi banco me comunica que la hipoteca del anterior propietario no está levantada.
Los trámites de la compra la hice a través de mi banco. Ellos se han puesto en contacto con el vendedor, enviándole un burofax incluso, y la respuesta ha sido que no va ha levantar la hipoteca.
El banco y el gestor que se encargo de todos los trámites para la compra no se quieren responsabilizar de su herror.
Qué debo hacer?
Gracias por dedicarme su tiempo.
Saludos