El casero no me devuelve la fianza

Buenas tardes. Mi caso es el siguiente: Alquilé una vivienda de tres habitaciones con una conocida el pasado día 01 de Julio. Pasados 12 días, debido a unas importantes diferencias a título personal con esta conocida, decido notificar al propietario que me marcho de la vivienda lo antes posible. Dicha conocida, fumaba cannabis y pretendía arrendar la tercera habitación en la vivienda, a lo cual yo me oponía y estaba prohibido bajo contrato. El propietario me dice, a regañadientes, que no me preocupe, que se encuentra de vacaciones y que le deje la copia de mis llaves al portero de la finca, que él me devuelve la fianza. Por otra parte, dicha conocida me dice que el propietario le ha dicho que puede ocupar mi habitación una amiga suya, que ella me paga mi parte proporcional del mes pagado por adelantado y la fianza. Yo informo al propietario e insiste en que le deje las llaves al portero. Que en cuanto llegue lo soluciona conmigo, que ya verá lo que hace con la otra parte arrendataria. Yo confío en él, limpio todo el piso, hago fotos, recojo mis cosas y me marcho el día 16 de julio. Llamo al portero para que me firme una nota, redactada por mí, certificando que le dejo mis dos copias de llaves y el piso en mejores condiciones de las que me lo encontré. La otra parte arrendataria se queda en el piso. Pasa el tiempo y el propietario me va dando largas. Pasados 10 días le pregunto si la otra parte arrendataria continúa en el piso y me dice que no sabe, que ya me llamará. Insiste en que no me preocupe, que me devuelve la fianza. La cuestión es que no rescinde el contrato, cosa que yo le pido desde que me marcho de la vivienda voluntariamente. Hablo con él el día 30 de Julio y me dice que quedamos el viernes 31 de Julio para rescindir el contrato, pero no me llama ni coge el teléfono. A día 04 de Agosto, re coge el teléfono y comienza a insultarme, que si soy tonto, que si porqué alquilo con una desconocida, que si le estropeé sus vacaciones. Cambia de actitud totalmente y me dice que no me devuelve nada. Ni resto del mes, cosa que yo mismo le ofrecí voluntariamente por las molestias, ni la fianza. Lo peor de todo es que no quiere quedar conmigo para rescindir el contrato, alegando que está otra vez de vacaciones. No sé quién está en el piso. La persona que está podría hacer cualquier ilegalidad o destrozo y yo sigo como titular en el contrato. Tengo un contrato de arrendamiento en otra vivienda desde el días 16 de Julio, el mismo día que dejé voluntariamente el piso en cuestión. ¿Qué puedo hacer? Yo le dejé las llaves porque él me dijo que lo solucionaba amistosamente conmigo. Ahora me insulta y se niega incluso a rescindir el contrato, pese a no estar en la vivienda desde el pasado 16 de Julio. Que cuando le de la gana y vuelva, me llamará, pero que no le da la gana cumplir el pacto verbal que realizó conmigo para que le entregase las llaves al portero. Me siento desprotegido totalmente y me está acarreando problemas de salud. Mi parte proporcional de fianza es de 425 euros. ¿Puedo hacer algo? Tengo pruebas argumentales. Gracias.