Reclamación comisión inmobiliaria comprador

Hola, vi una vivienda a través de una inmobiliaria la cual reservé y fuimos a firmar las arras. En el momento de la firma la parte vendedora se hechó atras por un malentendido que tuveron con la inmobiliaria por los muebles por lo que no se firmó.
El vendedor se pusó en contacto conmigo y me dijo que me lo vendía directamente a mí lo cual fue lo que hicimos.
Me ha llegado un burofax de la inmobiliaria reclamándome la comisión y poniendo en el burofax como el que me eché para atrás fui yo. No tengo documentos para demostrar lo que pasó, solo un par de whatsapps con la mujer de la inmobiliaria donde se puede intuir que algo pasó. ¿Qué debo hacer?