servidumbre de paso

Hace tres años compramos una finca libre de cargas. Uno de los vecinos lleva más de veinte años usando este camino, por comodidad, pues tiene acceso directo e inmediato desde el mismo camino público. Nuestra actual intención es la de vallar la finca dado que ha sido transformada en finca agrícola y plantada en su totalidad.
El vecino nos muestra un documento en el que él y los anteriores propietarios acuerdan el uso de dicho paso a cambio de facilitar el mantenimiento de una línea eléctrica de nuestra propiedad que pasaba por su finca. En la actualidad dicha línea ha sido reconducida por nuestro terreno.
Quisiera saber si se puede revocar el paso dado que nos genera un enorme perjuicio al no poder plantar en el tramo del camino ni arar convenientemente; amén de la inseguridad para nuestro cultivo.