сервитут

Возник спор с соседями. Мой участок обременет частным сервитутом в пользу соседей для ремонта их дома т.к. их дом стоит на меже наших участков. Но по фасадной части где наши участки заканчиваются у меня установлено наружнее ограждение - забор. Соседи требуют, чтобы мы убрали этот забор, но в таком случчае мой участок останется без части ограждения и у любого прохожено появится возможность заходить на мой участок. Правомерно ли требование соседей?