Как удалить класс у всех соседних элементов?
Делегируете обработку клика контейнеру.

Можно при клике искать элемент с нужным классом, снимать класс, устанавливать класс кликнутому. Типа так:

document.querySelector('nav').addEventListener('click', function(e) {
  if (e.target.classList.contains('sidebar-item')) {
    const selected = this.querySelector('.selected');
    if (selected) {
      selected.classList.remove('selected');
    }

    e.target.classList.add('selected');
  }
});
Или можно перебирать все элементы, переключая класс в зависимости от того, является ли текущий элемент кликнутым. Как-то так:

document.querySelector('nav').addEventListener('click', function({ target: t }) {
  if (t.classList.contains('sidebar-item')) {
    this.querySelectorAll('.sidebar-item').forEach(n => n.classList.toggle('selected', n === t));
  }
});
по клику на кнопке$('.sidebar-item').removeClass('selected');
$(this).addClass('selected');
БЕЗ jQ  ваш код (идея та же): var menuItems = document.getElementsByClassName("sidebar-item");
  for (var i = 0; i < menuItems.length; i++) {
            menuItems[i].addEventListener("click", function() { 
            var x = document.getElementsByClassName("sidebar-item");
            Array.prototype.forEach.call(x, function(el) {
            el.classList.remove("selected");
});
           this.classList.add('selected');
         });
  }