Стоит ли покупать новый роутер?
Wi-Fi всегда лучше тестировать в реальных условиях. Попросите у кого-нибудь из знакомых нормальный роутер, если есть возможность. А так, из описания ничего не понятно, даже то, 37 - это хорошо или плохо?
На расстоянии 5-6 метров и одной стены я получаю примерно 37 Mbps на загрузку и столько же на отдачу
Это хорошая скорость для ваших условий. Если хотите повысить её - купите ещё один роутер и поставьте его в режиме точки доступа в целевую комнату, подключив к основному кабелем. Ещё просканьте inssider-ом соседние сети и выберите наименее загруженный канал.