Как подружить VS Code + Remote SSH + WSL?
Ваша проблема в том, то Вы абсолютно не понимаете как работает WSL. Давайте немного объясню.

Начиная с WSL2 подсистема Linux крутится в полноценной виртуальной машине. И винда кстати тоже. Это работает следующим образом: когда Вы запускаете свой компьютер первой загружается на самом деле не винда, а гипервизор HyperV. Для пользователя происходит все прозрачно, так как HyperV настроен сразу запускать 2 виртуальные машины - с виндой и с линем. В машину с виндой HyperV сразу прокидывает все Ваши устройства (видеокарту, USB и прочее). Так же HyperV поднимает виртуальную сеть между этими двумя виртуалками. В машине с линем еще не Ваша Ubuntu, там легковесная ОС состоящая только из ядра и оркестратора LXC контейнерами (с ней кстати можно по взаимодействовать по сети, как это делает Docker Desktop например, ну или утилита wsl.exe). Ваша Ubuntu запускается в контейнере, так попросту быстрее ее запускать и останавливать, ибо ядро всегда висит в памяти. Опционально в линь монтируются папки (диски) из винды, делается это посредством патча ядра Linux от Microsoft. Обратный доступ предоставляется из винды посредством сетевого ресурса wsl$.
Главное что тут стоит понять - винда и линь в WSL по сути работают на разных компах, пусть и виртуальных.

Теперь ответьте на вопрос, на каком из этих компов работает Ваш VSCode?
Правильный ответ на винде. А значит и взаимодействовать он будет с виндой. И искать ключи для подключения к ssh будет в домашней папке юзера в винде.

Можете просто скопировать ключи из линя на винду и все заработает.
Помогло следующее:

 Создать ключ на локалке
ssh-keygen

Добавить открытый ключ на сервер в файл authorized_keys
cat ~/.ssh/id_rsa_vscodessh.pub | ssh username@hostname "umask 077; mkdir ~/.ssh; cat >> ~/.ssh/authorized_keys"

Если папка .ssh уже создана, то терминал покажет ошибку, но открытый ключ в authorized_keys добавит.

Вход на сервер без ключа
что бы зайти на сервер по ssh без пароля нужно ввести 
ssh -i ~/.ssh/id_rsa_vscodessh username@hostname



Источник: https://youtu.be/py6Km38tJBc