Откуда неадекватный размер ext4.vhdx?
Разобрался. Пишу тут для тех, кто столкнется с той же проблемой. 

Решение для очистки в Docker Desktop. 
1. Устанавливаем libguestfs-tools в wsl.
2. sudo mkdir -p /mnt/wsl
3. sudo guestmount -o allow_other --add mnt/c/Users/username/путь_к_/ext4.vhdx -i /mnt/wsl
4. Чистим лишнее в /mnt/wsl
5. После этого из винды уже запустить
wsl --shutdown
optimize-vhd -Path путь_к_\ext4.vhdx -Mode full
Есть еще один способ уменьшить размер этого файла.
1. зайти в Docker Desktop 
2. нажать на Troubleshoot (сверху справа жучок такой)
3. Там выбрать Clean / Purge data
4. и среди вариантов выбрать WSL 2

У меня после этого действия ext4.vhdx  уменьшился с 34 гигов до 1,1 гб.

До этого я, правда, снесла все контейнеры и образы, какие там были, т.к. надеялась, что это даст результат, но память как была занята этим файлом, так и оставалась.