Как решить проблему в Ruby?
Поставьте виртуалку/дуалбут с убунтой и будет вам счастье.
При разработке на Windows вы отгребете кучу проблем которе можно было бы избежать.
Просто установи WSL на Windows 10, затем выбери дистр. Ubuntu (он попроще для новичков).
Затем открыв консоль Ubuntu (из под Винды)sudo apt install ruby sqlite3 libsqlite3-dev
sudo gem install sqlite3-ruby
В общем, требует войти в мир Линукса. Но это самый верный путь.
Если хочешь трудный путь, то устанавливай все зависимости для разработки в Windows. DevKit для начала.