Где на Windows имеет смысл хранить приватные SSH-ключи?

Если по каким-то техническим причинам ключи нужно хранить именно в этой директории, значит объяснение этой причины будет зачётным ответом на этот вопрос.

Это стандартная директория, с которой работает openssh.
И вроде нет никаких способов её переназначить.
Аналогично и в других ОС.


2. Добирать до папки .ssh не очень удобно, да и смысл её имени неочевиден.

~/.ssh - это не очевидно?
В ней хранится всё что относится к ssh конкретного пользователя: ключи и доверенные хосты


1. Системный диск более уязвим по сравнению с второстепенным (ну или является приоритетной целью злоумышленников - должна же быть какая-то причина, по которой сохранять резервную копию системы на системный диск смысла не имеет).
Когда генеришь ключ - можно указать пароль, тогда злоумышленники ничего не смогут сделать с твоими ключами.

2. Добирать до папки .ssh не очень удобно, да и смысл её имени неочевиден.
Вкусовщина и непонимание используемых инструментов.
Добираться до неё нужно полтора раза в жизни, чтобы написать 
cat ~/.ssh/id_rsa.pub
Ввиду этой логики, я думаю что можно на диске `D` (или другом несистемном) создать папку `SSH Private Keys` (или даже по-русски - `Приватные ключи SSH`) и хранить их там. Единственное, при наличии нескольких пользователей необходимо ограничить доступ к этой папке.
Почему бы тогда программы устанавливать не в "C:\Program files", а в "D:\Все программы"?
Вот мне неочевидной кажется идея хранить публичные ключи в папке "D:\Приватные ключи SSH" тем более на русском языке.

Если боитесь, что при выходе диска из строя, вы потеряете ключи, то да - вы их потеряете.
Можете сделать резервные копии на несколько внешних носителей.
Хотя не вижу в этом большой проблемы - всегда можно сгенерить новые и прописать заново на серверах.
1. Системный диск более уязвим по сравнению с второстепенным (ну или является приоритетной целью злоумышленников - должна же быть какая-то причина, по которой сохранять резервную копию системы на системный диск смысла не имеет).
Хм, для злоумышленников приоритеной целью является не системный диск, а данные пользователя, и возможно его креденшелы. Они часто могут лежать на системном диске, но не обязательно.

должна же быть какая-то причина, по которой сохранять резервную копию системы на системный диск смысла не имеет
Ну извини, как бы ежу понятно что бэкап СИСТЕМЫ (с системного диска) лучше хранить на ДРУГОМ диске, а не на нем же. Причина как бы элементарна - не хранить все яйца в одной корзине.

2. Добирать до папки .ssh не очень удобно, да и смысл её имени неочевиден.
Абсолютно очевиден - домашний каталог пользователя, конфигурационная директория по соглашению *nix и openssl

Единственный другой вариант - если ты используешь отдельный диск с шифрованием, тогда ключи можно хранить на нем. А так - домашний каталог/.ssh отлично. И бэкапы делать не забывай