C# и OutOfmemoryExtension — как перейти на полноценные 64х?
Ну без кода сказать в чём конкретно проблема нельзя, но вот пара советов:

1. Убедись что Target platform у тебя x64 (Но вообще, если у тебя dotnet core, то он и так и так не будет упираться в 4гб)
2. Убедись, что где-то в недрах у тебя не выделяется массив более чем на int.MaxValue элементов (внутри словарей массив, если мне память не изменяет)
3. Убедись, что это ошибка именно из рантайма приходит, а не выкинуто где-то явно
4. Попробуй как-нибудь разделить свои данные, чтобы для их хранения не требовался непрерывный кусок памяти.
5. Если ты используешь net framework, а не net core, то тебе нужно в конфиге явно указать, что ты хочешь создавать объекты более 2гб размером.
https://docs.microsoft.com/en-us/dotnet/framework/...

VS2022 и так x64, да и даже если бы была х32, как в 2019 - это бы не повлияло на само приложение.
Ну и возьми dotMemory, чтобы продиагностировать проблемы в работе с памятью.
Фрагментация существует в самой памяти ОС, там вполне может не оказаться таких больших непрерывных блоков.
Чтобы убедиться в том что приложение 64-битное, надо смотреть флаги в его PE-заголовке. Или на худой конец в диспетчере задач, он подписывает 32-битные.
Тулза от людей из микрософт, которая показывала дефрагментацию оперативной памяти, там полный швах.