Какой из циклов самый «Шустрый»?
Есть книга - "Оптимизация приложений на платформе .NET с использованием языка C#".
Просто сделать быстрее чем вы уже делаете без знания подробностей сложно.
Попробуй использовать структуру вместо класса.