Нужно ли использовать структуры в C#?
вы должны получить не процент (именно незначительный прирост если он вообще будет, в чем я лично сомневаюсь) от производительности а удобства при разработке и поддержке приложения.
Не факт, что получите прирост производительности. Многое зависит от операций над листом. У структур по умолчанию медленное сравнение (привет рефлексии), например. Если вам придется много перемещать ваши объекты, тоже преимущество за классами (привет ссылочным типам). 
Информация к размышлению: при работе с LINQ часто используются анонимные типы; они как раз наследуют от class.
И вдогонку, есть правило: никогда не используйте структуры, если четко не знаете, зачем оно вам надо.