Как эффективнее реализовать программу, выполняющую действия над математическими матрицами?
Я бы для начала удостоверился в том, что существующие библиотеки линейной алгебры вам не подходят.
Если поиграться, то для начала влоб и побольше абстракций.
Если для дела, то курить www.netlib.org/lapack и аналоги