Как объединить несколько матплат или ПК?
Да, можно! Например под линуксом.
1) Ставите рядом кучу плат.
2) Все платы соединяете через один коммутатор ethernet (желательно на 1Гб, лучше на 10Гб, а у нас по Infiniband)
3) Ставите оркестратор задач (здесь все зависит от того, что хотите, так что есть варианты), начиная от docker/lxc/kvm/kubernets/composer и заканчивая htcondor (и последний, и докер, и kvm, и lxc у нас прижились)
4) на все диски матплат можно натянуть CEPH, чтобы задачи мигрировали быстро и плавно.
5) Кластер готов!!!!
А я тоже брошу свой тапочек.. :)
Подобные проблемы очень хорошо объяснять на автомобилях:
Вот смотрите, был у вас МОПЕД, и была для него одна задача - ехать в соседний город. Допустим доезжали за 5 часов.
Потом появилась Тойота Камри, и путь стал занимать 2 часа. 
Круто, думаете вы! Куплю-ка я 8 Тойот и буду теперь доезжать за 15 минут! А для многофункциональности - еще куплю 2 карьерных самосвала и 4 экскаватора! И вот вы беретесь за дело - и перегоняете эту всю технику в соседний город, уходит четверо суток (возвращаясь обратно на попутках). Странно, думаете вы, а ведь мопед был намного быстрее!

Пока не поймете, как КОНРЕТНО ВАША задача делится на несколько исполнителей, и делится ли она вообще (9 женщин не могут выносить одного ребенка за 1 месяц) - нечего ставить себе абстрактные цели...