Какой из дистрибутивов выбрать для вычислительного кластера?
У нас так устроено:
 - стоит RHEL 6.4 и CentOS 6.4
 - есть сервера с Ubuntu 14.04
 - сеть ethernet 1Gb/10Gb + infiniband FDR/QDR (20/40Gb)
ПО:
- glusterfs на нескольких серверах (для файлопомойки и хомов), отдается по NFS (в основном по IB, но есть клиенты и по 1Gb)
- openldap + kerberos для логинов/паролей и SSO
- сами вычисления основаны на разных библиотеках от OpenMPI до частнофирменных решений.
- развернут Sun Grid Engine для автоматизации задач на кластере
В общем выводы:
1) отдельная сеть под внутренние вычисления 1/10Gb (infiniband)
2) отдельная сеть на доступ ethernet 1/10Gb
3) общая файлопомойка на обе сети
4) SSO на основе kerberos
 Ну и по хорошему, что на кластере запускать - всё равно, лишь бы под задачу подходило...
IMHO, в наше время подорожания энергоресурсов, собирать кластер из хлама нецелесообразно.
Разве что для тестов и обучения.
Новое железо имеет на порядок лучшее соотношение гигафлопсов на ватт, особенно с ускорителями.