От чего зависит корреляция в выпадении случайных чисел?
То, что вы называете корреляцией, лучше назвать разбросом. 
Распределение случайной величины "число появления единиц" описывается биномиальным распределением.
Математическое ожидание такой величины равно n*p, в вашем случае n=10000, p=0.5, получается в среднем единица будет появляться 5000 раз в серии из 10000 испытаний.
Разброс можно оценить, посчитав среднеквадратичное отклонение. Для биномиального распределения оно равно sqrt(n*p*(1-p)), для вашего случая получается 50. Правило трех сигм в данном случае должно действовать, поэтому с вероятностью 68% среднее значение величины "число появления единиц" будет отличаться от 5000 не более, чем на 50, и с вероятностью 99% не более, чем на 150. Это согласуется с числами, которые вы получили в вашем эксперименте.
Всё это объясняется тем, что rand возвращает не случайное число, а псевдослучайное. в РНР реализован один из генераторов псевдослучайных чисел(ГПСЧ). А желаемое поведение свойственно настоящим случайным числам.
Простейший игрушечный ГПСЧ может выглядеть так var next = 0;
for(;;){ 
    next = (next*9 + 3) % 256; 
}
в next будет каждый раз число, которое непросто предсказать, не зная алгоритм.