Spark는 클러스터를 얼마나 크게 확장할 수 있나요?
많은 조직에서 수천 개의 노드로 구성된 클러스터에서 Spark를 실행합니다. 저희가 알고 있는 가장 큰 클러스터에는 8천 개의 노드가 있습니다. 데이터 크기 측면에서 Spark는 최대 페타바이트까지 잘 작동하는 것으로 나타났습니다. 100TB의 데이터를 1/10의 머신에서 Hadoop MapReduce보다 3배 빠르게 정렬하는 데 사용되어 2014 Daytona GraySort 벤치마크에서 우승했으며, 1PB를 정렬하는 데도 사용되었습니다. 여러 프로덕션 워크로드에서 Spark를 사용해 PB 단위의 데이터에 대한 ETL 및 데이터 분석을 수행하고 있습니다.
How large a cluster can Spark scale to?
Many organizations run Spark on clusters of thousands of nodes. The largest cluster we know has 8000 of them. In terms of data size, Spark has been shown to work well up to petabytes. It has been used to sort 100 TB of data 3X faster than Hadoop MapReduce on 1/10th of the machines, winning the 2014 Daytona GraySort Benchmark, as well as to sort 1 PB. Several production workloads use Spark to do ETL and data analysis on PBs of data.