Spark를 사용하려면 데이터가 메모리에 꼭 맞아야 하나요?
아니요. Spark의 연산자는 메모리에 맞지 않는 데이터를 디스크에 유출하여 어떤 크기의 데이터에서도 잘 실행될 수 있도록 합니다. 마찬가지로 메모리에 맞지 않는 캐시된 데이터 세트는 RDD의 스토리지 수준에 따라 디스크에 유출되거나 필요할 때 즉석에서 재계산됩니다.
Does my data need to fit in memory to use Spark?
No. Spark's operators spill data to disk if it does not fit in memory, allowing it to run well on any sized data. Likewise, cached datasets that do not fit in memory are either spilled to disk or recomputed on the fly when needed, as determined by the RDD's storage level.