스파크 스트리밍과 스파크 구조화 스트리밍의 차이점은 무엇인가요? 무엇을 사용해야 하나요?
스파크 스트리밍은 이전 세대의 스파크 스트리밍 엔진입니다. 스파크 스트리밍은 더 이상 업데이트되지 않으며 레거시 프로젝트입니다. 스파크 스트리밍은 연속적인 데이터 스트림을 나타내는 이산 스트림 또는 DStream이라는 높은 수준의 추상화를 제공합니다. 내부적으로 DStream은 일련의 RDD로 표현됩니다.

Spark Structured Streaming은 더 풍부한 기능, 사용 편의성, 확장성을 갖춘 현세대 Spark 스트리밍 엔진입니다. Spark Structured Streaming은 Spark SQL 엔진을 기반으로 구축되었으며, 정적 데이터에 대한 일괄 계산을 표현하는 것과 동일한 방식으로 스트리밍 계산을 표현할 수 있습니다.

Spark로 스트리밍 애플리케이션 및 파이프라인을 구축하려면 Spark Structured Streaming을 사용해야 합니다. 기존 애플리케이션과 파이프라인이 Spark Streaming에 구축되어 있는 경우, 이를 Spark Structured Streaming으로 마이그레이션해야 합니다.
What’s the difference between Spark Streaming and Spark Structured Streaming? What should I use?
Spark Streaming is the previous generation of Spark’s streaming engine. There are no longer updates to Spark Streaming and it’s a legacy project. Spark Streaming provides a high-level abstraction called discretized stream or DStream, which represents a continuous stream of data. Internally, a DStream is represented as a sequence of RDDs.

Spark Structured Streaming is the current generation of Spark’s streaming engine, which is richer in functionality, easier to use, and more scalable. Spark Structured Streaming is built on top of the Spark SQL engine and enables you to express streaming computation the same way you express a batch computation on static data.

You should use Spark Structured Streaming for building streaming applications and pipelines with Spark. If you have legacy applications and pipelines built on Spark Streaming, you should migrate them to Spark Structured Streaming.