좁은 변환과 넓은 변환의 차이점은 무엇인가요?
+ 좁은 변환: 좁은 변환에서는 단일 파티션의 레코드를 계산하는 데 필요한 모든 요소가 상위 RDD의 단일 파티션에 있습니다. 예: 선택, 필터, 유니온,
+ 넓은 변환: 와이드 변환에서는 단일 파티션의 레코드를 계산하는 데 필요한 모든 요소가 상위 RDD의 여러 파티션에 있을 수 있습니다. 파티션은 상위 RDD의 여러 파티션에 존재할 수 있습니다. 네트워크 셔플을 포함하며 여러 단계로 분할됩니다. 예: 그룹별, 파티션 재분할, 정렬
What is the difference between a Narrow Transformation and Wide Transformation
+ Narrow Transformation: In Narrow transformation, all the elements that are required to compute the records in single partition live in the single partition of parent RDD. Ex:- Select, Filter, Union,
+ Wide Transformation: Wide transformation, all the elements that are required to compute the records in the single partition may live in many partitions of parent RDD. The partition may live in many partitions of parent RDD. Involves a network shuffle and are split between stages. Ex:- GroupBy, Repartition, Sorts