데이터 파이프라인에 장애가 발생했을 때 수행해야 하는 점검 사항
일반적으로 데이터 파이프라인에는 소스, 변환 및 대상이 있습니다. 먼저, 소스에 오류가 있는지 확인합니다. 둘째, 파이프라인에 구축된 변환에 오류가 있는지 확인합니다. 셋째, 타깃에 오류가 있는지 확인합니다. 또한 네트워크, 인증 및 메모리 시스템과 같은 파이프라인의 기본 인프라에 오류가 있는지 확인합니다.
What checks should be done when a data pipeline fails
Generally data pipelines have sources, transformations and targets. First, check for errors on sources. Second, check for errors on transformations built in pipeline. Third, check for errors on targets. Further, check for errors on underlying infrastructure of the pipeline such as network, authentication and memory systems.