데이터 엔지니어링은 데이터 과학과 어떻게 다른가요?
데이터 엔지니어링은 데이터 라이프사이클에서 데이터 과학보다 먼저 발생합니다. 데이터는 다양한 소스에서 생성될 수 있으며, 이러한 원시 데이터는 정형, 반정형 또는 비정형일 수 있습니다. 이러한 데이터를 이해하려면 데이터를 수집하고 변환해야 합니다. 이때 데이터 엔지니어링이 등장합니다. 데이터 엔지니어링에는 원시 데이터를 추출하고, 데이터 레이크와 같은 시스템으로 데이터를 수집하고, 비즈니스 요구에 맞게 데이터를 변환하고, 마지막으로 테이블에 로드하는 프로세스가 포함됩니다. 이를 일반적으로 ELT(추출-로드-변환)라고 합니다. 로드 단계 전에 변환이 이루어지는 경우 ETL(추출-변환-로드)도 가능합니다.
데이터 과학 및 분석은 데이터 수명 주기의 다음 단계입니다. 특정 비즈니스 요구에 필요한 데이터를 사용할 수 있게 되면 데이터 과학자는 이 데이터를 사용하여 머신 러닝 모델을 실행하여 가장 정확한 모델을 찾습니다. 이 데이터는 데이터 과학자가 테이블 형태로 사용할 수 있습니다. 또한 데이터 분석가는 이 데이터를 사용하여 탐색적 분석을 수행하고 대시보드를 만듭니다.
본질적으로 데이터 수명 주기는 다음과 같습니다:
다양한 소스의 원시 데이터 -> 데이터 엔지니어링 -> 데이터 과학 및 분석
How is data engineering different from data science?
Data Engineering occurs before data science in the data lifecycle. Data can be generated from various sources and this raw data may be structured, semi structured or even unstructured. To make sense of this data, data has to be ingested and transformed. This is when data engineering comes into picture. Data engineering includes the process of extracting the raw data, ingesting data into a system like a data lake, transforming the data for business needs and finally loading it into a table. This is commonly known as ELT (Extract-Load-Transform). ETL (Extract-Transform-Load) is also possible where transformation happens before the loading stage.
Data Science and Analytics is the next step in the data lifecycle. Once the data needed for specific business need is available, data scientists use this data to run machine learning models to find the most accurate model. This data is available to the data scientists in the form of tables. Data analysts also use this data to do some exploratory analysis and create dashboards. 
In essence, the data lifecycle would look as follows:
Raw data from different sources -> Data Engineering -> Data Science and Analytics