데이터 엔지니어링 생명주기란? 원시데이터의 요소를 분석가 등이 사용할 수 있는 유용한 최종제품으로 전환하는 단계 데이터 엔지니어링 생명주기 데이터엔지니어링 생명주기는 크게 다섯단계로 나뉜다. 데이터 생성 데이터 저장 데이터 수집 데이터 변환 데이터 서빙 그리고 보안, 데이터관리, 데이터옵스, 아키텍처, 오케스트레이션, 소프트웨어 엔지니어링의 보이지않는 요소로 구성된다 데이터 생성 원천시스템은 데이터 엔지니어링 수명주기에서 사용되는 데이터 원본이다. 원천시스템은 전통적인 RDB형태, IOT스웜으로 구성된 Queue 형태 등 다양한 형태로 존재가능하다. 데이터엔지니어는 원천시스템의 본질과 생성, 수집시점, 스키마등에 대한 다양한 고려사항을 인지해야한다. 원천데이터는 스키마에 따라 크게 두가지로 구분되기도 하..
