데이터 엔지니어(Data Engineer)와 데이터 사이언티스트(Data scientist, 데이터 과학자)에 대한 차이에 대한 포스트입니다.
GPT나 Claude에게 물어보면 잘 대답해 주겠지만 그냥 설명하기 쉽게 표로 만들어 봤습니다.
| 질문 항목 | 데이터 엔지니어 | 데이터 사이언티스트 (데이터 과학자) |
| 무슨 일을 하는가? | 데이터 처리에 대한 일을 한다. | 데이터 분석과 활용에 대한 일을 한다. |
| 한마디로 하는 일을 쉽게 설명하면? | 데이터 저정, 흐름, 이용에 대한 것을 관리한다. | 데이터의 분석, 재활용을 통해 부가가치 창출과 서비스 고도화를 한다. |
| 일과 시간에 하는 일은? | 대부분의 시간을 데이터 플랫폼을 다루는데 쓴다. S3, BigQuery, Hadoop/Hive/Spark | 대부분의 시간을 데이터를 분석하고 모델을 만드는데 쓴다. 통계분석, ML/AI 모델링, 모델 성능 분석 |
| 주로 사용하는 도구는? | 개발툴 보다는 터미널, 관리툴 등을 주로 사용한다. | 개발툴 보다는 주피터노트북이나 모델링을 위한 스크립트 파일을 작성할 수 있는 편집기를 주로 쓴다. |
| 데이터와 관련된 어떤 일을 하는 것인가? | ETL과 같은 업무에 깊이 관여하며 데이터가 잘 전송되고 정합성 문제가 없는지 확인하는 것에 중점을 둔다. | ETL 보다는 Feature Engineering이나 aggregation 더 깊이 관여하며 정합성 보다는 좋은 통계적 인사이트를 찾거나 모델을 만드는데 더 중점을 둔다. |
| 포지션(일자리) 수요 | 데이터 관련 인프라 유지가 필요한 회사에서만 포지션이 있다. | 데이터 분석, 데이터 과학을 서비스에 적용할 일이 있는 회사에만 필요 |
| 경력이 많아짐에 따라 발전 하는 것 | 어느 정도 경력이 쌓이면 더 발전할 것은 없고 사용하는 솔루션의 종류가 운영 경험이 쌓인다. | 데이터로 부터 얻을 수 있는 인사이트에 통찰이 생기며 다양한 모델링의 종류와 경험이 쌓인다. |
| 급여 수준 | 일반적으로 개발자 보다 조금 높다 | 일반적으로 개발자 보다 많이 높다 |
