Data EngineerData Engineer xây và vận hành đường đi của dữ liệu: gom dữ liệu từ các hệ thống nguồn về một chỗ, làm sạch, tổ chức lại để người khác dùng được. Data Analyst và Data Scientist là người dùng dữ liệu đó.
| Data Engineer | Data Analyst | Data Scientist | |
|---|---|---|---|
| Câu hỏi phải trả lời | Dữ liệu có về đúng, đủ, đúng giờ không? | Chuyện gì đã xảy ra? | Chuyện gì sẽ xảy ra, nên làm gì? |
| Đầu ra | Pipeline, bảng trong warehouse/lake | Báo cáo, dashboard | Model dự đoán, thí nghiệm |
| Công cụ hay gặp | SQL, Python, Spark, Airflow, Kafka | SQL, Excel, Power BI/Tableau | Python, thống kê, ML |
Việc hằng ngày của DE: viết và lên lịch job ETL/ELT, thiết kế bảng trong warehouse, theo dõi job lỗi hoặc chạy chậm, kiểm tra chất lượng dữ liệu, tối ưu chi phí lưu trữ và truy vấn.
Lưu ý: chỉ nói "DE làm pipeline" là mỏng. Nên nói thêm DE chịu trách nhiệm về độ tin cậy của dữ liệu: dashboard của DA lệch số vì job đêm qua chạy thiếu một partition thì đó là lỗi của pipeline. Ở công ty nhỏ tại Việt Nam, một người thường kiêm cả DE lẫn DA.