Data EngineerKhác nhau ở chỗ biến đổi dữ liệu: ETL biến đổi trước khi nạp vào kho, ELT nạp dữ liệu thô vào kho trước rồi biến đổi ngay bên trong kho bằng SQL.
| ETL | ELT | |
|---|---|---|
| Biến đổi ở đâu | Engine riêng (Spark, Informatica, script Python) | Trong warehouse (BigQuery, Snowflake, Redshift), hay dùng dbt |
| Dữ liệu thô | Thường không giữ trong kho | Giữ lại, chạy lại biến đổi được bất cứ lúc nào |
| Hợp khi | Kho yếu hoặc đắt tính toán, cần lọc dữ liệu nhạy cảm trước khi vào kho | Kho cloud tính toán mạnh, logic thay đổi thường xuyên |
Vì sao ELT phổ biến từ khi có warehouse cloud: lưu trữ rẻ và tính toán co giãn được, nên nạp thô rồi xử lý trong kho đơn giản hơn duy trì một cụm xử lý riêng. Đổi logic thì chỉ cần sửa model SQL và chạy lại trên dữ liệu thô đã có, không phải lấy lại từ nguồn.
Điểm chung: cả hai đều cần bước extract, đều cần kiểm tra chất lượng và chạy lại an toàn.
Lưu ý: ETL vẫn là lựa chọn đúng khi dữ liệu chứa thông tin cá nhân phải che trước khi vào kho, hoặc khi biến đổi quá nặng với SQL (xử lý ảnh, parse log phức tạp). Thực tế nhiều hệ thống trộn cả hai.