Data EngineerLakehouse là data lake (file Parquet trên S3/HDFS, lưu rẻ) được thêm một lớp table format như Delta Lake, Apache Iceberg hay Apache Hudi, để có các tính năng vốn chỉ warehouse mới có.
Data lake cũ chỉ là một thư mục file. Nó gặp các vấn đề:
- Hai job cùng ghi vào một bảng dễ làm hỏng dữ liệu, người đọc có thể thấy file đang ghi dở.
- Sửa hoặc xoá vài dòng phải ghi lại cả file.
- Không ai chặn file sai schema, lâu dần thành "data swamp".
Lớp table format giải quyết bằng một transaction log ghi lại mỗi phiên bản của bảng gồm những file nào:
- ACID transaction — ghi thành công toàn bộ hoặc không có gì, người đọc luôn thấy bản nhất quán.
- UPDATE/DELETE/MERGE trên file — cần cho CDC, SCD, xoá dữ liệu cá nhân theo yêu cầu.
- Schema enforcement và schema evolution — chặn dữ liệu sai kiểu, cho thêm cột có kiểm soát.
- Time travel — truy vấn bảng tại một phiên bản cũ để debug, đối soát hoặc khôi phục.
Nhờ vậy một bản dữ liệu phục vụ được cả BI bằng SQL lẫn ML, không cần copy sang warehouse riêng.
Lưu ý: lakehouse không tự nhanh hơn. Vẫn phải chọn partition hợp lý, gom file nhỏ, sắp xếp dữ liệu theo cột hay lọc. Nếu công ty chỉ có vài trăm GB dữ liệu bảng và chỉ làm BI, một warehouse cloud thường đơn giản hơn.