Data EngineerBig data là dữ liệu mà công cụ thông thường (một database đơn lẻ, một file Excel) không còn xử lý kịp, vì quá lớn, đến quá nhanh hoặc quá nhiều dạng. Hay được mô tả bằng 5V:
- Volume — dung lượng: hàng TB, PB, không vừa ổ đĩa hay RAM của một máy.
- Velocity — tốc độ sinh ra: log click, giao dịch, sự kiện IoT đổ về liên tục từng giây.
- Variety — nhiều dạng: bảng có cấu trúc, JSON bán cấu trúc, ảnh, văn bản.
- Veracity — độ tin cậy: dữ liệu thiếu, trùng, sai cần được kiểm tra.
- Value — giá trị: chỉ đáng lưu khi rút ra được thông tin phục vụ quyết định.
Dấu hiệu thực tế: truy vấn trên một database chạy hàng giờ, dữ liệu một ngày vượt dung lượng ổ của một máy, hoặc phải xử lý dòng sự kiện liên tục thay vì theo lô. Lúc đó cần xử lý phân tán (Spark) và lưu trữ phân tán (HDFS, S3).
Lưu ý: big data không đồng nghĩa với "nhiều dòng". 50 triệu dòng giao dịch vẫn chạy ổn trên một PostgreSQL có index hợp lý. Khi trả lời, nêu con số và giới hạn cụ thể sẽ thuyết phục hơn câu "dữ liệu rất lớn".