Ingest pipeline dùng để làm gì?

Biến đổi document trước khi index, ngay trong cluster: parse chuỗi, đổi kiểu, thêm field, bỏ field nhạy cảm, làm giàu dữ liệu.

PUT /_ingest/pipeline/order_pipeline
{
  "processors": [
    { "grok": { "field": "message", "patterns": ["%{IP:client_ip}"] } },
    { "date": { "field": "ts", "formats": ["ISO8601"], "target_field": "@timestamp" } },
    { "remove": { "field": ["card_number", "cvv"] } },
    { "set": { "field": "env", "value": "prod" } }
  ]
}

PUT /orders/_doc/1?pipeline=order_pipeline

Giá trị lớn nhất là không phải sửa producer: nhiều service ghi vào cùng một index, chuẩn hoá tập trung ở pipeline rẻ hơn nhiều so với đi sửa từng service.

Bắt buộc phải test trước khi áp:

POST /_ingest/pipeline/order_pipeline/_simulate

Đánh đổi: pipeline chạy trên ingest node và tốn CPU, grok phức tạp có thể thành bottleneck.

Với khối lượng lớn, tách ingest node riêng hoặc xử lý ở tầng trước (Logstash, ứng dụng).