Mô tả cách bạn đã xây dựng một data pipeline từ đầu. Những thách thức chính là gì?

84

Build data pipeline cho credit scoring model tại fintech. Data sources: transaction history, demographic, bureau data. Challenges: (1) data inconsistency giữa 3 sources — tôi build reconciliation layer, (2) PII handling — implement encryption at rest và tokenization, (3) latency requirement 5 phút — dùng Kafka streaming thay vì batch. Pipeline xử lý 2M records/ngày với 99.5% uptime.

5 0

56

Tôi dùng Excel để clean data rồi import vào database. Mất thời gian nhưng tôi quen với workflow này.

4 0