Hướng dẫn đồng bộ dữ liệu mối quan hệ qua Dataflow

1. Tổng quan

Định nghĩa: Cấu hình tích hợp và đồng bộ tự động dữ liệu mối quan hệ (Relationships) từ các nguồn dữ liệu bên ngoài vào hệ thống CDP Mobio thông qua công cụ Dataflow.
Lợi ích/Giá trị: Tự động hóa quá trình đồng bộ dữ liệu mạng lưới quan hệ khách hàng với quy mô lớn từ hệ thống core của doanh nghiệp vào CDP, đảm bảo dữ liệu luôn được cập nhật chính xác theo thời gian thực và tự động xử lý các hồ sơ chưa tồn tại.
Đối tượng sử dụng: IT, Data Engineer, Technical Admin.

Identity Resolution (Kiểm tra định danh): Quy tắc đối chiếu các trường định danh (như số điện thoại, CCCD, Email, CIF…) để xác định hồ sơ khách hàng đã tồn tại trong hệ thống CDP hay chưa.
Transform loại quan hệ: Quy tắc cấu hình chuyển đổi tên loại mối quan hệ từ hệ thống nguồn sang mã key tương ứng trong CDP Mobio (Ví dụ: nguồn lưu là “Cha”, CDP lưu là “dad”).

Bài viết trước: Hướng dẫn gắn mối quan hệ thủ công giữa các Profile khách hàng
Phân quyền: Tài khoản Mobio phải được cấp quyền RBAC Quyền quản trị và cấu hình Dataflow.
Đường dẫn truy cập: Quản trị dữ liệu → Tích hợp dữ liệu (Dataflow) → Nguồn dữ liệu
Dữ liệu đầu vào:
- Cơ sở dữ liệu nguồn hoặc API nguồn chứa dữ liệu mối quan hệ.
- Các loại quan hệ và ánh xạ hai chiều phải được cấu hình sẵn trong CDP Mobio.

Hệ thống hỗ trợ đồng bộ dữ liệu mối quan hệ từ 3 tình huống dữ liệu nguồn phổ biến sau:

Trường hợp 1 (TH1): Lưu dữ liệu relationship chung trong bảng customer_profile. Dữ liệu quan hệ nằm chung dòng với thông tin profile chính (Ví dụ: có các cột Re_cccd, Re_type tương ứng với CCCD và loại quan hệ của người liên quan).
Trường hợp 2 (TH2): Lưu dữ liệu relationship thành bảng trung gian (chỉ có một thông tin định danh). Bảng chỉ chứa thông tin định danh của hai profile và loại quan hệ (Ví dụ: cột Cccd, Re_cccd, Re_type).
Trường hợp 3 (TH3): Lưu dữ liệu relationship thành bảng trung gian (kết hợp nhiều thông tin định danh). Bảng chứa nhiều thông tin định danh của profile chính và profile liên quan (Ví dụ: cột Name, Phone, Re_name, Re_phone, Re_type).

Truy cập giao diện cấu hình Connector (Database hoặc API) trên Dataflow.
Thiết lập luồng làm phẳng dữ liệu JSON đầu vào (đối với Connector API).
Tại phần cấu hình mapping, tiến hành kéo/chọn ánh xạ các cột dữ liệu nguồn tương ứng với các trường thuộc đối tượng array object Mối quan hệ trong CDP:
Ánh xạ trường Loại quan hệ (Relationship Type).
Ánh xạ Field định danh của profile liên quan (CCCD, SĐT, Email, CIF, v.v.). Bạn có thể cấu hình mapping 1 trường định danh đơn lẻ (TH1, TH2) hoặc nhiều trường định danh kết hợp (TH3).
Chọn Lưu cấu hình.

Quy trình xử lý dữ liệu đồng bộ của hệ thống: Khi hệ thống xử lý từng dòng dữ liệu từ DB nguồn/API, quy trình tự động diễn ra theo các bước sau:

Kiểm tra định danh của profile chính (Identity Resolution): Sử dụng Identity rule cấu hình cho Connector để kiểm tra xem profile chính đã tồn tại trong CDP chưa. Nếu chưa tồn tại, hệ thống tự động tạo mới profile chính.

Kiểm tra định danh của profile liên quan (Identity Resolution): Tiếp tục dùng Identity rule để kiểm tra profile liên quan. Nếu chưa tồn tại, hệ thống tự động tạo mới profile liên quan.

Thực hiện Transform loại quan hệ (Optional): Chuyển đổi tên loại mối quan hệ từ nguồn sang key tương ứng cấu hình trong CDP (Ví dụ: Nguồn lưu “Cha” <-> CDP nhận diện “Bố” – key dad). Người dùng phải cấu hình transform trước đó để hệ thống nhận diện đúng.

Tạo mối quan hệ Forward: Thiết lập liên kết chiều thuận giữa hai profile bằng key của loại quan hệ.
- Ràng buộc: Nếu Key loại quan hệ tồn tại, tạo liên kết; nếu Key loại quan hệ chưa tồn tại trong CDP, hệ thống sẽ reject (từ chối) bản ghi và không tạo liên kết.
- Ràng buộc: Nếu hai profile đã có liên kết trước đó, dữ liệu đồng bộ sau sẽ ghi đè lên dữ liệu liên kết cũ (giữa hai profile chỉ được tồn tại một mối quan hệ duy nhất).

Tạo mối quan hệ Backward: Tự động tạo mối quan hệ chiều ngược đối ứng dựa trên quy tắc mapping đã cấu hình.
- Ngoại lệ: Nếu profile có mối quan hệ với chính nó (trùng định danh chính và định danh liên quan), hệ thống sẽ không tạo chiều backward.

Hỏi: Dữ liệu đồng bộ bị báo lỗi reject mối quan hệ do “Key chưa tồn tại” là vì sao?
Trả lời: Do tên loại quan hệ ở hệ thống nguồn chưa được cấu hình Transform (hoặc chưa tạo loại quan hệ tương ứng trong CDP) khiến hệ thống không nhận diện được key loại quan hệ. Bạn cần kiểm tra lại cấu hình transform trong Connector.
Hỏi: Nếu trong file nguồn gửi lên có dòng dữ liệu profile A tự quan hệ với chính mình thì hệ thống xử lý thế nào?
Trả lời: Hệ thống vẫn tạo quan hệ chiều Forward cho profile A (nếu hợp lệ) nhưng sẽ không tạo mối quan hệ chiều ngược Backward để tránh lặp vòng vô hạn.