Data Flow là gì?

Tính năng Data Flow giúp người dùng theo dõi được tiến trình ghi nhận và xử lý dữ liệu của hệ thống mà không cần hiểu sâu về kỹ thuật.

Với Data Flow, người dùng có thể giám sát toàn bộ quá trình dữ liệu ra-vào, nắm được hệ thống đang truy cập bao nhiêu nguồn dữ liệu, đặc tính và tần suất của từng nguồn, và báo cáo vận hành nguồn dữ liệu.

Data Flow bao gồm các tính năng sau:

1. Data Flow: Theo dõi tổng quan luồng ghi nhận & xử lý dữ liệu in-out.
2. Nguồn dữ liệu: Thêm mới & quản lý các nguồn dữ liệu (Data-in).
3. Đích dữ liệu: Thêm mới & quản lý các đích dữ liệu (Data Destination).
4. Quy tắc đồng bộ Profile/ Công ty: Thiết lập Quy tắc đồng bộ dữ liệu cho từng nguồn dữ liệu.
5. Application: Thêm mới & quản lý ứng dụng

Để theo dõi tổng quan luồng dữ liệu, người dùng truy cập vào Cài đặt doanh nghiệp → Data Flow

Trên giao diện của Data Flow, người cùng có thể nhìn tổng quát có những nguồn ghi nhận dữ liệu nào đã được tích hợp, dữ liệu đó dùng cho mục đích gì, và đích đến của dữ liệu.

Nguồn dữ liệu/ Đích đến có cập nhật mới nhất sẽ hiển thị ở đầu danh sách.

Tại giao diện này, người dùng có thể thêm nguồn dữ liệu hoặc thêm đích đến mới.

Người dùng có thể theo dõi số lượng Connector đã tạo ra theo từng Nguồn dữ liệu. Connector cho phép hai hệ thống khác nhau giao tiếp và trao đổi dữ liệu với nhau. Đơn giản hơn, nó là một “cầu nối” giữa các ứng dụng hay hệ thống khác nhau, giúp chúng có thể liên kết và làm việc cùng nhau một cách hiệu quả.

Ví dụ, giữa Database PostgreSQL với Mobio có thể có nhiều Connector, mỗi Connector lại kết nối đến 1 bảng khác nhau. Người dùng có thể bấm vào từng Nguồn dữ liệu để xem số lượng Connector và trạng thái của chúng.

Tại mỗi Connector, người dùng có thể bấm vào dấu ba chấm nằm ngang để:

• Tắt/ Bật kết nối
• Chỉnh sửa quy tắc đồng bộ dữ liệu
• Xem và sửa Thông tin nguồn

Nguồn dữ liệu

Thêm nguồn dữ liệu mới

Bước 1: Truy cập giao diện thêm nguồn dữ liệu theo 1 trong 2 cách sau;

1. Truy cập vào Cài đặt doanh nghiệp → Data Flow → Data Flow, ở phần Nguồn dữ liệu (bên trái màn hình), bấm nút + Thêm mới màu xanh.
2. Truy cập vào Cài đặt doanh nghiệp → Data Flow → Nguồn dữ liệu

Bước 2: Chọn nguồn dữ liệu

Giao diện chọn nguồn dữ liệu hiển thị danh sách các nguồn dữ liệu mà hệ thống Mobio cho phép tích hợp. Người dùng có thể tìm nguồn dữ liệu theo tên, hoặc theo phân loại.

Bước 3: Cấu hình tích hợp nguồn dữ liệu. Mỗi Data Source khác nhau sẽ có các bước thiết lập khác nhau. Người dùng cần đảm bảo làm đúng các bước hướng dẫn trên giao diện.

Tạo Connector API

Tạo Connector Database

Cấu hình mapping dữ liệu

Bước 1: Xác định đây có phải nguồn dữ liệu tin cậy hay không.

Nguồn dữ liệu tin cậy chỉ cập nhật dữ liệu thay đổi đến từ chính nguồn đó.

Ví dụ: “Postgres 1” được đánh dấu là nguồn tin cậy, nghĩa là khi dữ liệu được ghi nhận từ “Postgres 1”, thì dữ liệu đó chỉ được cập nhật khi có sự thay đổi từ chính nguồn “Postgres 1”, mà không phải là từ các nguồn dữ liệu khác.

Sau khi đánh dấu đây là nguồn tin cậy, tại thông tin mapping ở phần 2.4 dưới đây, người dùng sẽ được chọn trường thông tin nào là Dữ liệu tin cậy.

Bước 2: Cấu hình thông tin mapping

2.1 Chọn trường thông tin mapping

Danh sách các trường thông tin mapping phụ thuộc vào bảng dữ liệu đã chọn ở bước trước.

2.2 Chọn kiểu ghi nhận dữ liệu

• Thêm mới
• Ghi đè
• Ghi đè và bỏ dữ liệu rỗng

2.3 Mapping với trường thông tin trên Mobio:

• Chọn Đối tượng mapping: là Profile hoặc Công ty
• Chọn trường thông tin mapping

Nếu trường thông tin từ nguồn có định dạng khác với trường thông tin được mapping tương ứng trên Mobio, hệ thống sẽ không ghi nhận toàn bộ bản tin.

Ví dụ: Trường thông tin “name”, có định dạng là Character ở nguồn ghi nhận, nếu mapping với trường thông tin trên Mobio có kiểu dữ liệu là Date (ngày tháng) → hệ thống sẽ không ghi nhận toàn bộ bản tin.

Trong quá trình cấu hình mapping dữ liệu, người dùng có thể liên hệ với đội ngũ hỗ trợ của Mobio để cấu hình chính xác nhất.

Khi mapping, đối với một số dữ liệu dạng mảng, hệ thống sẽ hiển thị đầy đủ các thuộc tính của dữ liệu mà người dùng đã thiết lập ở bước Cấu hình dữ liệu đồng bộ. Người dùng chỉ có thể mapping với trường thông tin có dữ liệu dạng mảng tương ứng trên hệ thống (Địa chỉ và Giấy tờ tùy thân).

2.4 Tùy chọn Dữ liệu tin cậy:

Trường thông tin được đánh dấu là ‘Dữ liệu tin cậy’ có 2 ý nghĩa quan trọng:

• Dữ liệu trong trường này không được sửa đổi từ bất kỳ phương thức hoặc nguồn nào khác.
• Đây là trường dữ liệu định danh. Dựa vào trường này, hệ thống sẽ quyết định tạo mới Profile hay cập nhật thông tin Profile đã có trong hệ thống.

Bước 3: Bấm “Lưu” để hoàn tất cấu hình mapping.

Giá trị mặc định khi cấu hình mapping dữ liệu

Tại cấu hình mapping, Giá trị mặc định có kiểu dữ liệu ghi nhận là String, cho phép người dùng điền một giá trị bất kỳ dưới dạng text mà nguồn dữ liệu chưa có.

Ví dụ: người dùng muốn gắn 1 tag hành vi “KH ngu dong” cho toàn bộ dữ liệu đến từ nguồn ghi nhận A, thì cần nhập giá trị “KH ngu dong” vào trường Giá trị mặc định, chọn kiểu ghi nhận dữ liệu là “Thêm mới”, mapping với trường thông tin hệ thống là Profile → Tag hành vi.

Định nghĩa Nguồn ghi nhận thông tin

Nguồn ghi nhận thông tin giúp người dùng phân biệt được dữ liệu nào đến từ nguồn nào. Khi cấu hình mapping dữ liệu, người dùng có thể định nghĩa Nguồn ghi nhận thông tin như sau:

• Trong bảng dữ liệu đã có sẵn thông tin về nguồn ghi nhận: người dùng chỉ cần mapping thông tin này với trường Nguồn ghi nhận thông tin trên Mobio
• Trong bảng dữ liệu chưa có sẵn thông tin về nguồn ghi nhận: người dùng có thể điền thông tin vào Giá trị mặc định, và mapping thông tin này với trường Nguồn ghi nhận thông tin trên Mobio

Thiết lập quy tắc đồng bộ profile

Bước 1: Thiết lập Thông tin Consent

Xem chi tiết tại bài viết sau

Mobio hỗ trợ doanh nghiệp đáp ứng Nghị định 13 như thế nào?

Bước 2: Thiết lập Quy tắc ghi nhận dữ liệu

Người dùng cần cấu hình những trường thông tin bắt buộc để hệ thống ghi nhận được dữ liệu từ nguồn này.

Ví dụ: Nếu thiết lập Quy tắc ghi nhận dữ liệu là CIF hoặc Giấy tờ định danh, thì Profile bắt buộc phải có có 1 trong 2 trường thông tin này mới được ghi nhận trên hệ thống.

Bước 3: Thiết lập quy tắc Đồng bộ dữ liệu

Người dùng cần cấu hình những trường thông tin bắt buộc để hệ thống cập nhật dữ liệu mới vào dữ liệu cũ đã được ghi nhận từ nguồn này trước đó.

Nguồn ghi nhận thông tin là trường bắt buộc khi cấu hình Quy tắc cập nhật dữ liệu.

Ví dụ: Nếu thiết lập Quy tắc cập nhật dữ liệu là CIF, khi ghi nhận 1 Profile, hệ thống sẽ kiểm tra Profile này có trùng số CIF với Profile nào khác trên hệ thống chưa:

• Nếu trùng: cập nhật dữ liệu vào Profile đã có
• Nếu không trùng: tạo một Profile mới trên hệ thống

Thiết lập lịch đồng bộ Profile

Đối với Connector Database

Bước 1: Chọn Cơ chế đồng bộ dữ liệu

Lựa chọn 1: Snapshot: đồng bộ dữ liệu từ nguồn dữ liệu vào hệ thống Mobio tại một thời điểm nhất định. Nếu lựa chọn cơ chế Snapshot này, người dùng cần cấu hình 1 trong 2 lựa chọn lịch đồng bộ như sau:

• Thủ công: Hệ thống sẽ thực hiện đồng bộ ngay khi dữ liệu được đẩy từ nguồn dữ liệu vào hệ thống Mobio.
• Định kỳ: Người dùng có thể cấu hình thời gian đồng bộ (chọn giờ), tần suất đồng bộ (hàng ngày/ hàng tuần/ hàng tháng)

Lựa chọn 2: Streaming: truyền tải dữ liệu liên tục và không ngừng nghỉ từ nguồn dữ liệu tới Mobio để đảm bảo hai hệ thống luôn đồng bộ về trạng thái mới nhất. Người dùng không cần cấu hình thêm lịch đồng bộ nếu chọn Streaming.

Việc lựa chọn phương pháp đồng bộ thường phụ thuộc vào yêu cầu cụ thể của hệ thống, bao gồm quy mô dữ liệu, tần suất cập nhật, và khả năng hỗ trợ kỹ thuật của hệ thống:

• Snapshot: Thường được sử dụng cho nguồn dữ liệu cần đồng bộ ít thường xuyên và có quy mô dữ liệu lớn.
• Streaming: Phù hợp cho nguồn dữ liệu cần cập nhật theo thời gian thực

Bước 2: Tùy chọn bật tắt Tự động đồng bộ lại nếu xảy ra lỗi

Bước 3: Ấn Lưu để hoàn tất quá trình cấu hình. Hệ thống sẽ hiển thị giao diện tổng hợp cấu hình nguồn dữ liệu.

Đối với Connector API

Cơ chế đồng bộ dữ liệu mặc định là Streaming. Snapshot không khả dụng với Connector dạng này.

Giới hạn đồng bộ mặc định của hệ thống là 200 bản tin/request với dung lượng tối đa 3MB/ request. Giới hạn này không thể thay đổi được.

Người dùng có thể cấu hình email nhận thông báo kết quả đồng bộ theo 1 trong 2, hoặc cả 2 phương thức sau:

• Gửi kết quả đến email của user
• Gửi kết quả đến địa chỉ email cụ thể

Hệ thống sẽ gửi báo cáo 3 lần/ngày đến địa chỉ email đã cấu hình trong suốt quá trình đồng bộ dữ liệu.

Sau khi cấu hình xong, người dùng bấm Lưu để hoàn tất toàn bộ quá trình cấu hình nguồn dữ liệu.