Tổng quan báo cáo đồng bộ Data Flow
1. Tổng quan
- Định nghĩa: Báo cáo Data Flow là màn hình giám sát kết quả đồng bộ dữ liệu từ nguồn vào hệ thống, theo mô hình 3 cấp gồm tổng hợp, danh sách phiên đồng bộ và chi tiết từng phiên.
- Lợi ích/Giá trị: Giúp System Admin theo dõi tiến trình đồng bộ, đối soát số lượng bản tin đã ghi nhận/xử lý, phát hiện sớm tình trạng lỗi hoặc nghẽn dữ liệu.
- Đối tượng sử dụng: System Admin, đội vận hành kỹ thuật, Technical Service.
2. Giải thích Thuật ngữ & Thông số
- Phiên đồng bộ (Session): Một vòng đời đồng bộ được tạo khi bật kết nối hoặc chạy theo lịch; phiên kết thúc khi ngắt kết nối, hoàn tất hoặc chuyển sang lỗi.
- Bản tin (Record): Mỗi dòng dữ liệu đọc từ nguồn; một bản tin xử lý không nhất thiết tương ứng với một đối tượng dữ liệu trên Mobio. Nói cách khác, một đối tượng có thể có nhiều bản ghi.
- Trạng thái đồng bộ (Sync status): Trạng thái vận hành của phiên đồng bộ.
- Cấp báo cáo:
- Level 1: Tổng hợp kết quả đồng bộ (tổng bản tin ghi nhận/xử lý, tổng số phiên).
- Level 2: Danh sách phiên đã thực hiện.
- Level 3: Chi tiết đồng bộ theo ngày và theo đối tượng trong từng phiên.
- Bộ lọc thời gian: hôm nay, hôm qua, 7 ngày trước, 30 ngày trước, tháng này, tháng trước, 90 ngày trước, tùy chỉnh.
- Bộ lọc trạng thái đồng bộ: Chờ xử lý, Đang đồng bộ, Đồng bộ lỗi, Dừng đồng bộ, Hoàn tất.
3. Điều kiện tiên quyết (Prerequisite)
- Bài viết trước: Hoàn tất khởi tạo connector và cấu hình đồng bộ dữ liệu cho ít nhất 1 đối tượng.
- Phân quyền: Tài khoản Mobio phải được cấp quyền RBAC:
INTEGRATION. Xem hướng dẫn phân quyền truy cập RBAC tại đây.- Cài đặt > Cài đặt DN > Đồng bộ dữ liệu > Data Flow
- Cài đặt > Cài đặt DN > Đồng bộ dữ liệu > Data Flow > Nguồn dữ liệu
- Đường dẫn truy cập: Cài đặt doanh nghiệp → Tích hợp dữ liệu → Data Flow/Nguồn dữ liệu → Báo cáo đồng bộ.
- Dữ liệu đầu vào: Tiến trình đồng bộ phải đã phát sinh dữ liệu thực tế (có bản tin ghi nhận hoặc có phiên đồng bộ).
4. Quy trình triển khai
4.1. Nắm nguyên tắc chung khi xem báo cáo
- Thao tác xem báo cáo trên Mobio là giống nhau giữa các connector: vào đúng connector, bấm tab
Báo cáo, chọn bộ lọc thời gian/trạng thái, sau đó theo dõi chỉ số. - Khác biệt chính nằm ở bố cục giao diện và nhóm chỉ số hiển thị theo từng loại connector. Xem chi tiết báo cáo của từng loại connector dưới đây:
4.2. Mở báo cáo và thiết lập bộ lọc chung
- Truy cập màn hình Báo cáo đồng bộ từ khu vực Data Flow.
- Chọn khoảng thời gian cần theo dõi theo bộ lọc thời gian.
- Chọn connector cần xem báo cáo.
- Quan sát khối tổng hợp chỉ số ở đầu trang để nắm nhanh tình trạng đồng bộ.
4.3. Xem tổng hợp kết quả đồng bộ (Level 1)
- Theo dõi các chỉ số tổng hợp về số lượng bản tin ghi nhận, số lượng bản tin xử lý và tổng số phiên đã chạy.
- So sánh biến động của chỉ số theo cùng một khoảng thời gian để đánh giá độ ổn định của pipeline dữ liệu.
- Với các chỉ số đặc thù từng connector, xem tại bài chi tiết tương ứng.
4.4. Xem danh sách phiên đồng bộ (Level 2)
- Chuyển xuống khu vực danh sách phiên đồng bộ đã thực hiện.
- Đối chiếu trạng thái từng phiên để xác định phiên đang chạy, đã hoàn tất hoặc lỗi.
- Ưu tiên kiểm tra các phiên có dấu hiệu bất thường về tiến độ hoặc chênh lệch lớn giữa ghi nhận và xử lý.
4.5. Xem chi tiết từng phiên đồng bộ (Level 3)
- Chọn một phiên cụ thể trong danh sách để mở màn hình chi tiết.
- Xem dữ liệu chi tiết theo ngày và theo đối tượng đồng bộ của phiên đã chọn.
- Kiểm tra thông tin checkpoint với các phiên chạy theo cơ chế snapshot (nếu có hiển thị trong phiên).
- Dùng dữ liệu chi tiết để khoanh vùng nhanh khoảng thời gian hoặc nhóm dữ liệu phát sinh lỗi.
4.6. Đối soát và theo dõi chu kỳ cập nhật báo cáo
- Theo dõi dữ liệu tổng hợp được làm mới sau mỗi 10 phút.
- Lưu ý: hệ thống có chu kỳ audit dữ liệu báo cáo mỗi 1 giờ.
- Khi cần điều tra sai lệch số liệu, ưu tiên đối chiếu theo phiên đồng bộ trước, sau đó đi sâu theo ngày ở màn hình chi tiết phiên.
5. Quy tắc vận hành & Use case
- Trường hợp tiến trình streaming kéo dài nhiều ngày, cần kiểm tra thêm báo cáo chi tiết theo ngày để tránh hiểu sai số liệu do thời điểm ghi nhận và thời điểm xử lý lệch nhau.
- Khi số lượng bản tin ghi nhận tăng nhưng đối tượng được xử lý/cập nhật không tăng tương ứng, cần rà soát log kỹ hơn để tìm nguyên nhân.
- Với cơ chế snapshot, theo dõi checkpoint giúp xác định phiên đang chạy đến đâu trong dữ liệu nguồn.
6. Các câu hỏi thường gặp (FAQ)
- Hỏi: Vì sao cùng một khoảng thời gian nhưng số liệu giữa các vùng báo cáo khác nhau?
- Trả lời: Mỗi vùng thể hiện cấp độ dữ liệu khác nhau (tổng hợp, danh sách phiên, chi tiết theo ngày). Cần đối chiếu theo cùng connector, cùng bộ lọc thời gian và cùng phiên đồng bộ để kiểm tra chính xác.
- Hỏi: Bao lâu báo cáo được cập nhật một lần?
- Trả lời: Dữ liệu tổng hợp được refresh mỗi 10 phút và có audit dữ liệu mỗi 1 giờ.
- Hỏi: Không thấy dữ liệu trong báo cáo thì kiểm tra gì trước?
- Trả lời: Kiểm tra connector đã bật và có phát sinh phiên đồng bộ trong khoảng thời gian lọc chưa; sau đó kiểm tra trạng thái phiên ở danh sách phiên đồng bộ.
7. Bước tiếp theo
- Xem hướng dẫn xử lý sự cố để phân tích nguyên nhân lỗi theo log và truy vết phiên đồng bộ: Theo dõi & xử lý sự cố đồng bộ với Monitor Log