Báo cáo Connector Database
1. Tổng quan
- Định nghĩa: Báo cáo Connector Database theo dõi dữ liệu đồng bộ từ bảng nguồn vào Mobio theo từng phiên.
- Lợi ích/Giá trị: Giúp giám sát chất lượng đồng bộ, nhận diện phiên lỗi và theo dõi tiến độ snapshot/incremental.
- Đối tượng sử dụng: System Admin, Data Engineer, đội vận hành dữ liệu.
2. Giải thích Thuật ngữ & Thông số
- Kiểu đồng bộ: Snapshot – Incremental hoặc cơ chế đồng bộ đã cấu hình.
- Trạng thái xử lý phiên: Hoàn tất, Đang đồng bộ, Dừng đồng bộ, Đồng bộ lỗi, Chờ xử lý.
- Chỉ số phiên: Tổng số phiên và tỷ lệ phiên theo trạng thái trong kỳ lọc.
- Chế độ hiển thị: Table View và Pipeline View.
3. Điều kiện tiên quyết (Prerequisite)
- Bài viết trước: Hoàn tất khởi tạo connector và cấu hình đồng bộ dữ liệu cho ít nhất 1 đối tượng.
- Phân quyền: Tài khoản Mobio phải được cấp quyền RBAC: INTEGRATION. Xem hướng dẫn phân quyền truy cập RBAC tại đây.
- Cài đặt > Cài đặt DN > Đồng bộ dữ liệu > Data Flow
- Cài đặt > Cài đặt DN > Đồng bộ dữ liệu > Data Flow > Nguồn dữ liệu
- Đường dẫn truy cập: Cài đặt doanh nghiệp → Tích hợp dữ liệu → Data Flow/Nguồn dữ liệu → Chọn connector Database bất kỳ (MySQL, Oracle…) → Báo cáo.
- Dữ liệu đầu vào: Có ít nhất một phiên đồng bộ đã phát sinh dữ liệu trong connector Database .
4. Các bước thực hiện
4.1. Thiết lập bộ lọc
- Chọn thời gian đồng bộ: hôm nay, hôm qua, 7 ngày trước, 30 ngày trước, tháng này, tháng trước, 90 ngày trước hoặc tùy chỉnh.
- Chọn trạng thái đồng bộ để tập trung kiểm tra phiên hoàn tất, dừng hoặc lỗi.
4.2. Xem khối tổng hợp
- Kiểm tra tổng dữ liệu từ nguồn và tỷ lệ xử lý thành công/thất bại/chưa xử lý.
- Kiểm tra khối tổng số phiên và phân bố trạng thái phiên.
4.3. Phân tích danh sách phiên
- Mở Table View để xem danh sách phiên, kiểu đồng bộ, thời gian bắt đầu/kết thúc, tỷ lệ xử lý.
- Sắp xếp và lọc để xác định các phiên có dấu hiệu bất thường.
- Chuyển Pipeline View khi cần xem nhanh phiên đang tiếp nhận và phiên đã hoàn thành xử lý.
4.4. Kiểm tra tiến độ xử lý theo phiên
- Chọn một phiên cụ thể để kiểm tra chi tiết.
- Đối chiếu bản tin xử lý thành công/thất bại trong cùng phiên.
- Nếu có checkpoint snapshot, dùng checkpoint để xác định vị trí xử lý thực tế.
5. Quy tắc vận hành & Use case
- Với Database, nên ưu tiên rà theo phiên đồng bộ và theo kiểu đồng bộ để tách lỗi snapshot và lỗi incremental.
- Khi trạng thái Dừng đồng bộ xuất hiện liên tiếp, cần đối chiếu lịch chạy và hành động của người vận hành.
- Phiên có tỷ lệ thành công thấp cần được chuyển ngay sang luồng kiểm tra log kỹ thuật.
6. Các câu hỏi thường gặp (FAQ)
- Hỏi: Vì sao phiên hoàn tất nhưng số bản tin bằng 0?
- Trả lời: Có thể kỳ lọc hoặc điều kiện truy vấn không phát sinh dữ liệu mới. Kiểm tra lại bộ lọc thời gian và cấu hình nguồn.
- Hỏi: Khi nào cần dùng Pipeline View?
- Trả lời: Dùng khi cần xem nhanh luồng tiếp nhận và xử lý giữa các phiên đang chạy và đã hoàn thành.