TASK ORCHESTRATION

Tài liệu này đặc tả các quy tắc nghiệp vụ liên quan đến việc phân bổ, lên lịch và quản lý vòng đời của các yêu cầu tìm kiếm từ khóa trên hệ thống Master API.

1. Cơ chế Gom nhóm và Lên lịch (Scheduling & Batching)

Hệ thống xử lý từ khóa thông qua cơ chế phân mảnh và gom lô để tối ưu khả năng tính toán của các máy chủ thực thi (Worker).

Định danh tác vụ độc lập: Một yêu cầu tìm kiếm từ người dùng sẽ được phân tách thành các tác vụ (Task) riêng biệt dựa trên tổ hợp ba yếu tố: [Từ khóa] x [Công cụ tìm kiếm] x [Nền tảng thiết bị].

Kích hoạt tự động (Cron-based Trigger): Master API thực thi tiến trình quét định kỳ. Tiến trình này truy xuất toàn bộ danh mục từ khóa đang ở trạng thái kích hoạt (status=1) từ MongoDB, khởi tạo các bản ghi tác vụ và nạp vào hàng đợi trung gian keyword_pool_tasks.

2. Chiến lược Tối ưu hóa Dữ liệu (Caching Strategy)

Nhằm giảm thiểu việc sử dụng tài nguyên duyệt web dư thừa và tăng tốc độ trả kết quả, hệ thống áp dụng cơ chế đánh giá tính hữu dụng của dữ liệu thông qua Redis Cache.

Quy tắc bỏ qua quét (Skip-scan Rule): Khi một tác vụ được nạp vào hàng đợi, hệ thống tiến hành đối chiếu bộ định danh của nó với Redis.

Phản hồi tức thì: Nếu phát hiện kết quả truy vấn vẫn còn hiệu lực trong bộ nhớ đệm, Master API sẽ bỏ qua việc gửi lệnh xuống Worker. Nó trực tiếp kích hoạt Webhook, đóng gói dữ liệu từ Cache và gửi trả về hệ thống nguồn, đồng thời đánh dấu tác vụ đã hoàn tất.

3. Thuật toán Phân phối Tải (Weighted Distribution)

Việc phân bổ tác vụ từ hàng đợi xuống các máy chủ thực thi (Worker Servers) tuân thủ nghiêm ngặt nguyên tắc cân bằng tải và tính ưu tiên.

Đánh giá Trọng số (Priority Weighting): Mỗi Worker được gắn một mức độ ưu tiên trong cơ sở dữ liệu MySQL. Worker sở hữu cờ IsPriority=true sẽ được phân bổ tác vụ với tần suất cao hơn (Trọng số 5) so với Worker tiêu chuẩn (Trọng số 2).

Kiểm soát Tắc nghẽn (Concurrency Control): Master API liên tục đối chiếu tham số limit_process (giới hạn luồng cứng) với current_process (tác vụ đang xử lý) của từng Worker. Lệnh quét chỉ được phân phát nếu Worker xác nhận còn khoảng trống tài nguyên (Slot), ngăn chặn hiện tượng quá tải và sập tiến trình tại máy khách.

Task Orchestration

TASK ORCHESTRATION#

1. Cơ chế Gom nhóm và Lên lịch (Scheduling & Batching)#

2. Chiến lược Tối ưu hóa Dữ liệu (Caching Strategy)#

3. Thuật toán Phân phối Tải (Weighted Distribution)#

TASK ORCHESTRATION

1. Cơ chế Gom nhóm và Lên lịch (Scheduling & Batching)

2. Chiến lược Tối ưu hóa Dữ liệu (Caching Strategy)

3. Thuật toán Phân phối Tải (Weighted Distribution)