Nghiệp vụ & Luồng Tìm kiếm
Quy trình cào từ khóa (Search Logic)#
Mục đích chính: Lên Google gõ từ khóa rồi gom data xếp hạng mang về.Luồng chạy thực tế qua 6 bước:#
1.
Nhận lệnh: User ném list từ khóa vào cục quản lý Go (gọi qua API POST /api/search).
2.
Ghi sổ & Cài cắm: Cục Go lưu list này xuống DB (Mongo). Nó tự động chèn thêm cái link Webhook của nó vào, mục đích là ép kết quả cào về phải đi qua tay nó duyệt trước khi trả cho User.
3.
Bốc việc: Thằng Bun (Worker) cứ liên tục chạy ngầm, thấy có task mới trong DB là hốt ngay.
4.
Thằng Bun xin 1 con IP Proxy để đổi địa chỉ mạng.
Bật Chrome lên, giả lập làm cái điện thoại hoặc máy tính y như người thật.
Gõ từ khóa lên Google để tìm kiếm.
5.
Bóc data: Quét một lượt màn hình để lấy mảng link Quảng cáo (Ads), mảng link lên Top tự nhiên (SEO), tóm luôn cả tiêu đề với phần mô tả của trang web đó.
6.
Báo cáo (Trả hàng): Cào xong, thằng Bun bắn Webhook gọi cục Go. Cục Go nhận hàng, cập nhật trạng thái "Done" rồi báo cho User là hoàn thành nhiệm vụ.
Giải thích nhanh mấy thuật ngữ cho dễ hình dung#
Engine: Kênh để search (ví dụ: Google VN, Google Quốc tế, hay Cốc Cốc).
Device OS: Chiêu trò đóng giả hệ điều hành (nay xài Win, mai xài Mac hay Android/iOS) để Google nó tưởng nhiều người khác nhau dùng, tránh bị khóa.
Webhook: Hiểu nôm na là phương thức để thằng Bun "gọi điện" báo cáo kết quả cho thằng Go sau khi nó cào xong data.
Ngày cập nhật 2026-03-30 10:48:44
