Sidekick của Shopify chọn app cho merchant thế nào

Merchant mở Sidekick, trợ lý AI nằm sẵn trong Shopify admin, rồi hỏi: app post purchase upsell nào tốt nhất cho store của tôi?

Nếu AI thành cửa vào App Store thì thứ hạng ở đó quan trọng đúng như SEO ngày xưa. Mà chẳng ai biết nó chọn kiểu gì.

Nên mình đi đo thử.

Cách mình đo

• 26 store thật, chưa store nào cài app của bọn mình
• Mỗi store hỏi đúng một câu
• Chưa store nào từng bị hỏi trước đó

Vì sao chỉ một câu mỗi store? Sidekick có trí nhớ xuyên hội thoại. Hỏi nhiều lần trên cùng một store là tự bơm hồ sơ người hỏi, rồi tự làm nhiễu số của mình.

Ba tầng, nút thắt nằm ngay tầng đầu

Tầng 1: mô hình tự viết lại từ khoá. Merchant gõ gì không quan trọng bằng cụm từ Sidekick tự sinh ra để đi tìm.

• Hỏi "app one click upsell tốt nhất" thì nó đi tìm one click upsell post purchase
• Hỏi "app upsell miễn phí tốt nhất" thì nó bỏ luôn chữ miễn phí

Tầng 2: lấy top 5 từ App Store. Mình không thấy dấu hiệu nó xếp lại thứ tự. 26 store, cùng một từ khoá, cùng một bộ 5 ứng viên, cùng thứ tự, không lệch lần nào.

Tầng 3: LLM đọc thông tin listing rồi kết luận. Nó lấy thẳng từ title, subtitle, mô tả, danh sách tính năng, bảng giá, rating, số review, badge Built for Shopify, danh sách tích hợp.

Kết luận của nó chỉ là phép khớp giữa yêu cầu merchant nêu ra và mấy trường đó. Merchant không nêu yêu cầu gì thì nó chọn app nhiều review nhất.

Ba con số

Lọt top 5	26/26, luôn ở vị trí #3
Được nêu tên ở đoạn chốt	25/26
Được nêu đầu tiên ở đoạn chốt	2/26

Vào được shortlist thì gần như chắc chắn được nhắc. Nhưng gần như luôn bị nhắc sau, và bị gộp chung câu với một app khác.

Số này đổi thứ tự việc của mình

• Thứ hạng tìm kiếm không sửa được bằng chữ. 26 lần ra cùng một bộ 5, cùng thứ tự. Sửa mô tả không đẩy được hạng, nên thôi khỏi tốn công ở đó.
• Chỗ sửa được là đoạn chốt. Đó là chỗ LLM đọc trường nào thì nói trường đó, mà trường thì mình sửa được.
• Đừng tranh ô "giá rẻ". Ô đó đông rồi. Bị gộp câu với app khác 23 trên 26 lần là hậu quả trực tiếp.

Còn một câu mình chưa trả lời được: sửa đúng một trường rồi chạy lại đúng 26 store đó thì đoạn chốt có đổi không.

Chưa đo thì chưa biết. Mình không muốn đoán.