Blog

Bản dịch tự động · Đọc bằng tiếng Anh

Một AI Agent có thực sự điều hành được cộng đồng của bạn không?

Có, với phần cơ chế vận hành; không, với những quyết định khó đảo ngược — và "luôn có con người trong vòng kiểm soát" cũng không phải là giải pháp. Lỗi cấm 8.000 người của Discord cho thấy lý do.

Bởi Mathis Grosjean

Ảnh bìa bài viết của Zealy trên nền tối có họa tiết. Logo Zealy nhỏ ở góc trên bên trái, dòng nhãn OPINION - AUGUST 2026, và tiêu đề lớn: The human in the loop is software too.
Trên trang này

Trả lời ngắn gọn: một AI agent ngày nay có thể điều hành phần cơ chế vận hành của một cộng đồng — soạn thảo, lên lịch, đọc, tóm tắt, định tuyến và trả lời những câu hỏi đã có sẵn câu trả lời được ghi chép. Không nên giao cho nó những quyết định mà khi sai sẽ tốn kém và khó đảo ngược, và lý do không phải vì các mô hình kém cỏi. Mà là vì chúng không đáng tin cậy theo một cách cụ thể đã được đo lường, và bước con người kiểm duyệt mà người ta dựa vào như một tấm lưới an toàn thì bản thân nó cũng là phần mềm có thể hỏng. Phần thứ ba là phần thường bị bỏ sót: "luôn có con người trong vòng kiểm soát" cũng không phải là cách sửa. Câu hỏi khả thi là: quyết định nào, ở mức độ tin cậy nào, với lộ trình khiếu nại nào.

Công bố: Zealy xuất bản trang này và Zealy bán chính thứ đang được bàn tới. Zealy là một nền tảng cộng đồng và quest, Zealy cung cấp một MCP server cho phép AI agent quản trị một cộng đồng Zealy, và Zealy cung cấp một trình đánh giá AI quyết định các claim quest. Cả ba đều xuất hiện bên dưới, bao gồm chỗ mà hai trong số đó mâu thuẫn với nhau và hai chỗ mà thiết kế của một đối thủ tốt hơn của chúng tôi.

Xác minh lần cuối: 18 tháng 8 năm 2026.

Một AI agent thực sự có thể làm gì trong một cộng đồng ngày nay?

Một AI agent có thể làm phần cơ chế vận hành một cách đáng tin cậy: soạn bài đăng và câu trả lời, lên lịch chúng, đọc một kênh và tóm tắt nó, định tuyến một báo cáo đến đúng người, và trả lời những câu hỏi đã có sẵn câu trả lời được ghi chép. Đó là những công việc mà một kết quả sai thì dễ thấy, rẻ và dễ sửa trước khi bất kỳ ai bị tổn hại.

Danh sách đó không phải là chuyện nhỏ. Phần lớn công việc cộng đồng là cơ học, và phần lớn các đội ngũ cộng đồng đang tụt lại phía sau ở phần này. Nếu một agent soạn bản tóm tắt hàng tuần của bạn và một người chỉ mất bốn phút để sửa thay vì bốn mươi phút để viết, đó là một thắng lợi thực sự với rủi ro có giới hạn.

Chúng tôi viết bài này vì câu hỏi đang được trả lời một cách tệ. Khi tìm kiếm can ai run my community vào ngày 18 tháng 8 năm 2026, mọi kết quả chúng tôi nhận được đều là blog của nhà cung cấp hoặc trang sản phẩm của nhà cung cấp — heightsplatform.com, mightynetworks.com, social.plus, circle.so, socialglow.com, aismartventures.com. Không một kết quả nào chúng tôi nhận được trả lời câu hỏi bằng một chữ "không" hay "một phần". Mỗi kết quả đều diễn đạt lại nó thành một danh sách tính năng. Đó là một quan sát về các kết quả chúng tôi thu được trong một ngày, không phải một khẳng định về mọi thứ từng được viết.

Chính các nhà cung cấp trong ngành này lại trung thực hơn những gì trang đích của họ gợi ý. Hướng dẫn của Sprout Social về xây dựng AI agent cho mạng xã hội, của McCall Lanman, xuất bản ngày 16 tháng 4 năm 2026, định nghĩa phạm trù này bằng sự vắng mặt của con người: "An AI agent is a software program that uses a large language model (LLM) as its brain to autonomously complete tasks, make decisions and interact with external tools—without a human directing every step." Xa hơn trên cùng trang đó, nó bảo bạn đưa con người trở lại: "Approval workflows: Route sensitive responses to a human manager before they're sent—this is called human-in-the-loop." Và nói thẳng: "Without guardrails, even a well-built agent produces off-brand or harmful outputs."

Đó không phải là đạo đức giả. Đó là khó khăn thực sự của ngành này lộ ra qua một trang tiếp thị, và điều đó đáng được nói một cách tử tế. Nếu bạn muốn thuật ngữ này được xác định rõ ràng, bài trụ cột của chúng tôi về agentic marketing đánh giá nó dựa trên cơ chế vận hành chứ không phải tham vọng.

Vì sao giới hạn thực sự là sự không đáng tin cậy, không phải năng lực

Vấn đề khi giao cho một agent một quyết định phán đoán không phải là các mô hình kém cỏi. Mà là chúng không nhất quán, và sự không nhất quán là thứ khó quản lý hơn một điểm yếu đã biết. Nghiên cứu về hội thoại nhiều lượt cho thấy phần lớn sự suy giảm nằm ở phương sai chứ không phải ở năng lực thô.

Bài báo là "LLMs Get Lost In Multi-Turn Conversation" của Philippe Laban, Hiroaki Hayashi, Yingbo Zhou và Jennifer Neville, arXiv:2505.06120, gửi ngày 9 tháng 5 năm 2025. Phần tóm tắt báo cáo rằng "all the top open- and closed-weight LLMs we test exhibit significantly lower performance in multi-turn conversations than single-turn, with an average drop of 39% across six generation tasks."

Câu quan trọng hơn là câu tiếp theo: "Analysis of 200,000+ simulated conversations decomposes the performance degradation into two components: a minor loss in aptitude and a significant increase in unreliability." Và kiểu thất bại có một hình dạng — "when LLMs take a wrong turn in a conversation, they get lost and do not recover".

Hãy đọc các lưu ý trước khi dùng con số 39% đó ở bất cứ đâu. Đây là các cuộc hội thoại mô phỏng trên sáu tác vụ sinh văn bản, đo trên các mô hình năm 2025, và 39% là mức trung bình trên các tác vụ đó chứ không phải một thuộc tính của bất kỳ sản phẩm nào bạn có thể mua hôm nay. Các mô hình đã cải thiện kể từ đó. Phát hiện bền vững không phải là con số, mà là cách phân tách.

Đây là lý do vì sao việc phân tách chính là toàn bộ lập luận. Một công cụ đơn giản là chưa đủ tốt là một vấn đề về lập lịch: bạn chờ, hoặc bạn thu hẹp nhiệm vụ. Một công cụ đúng trung bình và sai không thể đoán trước là một vấn đề về quản lý, và đó là một vấn đề khác. Bạn không thể bố trí nhân sự để xử lý bằng cách kiểm tra các trường hợp khó, vì bạn không biết trước trường hợp nào là khó. Công việc cộng đồng vốn dĩ là nhiều lượt — một thành viên hỏi, làm rõ, phản bác, thêm ngữ cảnh ba tin nhắn sau đó — đúng là bối cảnh mà bài báo đã đo lường.

Con người trong vòng lặp của Discord là một phần mềm, và nó có lỗi

Discord đã công bố, ở thì hiện tại, rằng một thành viên trong nhóm Trust & Safety của họ luôn xem xét nội dung bị gắn cờ trước khi thực hiện bất kỳ hành động nào. Một lỗi vẫn cấm hơn 8.000 tài khoản. Con người trong vòng lặp là một đường dẫn mã, và các đường dẫn mã thất bại như phần mềm, không như con người.

TechCrunch đưa tin vào ngày 7 tháng 7 năm 2026, trong một bài viết của Lauren Forristal với tiêu đề "Discord thừa nhận lỗi kiểm duyệt AI đã cấm nhầm người dùng vì những hình ảnh vô hại". Cốt lõi của nó: "Discord đã thừa nhận rằng một lỗi trong hệ thống kiểm duyệt AI của mình đã cấm nhầm hơn 8.000 người dùng trong hai tháng qua, sau khi những hình ảnh vô hại — bao gồm bảng tính, bàn cờ, kết cấu trò chơi, cũng như nền trong suốt màu trắng và xám — bị gắn cờ nhầm là nội dung có hại."

Quy mô đáng để đọc chính xác thay vì làm tròn lên. "Công ty xác nhận rằng sự cố đã ảnh hưởng đến các tài khoản từ tháng 5, với thêm 200 người dùng bị cấm vào cuối tuần trước khi nhóm của họ xác định và khắc phục sự cố. Tất cả các tài khoản bị ảnh hưởng hiện đang trong quá trình được khôi phục."

Giờ đến phần thay đổi cách bạn nên nghĩ về điều này. Tài khoản hỗ trợ của chính Discord, được TechCrunch trích dẫn từ chuỗi của nó ngày 7 tháng 7 năm 2026, đã mô tả thiết kế: "Hệ thống của chúng tôi gắn cờ nội dung bằng cách đối chiếu nó với tài liệu có hại đã biết. Kiểu đối chiếu tương đồng này có thể tạo ra dương tính giả, đó là lý do vì sao một thành viên trong nhóm Trust & Safety của chúng tôi luôn xem xét nội dung bị gắn cờ trước khi thực hiện bất kỳ hành động nào."

Và bản tóm tắt của chính TechCrunch về những gì đã xảy ra: "Một kiểm duyệt viên con người xem xét nội dung, nhưng một lỗi đã khiến hệ thống cấm ngay các tài khoản bị ảnh hưởng."

Cả hai điều đó đều đúng cùng một lúc. Bước xem xét đã được thiết kế, đã được ghi lại tài liệu, và đã được mô tả công khai ở thì hiện tại — và nó đã không chạy. Discord không nói dối, và bài viết này không lập luận rằng họ đã nói dối. Điểm mấu chốt hẹp hơn và khó chịu hơn: một con người trong vòng lặp là một phần mềm và thất bại như một phần mềm. Nó là một điều kiện, một hàng đợi, một lệnh gọi dịch vụ, một cờ tính năng. Mỗi thứ đó đều có thể sai, và khi một thứ sai, thuộc tính an toàn mà bạn đang dựa vào lặng lẽ không còn tồn tại trong khi sơ đồ kiến trúc vẫn hiển thị nó.

Cũng hãy để ý những đầu vào gây lỗi là gì. Bảng tính. Bàn cờ. Nền trong suốt màu xám. Không có gì trong danh sách đó trông giống một trường hợp biên mà ai đó sẽ viết kiểm thử cho nó, đó là điều kiện thông thường của một hệ thống đối chiếu tương đồng khi gặp thế giới thực.

Nếu toàn bộ sự đảm bảo của bạn với các thành viên là "một người kiểm tra", thì bạn chưa đưa ra một tuyên bố về con người. Bạn đã đưa ra một tuyên bố về một đường dẫn mã, và bạn nên có thể nói lần cuối nó chạy là khi nào.

Vì sao "luôn giữ một con người trong vòng lặp" cũng không phải là bài học

Cách chỉnh sửa gọn gàng cho sự cường điệu của nhà cung cấp là nói rằng một người phải phê duyệt mọi thứ. Digital Trust & Safety Partnership, viết cho các công ty làm việc này ở quy mô lớn, không nói như vậy. Tổ chức này báo cáo rằng việc thực thi tự động không có xem xét của con người là phổ biến khi độ tin cậy cao, và rằng việc xem xét của con người không phải là không thể sai.

Nguồn là "Thực tiễn tốt nhất cho AI và Tự động hóa trong Trust & Safety", Digital Trust & Safety Partnership, tháng 9 năm 2024. Đây là tài liệu có thẩm quyền nhất trong lĩnh vực này mà bất kỳ ai cũng có thể tải xuống, và nó thoải mái với tự động hóa hơn hầu hết mọi người mong đợi.

Về việc liệu bạn có thể tránh tự động hóa hoàn toàn hay không: "AI và tự động hóa không phải là thuốc chữa bách bệnh — chúng đi kèm với một số thách thức và hạn chế và sự tham gia của con người vẫn là cần thiết. Tuy nhiên, việc xử lý lạm dụng liên quan đến nội dung và hành vi ở quy mô lớn là không thể đối với nhiều sản phẩm và dịch vụ số nếu không có một mức độ AI và tự động hóa nào đó." Hãy để ý phạm vi trong câu đó — "đối với nhiều sản phẩm và dịch vụ số", không phải cho tất cả mọi người. Một cộng đồng bốn trăm người không ở cùng vị thế với một nền tảng bốn trăm triệu người.

Về những gì các công ty thành viên thực sự làm: "tất cả các công ty đối tác DTSP được phỏng vấn cho báo cáo này tiếp tục dựa vào cả công cụ tự động lẫn việc xem xét và giám sát của con người để thực hiện hành động phù hợp, đặc biệt là khi cần một cách tiếp cận tinh tế hơn để đánh giá nội dung hoặc hành vi."

Và rồi hai câu khiến bài viết này không thay thế sự cường điệu của nhà cung cấp bằng một sự đơn giản hóa gọn gàng hơn:

  • "Việc các nhóm trust and safety bật hành động thực thi tự động mà không có xem xét của con người khi một hệ thống có độ tin cậy cao trong đánh giá của nó là phổ biến."
  • "Người ta thường giả định rằng một kiểm duyệt viên con người sẽ chính xác và đáng tin cậy hơn một hệ thống AI; tuy nhiên, việc xem xét của con người không phải là không thể sai."

Báo cáo cũng nêu rõ hình dạng của sự đánh đổi mà bạn thực sự đang thực hiện khi tinh chỉnh bất kỳ điều gì trong số này: "Tối ưu hóa cho độ phủ (bắt được nhiều vi phạm tiềm năng hơn) có thể làm tăng cả dương tính thật và dương tính giả, có khả năng dẫn đến hành động quá mức. Ngược lại, tối ưu hóa cho độ chính xác (phát hiện vi phạm chính xác hơn) có thể giảm dương tính giả nhưng cũng có thể làm tăng âm tính giả (hành động thiếu)."

Vì vậy, thiết kế mà báo cáo mô tả không phải là "để tác nhân tự quyết định" cũng không phải "một người phê duyệt mọi thứ". Đó là phân tầng theo độ tin cậy: "Khi mức độ tin cậy thấp hơn, hệ thống tự động có thể thực hiện một hành động thực thi tạm thời (ví dụ: tạm thời hạ thứ hạng nội dung hoặc giảm khả năng hiển thị của tài khoản), và chuyển trường hợp đó cho con người xem xét để phê duyệt hoặc sửa đổi hành động."

Đó là một mô hình tư duy thực sự khác biệt so với mô hình mà hầu hết chủ sở hữu cộng đồng đang mang theo, và nó tốt hơn. Con đường độ tin cậy thấp không dừng lại và chờ đợi. Nó thực hiện hành động nhỏ nhất có thể đảo ngược và sau đó hỏi một người. Hạ thứ hạng không phải là cấm. Một yêu cầu quest bị giữ để xem xét không phải là yêu cầu bị từ chối. Nếu bạn có thể phát minh ra một hành động trung gian, bạn không còn phải chọn giữa tốc độ và an toàn trong từng trường hợp nữa.

Những quyết định nào bạn có thể giao cho máy móc ngay hôm nay

Hãy sắp xếp các quyết định theo điều gì xảy ra khi máy móc sai, không phải theo việc chúng trông khó đến mức nào. Một bản nháp sai sẽ được chỉnh sửa. Một bản tóm tắt tồi sẽ được đọc lại. Một lệnh cấm sai khiến một thành viên mất tài khoản, và khiến bạn tốn một luồng hỗ trợ, một danh tiếng, và có thể cả một phán quyết. Khả năng đảo ngược là trục quan trọng.

Bảng này là đánh giá của Zealy, không phải phát hiện từ bất kỳ nguồn nào ở trên. Đây là những gì chúng tôi sẽ nói với một chủ sở hữu cộng đồng hỏi chúng tôi vào ngày 18 tháng 8 năm 2026.

Quyết địnhCâu trả lời của chúng tôi hôm nayĐiều gì phải đúng trước khi bạn tự động hóa nó
Soạn thảo bài đăng, mô tả quest hoặc trả lờiCóMột người đọc nó trước khi nó được gửi đi. Không cần gì khác.
Tóm tắt một kênh, một tuần hoặc một hàng đợi bài nộpCóNguyên liệu thô vẫn có thể truy cập được, để người đọc có thể kiểm tra bản tóm tắt dựa trên đó.
Định tuyến một báo cáo, câu hỏi hoặc yêu cầu đến đúng ngườiCóĐịnh tuyến sai là rẻ và dễ thấy, và hàng đợi không phải là một hố đen.
Trả lời một câu hỏi có câu trả lời được ghi chépCó, cẩn thậnCâu trả lời tồn tại bằng văn bản ở đâu đó bạn kiểm soát, và một câu trả lời sai có thể được sửa công khai và nhanh chóng.
Gắn thẻ, xếp hạng hoặc sắp xếp hàng đợi cho con ngườiCóCon người vẫn thấy các mục mà mô hình xếp hạng cuối. Sắp xếp không phải là lọc.
Phê duyệt hoặc từ chối một bài nộp có trả thưởngChỉ khi có đường khiếu nạiThành viên được thông báo lý do, một người có thể đảo ngược phán quyết, và ai đó đang theo dõi tỷ lệ đảo ngược.
Xóa nội dung hoặc hạn chế tài khoảnChỉ khi có hành động trung gian có thể đảo ngượcTồn tại một con đường độ tin cậy thấp thực hiện điều gì đó nhỏ hơn hành động đầy đủ, như báo cáo DTSP mô tả.
Cấm một thành viên hoàn toànKhôngChúng tôi không thể nêu ra một mức độ tin cậy nào khiến việc này an toàn mà không có con người, và sự cố Discord là lý do.
Chi tiền hoặc chuyển phần thưởngKhôngKhông có gì trong bài viết này ủng hộ việc tự động hóa nó, và thất bại không thể đảo ngược bằng cách xin lỗi.

Mô hình dọc theo cột giữa đó không phải là "những việc khó là dành cho con người". Xếp hạng một hàng đợi là một nhiệm vụ nhận thức khó hơn việc cấm ai đó. Nó nằm ở đầu danh sách vì xếp hạng sai không khiến bạn mất gì mà bạn không thể hoàn tác trong một giây, còn cấm sai khiến bạn mất một người.

Một lưu ý thực tế không vừa trong bảng. Hầu hết mọi cộng đồng tự động hóa một quyết định đều quên đo tỷ lệ đảo ngược sau đó, nghĩa là đường khiếu nại tồn tại nhưng không ai đọc những gì nó tạo ra. Nếu bạn xây dựng một thứ từ bài viết này, hãy xây dựng bộ đếm. Nếu bạn đang ước tính phía con người của công việc đó, cách ủy thác nhiệm vụ cộng đồng đề cập đến chi phí lao động không bao giờ xuất hiện trên trang giá.

Zealy vận hành hai con đường AI, và chúng trả lời câu hỏi này khác nhau

Thông qua máy chủ MCP của Zealy, không có gì một tác nhân thay đổi có hiệu lực cho đến khi một người nói đồng ý. Bên trong sản phẩm Zealy, tính năng đánh giá AI của Zealy quyết định thẳng một yêu cầu quest: nó đánh dấu yêu cầu là thành công hoặc thất bại và đăng lý do của nó cho thành viên. Hai con đường AI trong một công ty, câu trả lời trái ngược cho cùng một câu hỏi.

Hãy xem cái thứ hai trước, vì nó là cái lập luận chống lại chúng tôi. Trên các gói Plus và Enterprise, bạn có thể bật đánh giá AI cho một quest và viết một prompt mô tả bài nộp hợp lệ trông như thế nào. Tài liệu của chính Zealy nêu rõ hệ quả mà không làm nhẹ đi: AI quyết định yêu cầu. Nó không để lại một khuyến nghị cho con người xác nhận. Nó đánh dấu yêu cầu là thành công hoặc thất bại, và lý do nó đưa ra được đăng làm bình luận đánh giá mà thành viên đọc trong hộp thư của họ. Các phán quyết của nó được gán cho một người đánh giá AI của Zealy xuất hiện cùng với nhóm của bạn trong phân tích những người đánh giá hàng đầu. Nếu bạn muốn một người đưa ra quyết định cuối cùng, bạn tắt đánh giá AI cho quest đó. Tất cả điều đó nằm trên tài liệu đánh giá của Zealy, và nó đã được công bố ở đó suốt thời gian qua.

Đối chiếu với bảng ở trên, đó là một quyết định phê duyệt hoặc từ chối tự động đối với một quyết định trao XP và phần thưởng vai trò — và, vì tài liệu của Zealy nói rằng cộng đồng có trách nhiệm phân phối bất kỳ loại phần thưởng nào khác, đối với quyết định xác định ai là người mà cộng đồng sau đó cũng nợ những phần thưởng đó. Các biện pháp giảm thiểu là có thật — một người đánh giá có thể hoàn tác bất kỳ phán quyết nào, điều này đặt lại yêu cầu về trạng thái chờ, và thành viên được thông báo lý do thay vì bị đánh trượt một cách âm thầm — nhưng quyết định được đưa ra bởi mô hình, và việc khiếu nại bắt đầu từ việc thành viên nhận ra.

Con đường AI khác của Zealy lại có quan điểm ngược lại. Trên máy chủ Zealy MCP, một tác nhân đọc tự do và không thể thay đổi bất cứ điều gì nếu không có người phê duyệt chính xác thay đổi đó trước. Cơ chế của cổng đó, từng công cụ một, nằm trong cách kiểm tra quyền truy cập của tác nhân AI vào cộng đồng của bạn, tài liệu liệt kê bề mặt thay vì mô tả nó.

Chúng tôi sẽ không giải quyết mâu thuẫn đó trong một bài blog, và giả vờ rằng nó là một triết lý nhất quán duy nhất sẽ còn tệ hơn là in ra. Hai đội, hai mô hình mối đe dọa, hai câu trả lời. Điều chúng tôi có thể nói là sự phân chia này không ngẫu nhiên: con đường MCP là một tác nhân bên ngoài hành động với quyền hạn của quản trị viên trên toàn bộ cộng đồng, còn con đường đánh giá là một phán đoán có phạm vi về một bài nộp dựa trên một lời nhắc do chính cộng đồng viết. Đó là những rủi ro khác nhau. Liệu chúng có khác biệt đủ để biện minh cho các mặc định ngược nhau hay không là một câu hỏi công bằng để đặt cho chúng tôi, và nếu bạn đang đánh giá Zealy, bạn nên đặt câu hỏi đó.

Điểm chung vẫn đúng vượt ra ngoài sản phẩm của chính chúng tôi. Khi một nhà cung cấp nói với bạn rằng AI của họ luôn có con người trong vòng kiểm soát, hãy hỏi họ đang nói đến tính năng AI nào. Các công ty không có một chính sách duy nhất. Họ có một chính sách cho mỗi đội đã phát hành một thứ gì đó.

Nơi Discord và Cove làm điều này tốt hơn Zealy

AutoMod của Discord chạy bên trong chính Discord và chặn một tin nhắn trước khi bất kỳ ai nhìn thấy nó; Zealy không nằm trong đường đi của tin nhắn Discord và không thể ngăn chặn bất cứ điều gì trước khi nó được đăng. Cove cung cấp một Bảng điều khiển Kiểm duyệt viên được xây dựng trên tiền đề rằng tự động hóa của chính nó sẽ bỏ sót mọi thứ. Zealy không có tương đương.

Đó là hai lợi thế khác nhau và cả hai đều đáng để hiểu.

Lợi thế của Discord mang tính vị trí. Tài liệu Tự động Kiểm duyệt của chính Discord mô tả tính năng này là một tính năng "cho phép mỗi guild thiết lập các quy tắc kích hoạt dựa trên một số tiêu chí", và BLOCK_MESSAGE hành động của nó là một hành động "chặn tin nhắn của một thành viên và ngăn nó được đăng". Đó là toàn bộ lợi thế trong một mệnh đề: can thiệp xảy ra trước khi xuất bản chứ không phải sau. Zealy kết nối với Discord, trao vai trò và xác minh nhiệm vụ; nó không phải là máy chủ trò chuyện, và không lượng AI nào phía chúng tôi thay đổi được vị trí của chúng tôi. Nếu vấn đề của bạn là "một tin nhắn xấu không bao giờ được xuất hiện", công cụ giải quyết nó là công cụ đã nằm trong đường ống. Khảo sát của chúng tôi về các công cụ tương tác Discord đề cập đến những gì khác thuộc về lớp đó.

Lợi thế của Cove mang tính kiến trúc, và đó là lợi thế thú vị hơn. Cove tự mô tả trong tài liệu của chính mình là "Cove là một nền tảng không cần mã cho Trust & Safety", và sau đó viết điều này về tự động hóa của chính nó: "Một số nội dung có hại chắc chắn sẽ lọt qua các Quy tắc Tự động của bạn, và nó sẽ được người dùng của bạn báo cáo/gắn cờ. Với Bảng điều khiển Kiểm duyệt viên của chúng tôi, các kiểm duyệt viên của bạn có thể xem xét các báo cáo đó và hành động trực tiếp trên chúng trong giao diện của chúng tôi."

Hãy đọc lại từ "chắc chắn", trong tài liệu sản phẩmcủa chính nhà cung cấp, về sản phẩm họ đang bán cho bạn. Cove đã thiết kế một bề mặt mà toàn bộ lý do tồn tại của nó là lớp tự động sẽ sai, và xây dựng quy trình bắt lấy điều đó như một phần hạng nhất của sản phẩm thay vì một phiếu hỗ trợ.

Zealy có chức năng hoàn tác trên một đánh giá, điều này không giống nhau. Hoàn tác là một kiểm soát cho một người đã biết một phán quyết là sai. Điều Cove có là một nơi mà những lần bỏ sót đến. Nếu bạn đang chọn một nền tảng một phần dựa trên cách nó xử lý thất bại của chính nó, sự khác biệt đó là điều cần kiểm tra, và bạn cũng nên kiểm tra điều đó ở chúng tôi. Chúng tôi đã viết một so sánh rộng hơn về phần mềm quản lý cộng đồng nếu bạn đang ở giai đoạn sớm hơn của quyết định đó, và Zealy là gì nếu bạn muốn mô tả đơn giản về phạm vi của chính chúng tôi.

Ai chịu trách nhiệm khi tác nhân sai

Bạn. Vào tháng 2 năm 2024, một tòa án Canada đã ra lệnh Air Canada bồi thường thiệt hại sau khi chatbot trên trang web của hãng cung cấp thông tin sai cho một hành khách đang đau buồn. Air Canada lập luận, theo lời của tòa án, rằng chatbot là một thực thể pháp lý riêng biệt chịu trách nhiệm cho hành động của chính nó. Tòa án đã trao tổng cộng 812,02 CA$, trong đó 650,88 CA$ là tiền bồi thường thiệt hại.

The Register đã đưa tin về vụ việc vào ngày 15 tháng 2 năm 2024, trong một bài viết của Katyanna Quach với tiêu đề "Air Canada phải bồi thường thiệt hại sau khi chatbot nói dối một hành khách đang đau buồn về ưu đãi giảm giá". Thành viên hội đồng xét xử vụ án là Christopher Rivers, và The Register trích dẫn phán quyết mô tả lập trường của hãng hàng không: "Trên thực tế, Air Canada cho rằng chatbot là một thực thể pháp lý riêng biệt chịu trách nhiệm cho hành động của chính nó."

Và phát hiện, chính là câu mà mọi chủ sở hữu cộng đồng triển khai một tác nhân nên có ở đâu đó để nhìn thấy: "Air Canada hẳn phải thấy rõ rằng họ chịu trách nhiệm cho tất cả thông tin trên trang web của mình. Không có gì khác biệt dù thông tin đến từ một trang tĩnh hay một chatbot."

Một lưu ý về cách chúng tôi trích dẫn điều này. Chúng tôi đang trích dẫn bài báo của The Register chứ không phải bản phán quyết, mà chúng tôi chưa đọc, và chúng tôi không in trích dẫn vụ án.

Số tiền nhỏ nhưng nguyên tắc thì không. Một tác nhân nói trong cộng đồng của bạn là bạn nói trong cộng đồng của bạn. Các thành viên sẽ bắt bạn chịu trách nhiệm về những gì nó đã nói, và ít nhất một tòa án cũng vậy. Điều đó áp dụng cho một chính sách hoàn tiền mà nó bịa ra, một quy tắc nó nêu mà bạn chưa bao giờ viết, và một lệnh cấm nó đưa ra. "AI đã làm điều đó" đã được thử làm lý lẽ bào chữa và đã thất bại.

Cách đặt ranh giới cho cộng đồng của chính bạn

Viết ra các quyết định mà agent của bạn sẽ đưa ra, rồi viết ra điều gì xảy ra khi mỗi quyết định sai và ai sẽ sửa nó. Nếu bạn không thể nêu tên người sửa nó, quyết định đó chưa sẵn sàng để tự động hóa. Bài tập đơn giản đó đáng giá hơn bất kỳ ngưỡng tin cậy nào bạn sẽ chọn một cách mù quáng.

Một phiên bản ngắn gọn của những gì bằng chứng trên ủng hộ, theo thứ tự chúng ta sẽ làm:

  1. Tự động hóa ngay phần cơ học. Soạn thảo, lên lịch, tóm tắt, định tuyến, gắn thẻ. Rủi ro là một bản nháp kém, và bạn đã biết cách xử lý một bản nháp kém.
  2. Với bất cứ điều gì có hệ quả, hãy nghĩ ra hành động trung gian trước khi nghĩ ra ngưỡng. Con đường độ tin cậy thấp trong báo cáo DTSP thực hiện một bước nhỏ có thể đảo ngược và chuyển tiếp vụ việc. Giữ lại một claim, hạ thứ hạng một bài đăng, hạn chế nhưng không xóa một tài khoản. Nếu hai lựa chọn duy nhất của bạn là "hành động" và "chờ đợi", mọi ngưỡng bạn chọn đều sẽ sai theo một hướng.
  3. Coi bước con người duyệt xét của bạn như phần mềm, và kiểm thử nó như phần mềm. Bước đó của Discord tồn tại trên giấy và đã không chạy. Hãy hỏi lần cuối bước của bạn thực sự kích hoạt là khi nào, và điều gì sẽ cho bạn biết nếu nó ngừng hoạt động.
  4. Đếm số lần đảo ngược. Một quy trình kháng nghị không ai đo lường chỉ là một mẫu khiếu nại. Tỷ lệ đảo ngược là thước đo trung thực duy nhất bạn có được về việc quyết định tự động có đủ tốt hay không, và việc ghi lại gần như không tốn gì.
  5. Hãy giả định bạn chịu trách nhiệm cho mọi điều nó nói. Air Canada đã thử lập trường ngược lại trước một hội đồng xét xử.

Câu hỏi trong tiêu đề có câu trả lời thực sự và đó không phải là một cái nhún vai. Một AI agent có thể vận hành phần cơ học của cộng đồng bạn ngay hôm nay, một cách tốt, và bạn nên để nó làm. Nó chưa thể là thứ quyết định ai bị xóa, ai được trả tiền, hay chính sách của bạn là gì — không phải vì nó ngu ngốc, mà vì nó không đáng tin theo cách bạn không thể dự đoán cho từng trường hợp, và vì lưới an toàn con người bạn đặt phía sau nó là một phần mềm có những kiểu hỏng hóc riêng. Hãy thiết kế cho trường hợp cả hai đều sai, và bạn sẽ xây được thứ tốt hơn cả sự thổi phồng lẫn phản ứng dữ dội có thể mang lại cho bạn.

FAQs

Nó có thể vận hành phần cơ học: soạn bài đăng và câu trả lời, lên lịch chúng, đọc và tóm tắt các kênh, định tuyến báo cáo và câu hỏi, và trả lời những điều đã có câu trả lời được ghi lại. Nó không nên nắm giữ các quyết định tốn kém và khó đảo ngược — cấm thành viên, chi trả phần thưởng, hay đặt ra chính sách. Yếu tố giới hạn không phải là trí tuệ. Nghiên cứu về hội thoại nhiều lượt phân tách sự sụt giảm hiệu suất thành "một mất mát nhỏ về năng lực và một gia tăng đáng kể về độ không đáng tin cậy", và sự sai sót không thể dự đoán khó bố trí nhân sự hơn một điểm yếu đã biết, vì bạn không thể biết trước trường hợp nào cần đến con người.

Một phần, và chính Discord là bằng chứng tốt nhất cho cả hai nửa. Discord cung cấp AutoMod như một phần của chính Discord, và tài liệu của nó mô tả hành động chặn là hành động "chặn tin nhắn của một thành viên và ngăn nó được đăng" — điều mà không nền tảng bên ngoài nào, kể cả Zealy, có thể làm, vì chúng ta không nằm trong đường đi của tin nhắn. Discord cũng chạy kiểm duyệt AI trên hình ảnh, và TechCrunch đưa tin vào ngày 7 tháng 7 năm 2026 rằng một lỗi trong hệ thống đó "đã cấm nhầm hơn 8.000 người dùng trong hai tháng qua" vì những hình ảnh vô hại bao gồm bảng tính, bàn cờ và nền trong suốt màu xám. Lọc tự động trước khi công bố thực sự hữu ích. Thực thi vĩnh viễn tự động là chỗ nó đi sai.

Một cách đáng tin cậy: soạn thông báo, mô tả quest và câu trả lời để một người phê duyệt; lên lịch chúng; đọc một kênh hoặc một tuần bài nộp và tóm tắt; định tuyến một báo cáo hoặc câu hỏi đến đúng người; gắn thẻ và xếp hạng một hàng đợi; và trả lời những câu hỏi mà bạn đã ghi sẵn câu trả lời. Với sự thận trọng: bất cứ điều gì chi trả hoặc hạn chế ai đó, và chỉ khi thành viên được cho biết lý do, một người có thể đảo ngược nó, và ai đó đang đếm số lần đảo ngược. Chưa thể: cấm, chi tiêu, và quyết định các quy tắc của bạn là gì.

Không, và đây là chỗ hầu hết lời khuyên sửa sai quá mức. Báo cáo tháng 9 năm 2024 của Digital Trust and Safety Partnership về AI và tự động hóa trong tin cậy và an toàn nêu rằng "Việc các nhóm tin cậy và an toàn bật hành động thực thi tự động mà không có con người duyệt xét khi một hệ thống có độ tin cậy cao trong đánh giá của nó là điều phổ biến", và trong cùng tài liệu rằng "con người duyệt xét không phải là không thể sai lầm". Thiết kế mà nó mô tả là phân tầng theo độ tin cậy thay vì nhị phân: ở độ tin cậy thấp hơn, hệ thống thực hiện một hành động nhỏ hơn, có thể đảo ngược — ví dụ trong báo cáo là tạm thời hạ thứ hạng nội dung hoặc giảm khả năng được khám phá của một tài khoản — và chuyển vụ việc đến một người để phê duyệt hoặc sửa đổi. Câu hỏi hữu ích là quyết định nào, ở độ tin cậy nào, với quy trình kháng nghị nào.

Bạn phải chịu trách nhiệm về điều đó. Vào tháng 2 năm 2024, một tòa án Canada đã buộc Air Canada phải trả CA$812.02, trong đó CA$650.88 là tiền bồi thường, sau khi chatbot trên trang web của hãng cung cấp thông tin sai cho một hành khách đang đau buồn. The Register, đưa tin về phán quyết của thành viên hội đồng xét xử Christopher Rivers, trích dẫn: "Air Canada hẳn phải thấy rõ rằng hãng chịu trách nhiệm về mọi thông tin trên trang web của mình. Thông tin đến từ một trang tĩnh hay từ chatbot đều không tạo ra khác biệt." Chúng tôi trích dẫn bài báo đó thay vì chính phán quyết, vì chúng tôi chưa đọc phán quyết. Phiên bản thực tế: một agent nói trong cộng đồng của bạn cũng chính là bạn đang nói trong cộng đồng của bạn, nên hãy xây dựng quy trình khiếu nại trước khi bạn cần đến nó.

Ở một chỗ, đúng vậy, và chúng tôi muốn bạn nghe điều đó từ chính chúng tôi. Trên gói Plus và Enterprise, bạn có thể bật tính năng AI review cho một quest và viết prompt mô tả thế nào là một bài nộp hợp lệ. Tài liệu của chính Zealy nêu rõ rằng AI quyết định claim: nó không để lại đề xuất cho con người xác nhận, mà đánh dấu claim thành công hay thất bại, và lý do nó đưa ra được đăng làm bình luận review mà thành viên đọc trong hộp thư của mình. Các phán quyết của nó được ghi nhận cho một Zealy AI reviewer trong phần phân tích top-reviewers, một reviewer có thể hoàn tác bất kỳ phán quyết nào, và nếu bạn muốn con người đưa ra quyết định cuối cùng thì hãy tắt AI review cho quest đó. MCP server của Zealy lại mặc định ngược lại: agent có thể đọc tự do, còn mọi thao tác ghi đều dừng lại chờ con người. Hai con đường AI, hai câu trả lời, một công ty — và đó là điều hợp lý để bạn hỏi chúng tôi.