Một AI Agent có thực sự điều hành được cộng đồng của bạn không?
Có, với phần cơ chế vận hành; không, với những quyết định khó đảo ngược — và "luôn có con người trong vòng kiểm soát" cũng không phải là giải pháp. Lỗi cấm 8.000 người của Discord cho thấy lý do.
Bởi Mathis Grosjean

Trên trang này
Trả lời ngắn gọn: một AI agent ngày nay có thể điều hành phần cơ chế vận hành của một cộng đồng — soạn thảo, lên lịch, đọc, tóm tắt, định tuyến và trả lời những câu hỏi đã có sẵn câu trả lời được ghi chép. Không nên giao cho nó những quyết định mà khi sai sẽ tốn kém và khó đảo ngược, và lý do không phải vì các mô hình kém cỏi. Mà là vì chúng không đáng tin cậy theo một cách cụ thể đã được đo lường, và bước con người kiểm duyệt mà người ta dựa vào như một tấm lưới an toàn thì bản thân nó cũng là phần mềm có thể hỏng. Phần thứ ba là phần thường bị bỏ sót: "luôn có con người trong vòng kiểm soát" cũng không phải là cách sửa. Câu hỏi khả thi là: quyết định nào, ở mức độ tin cậy nào, với lộ trình khiếu nại nào.
Công bố: Zealy xuất bản trang này và Zealy bán chính thứ đang được bàn tới. Zealy là một nền tảng cộng đồng và quest, Zealy cung cấp một MCP server cho phép AI agent quản trị một cộng đồng Zealy, và Zealy cung cấp một trình đánh giá AI quyết định các claim quest. Cả ba đều xuất hiện bên dưới, bao gồm chỗ mà hai trong số đó mâu thuẫn với nhau và hai chỗ mà thiết kế của một đối thủ tốt hơn của chúng tôi.
Xác minh lần cuối: 18 tháng 8 năm 2026.
Một AI agent thực sự có thể làm gì trong một cộng đồng ngày nay?
Một AI agent có thể làm phần cơ chế vận hành một cách đáng tin cậy: soạn bài đăng và câu trả lời, lên lịch chúng, đọc một kênh và tóm tắt nó, định tuyến một báo cáo đến đúng người, và trả lời những câu hỏi đã có sẵn câu trả lời được ghi chép. Đó là những công việc mà một kết quả sai thì dễ thấy, rẻ và dễ sửa trước khi bất kỳ ai bị tổn hại.
Danh sách đó không phải là chuyện nhỏ. Phần lớn công việc cộng đồng là cơ học, và phần lớn các đội ngũ cộng đồng đang tụt lại phía sau ở phần này. Nếu một agent soạn bản tóm tắt hàng tuần của bạn và một người chỉ mất bốn phút để sửa thay vì bốn mươi phút để viết, đó là một thắng lợi thực sự với rủi ro có giới hạn.
Chúng tôi viết bài này vì câu hỏi đang được trả lời một cách tệ. Khi tìm kiếm can ai run my community vào ngày 18 tháng 8 năm 2026, mọi kết quả chúng tôi nhận được đều là blog của nhà cung cấp hoặc trang sản phẩm của nhà cung cấp — heightsplatform.com, mightynetworks.com, social.plus, circle.so, socialglow.com, aismartventures.com. Không một kết quả nào chúng tôi nhận được trả lời câu hỏi bằng một chữ "không" hay "một phần". Mỗi kết quả đều diễn đạt lại nó thành một danh sách tính năng. Đó là một quan sát về các kết quả chúng tôi thu được trong một ngày, không phải một khẳng định về mọi thứ từng được viết.
Chính các nhà cung cấp trong ngành này lại trung thực hơn những gì trang đích của họ gợi ý. Hướng dẫn của Sprout Social về xây dựng AI agent cho mạng xã hội, của McCall Lanman, xuất bản ngày 16 tháng 4 năm 2026, định nghĩa phạm trù này bằng sự vắng mặt của con người: "An AI agent is a software program that uses a large language model (LLM) as its brain to autonomously complete tasks, make decisions and interact with external tools—without a human directing every step." Xa hơn trên cùng trang đó, nó bảo bạn đưa con người trở lại: "Approval workflows: Route sensitive responses to a human manager before they're sent—this is called human-in-the-loop." Và nói thẳng: "Without guardrails, even a well-built agent produces off-brand or harmful outputs."
Đó không phải là đạo đức giả. Đó là khó khăn thực sự của ngành này lộ ra qua một trang tiếp thị, và điều đó đáng được nói một cách tử tế. Nếu bạn muốn thuật ngữ này được xác định rõ ràng, bài trụ cột của chúng tôi về agentic marketing đánh giá nó dựa trên cơ chế vận hành chứ không phải tham vọng.
Vì sao giới hạn thực sự là sự không đáng tin cậy, không phải năng lực
Vấn đề khi giao cho một agent một quyết định phán đoán không phải là các mô hình kém cỏi. Mà là chúng không nhất quán, và sự không nhất quán là thứ khó quản lý hơn một điểm yếu đã biết. Nghiên cứu về hội thoại nhiều lượt cho thấy phần lớn sự suy giảm nằm ở phương sai chứ không phải ở năng lực thô.
Bài báo là "LLMs Get Lost In Multi-Turn Conversation" của Philippe Laban, Hiroaki Hayashi, Yingbo Zhou và Jennifer Neville, arXiv:2505.06120, gửi ngày 9 tháng 5 năm 2025. Phần tóm tắt báo cáo rằng "all the top open- and closed-weight LLMs we test exhibit significantly lower performance in multi-turn conversations than single-turn, with an average drop of 39% across six generation tasks."
Câu quan trọng hơn là câu tiếp theo: "Analysis of 200,000+ simulated conversations decomposes the performance degradation into two components: a minor loss in aptitude and a significant increase in unreliability." Và kiểu thất bại có một hình dạng — "when LLMs take a wrong turn in a conversation, they get lost and do not recover".
Hãy đọc các lưu ý trước khi dùng con số 39% đó ở bất cứ đâu. Đây là các cuộc hội thoại mô phỏng trên sáu tác vụ sinh văn bản, đo trên các mô hình năm 2025, và 39% là mức trung bình trên các tác vụ đó chứ không phải một thuộc tính của bất kỳ sản phẩm nào bạn có thể mua hôm nay. Các mô hình đã cải thiện kể từ đó. Phát hiện bền vững không phải là con số, mà là cách phân tách.
Đây là lý do vì sao việc phân tách chính là toàn bộ lập luận. Một công cụ đơn giản là chưa đủ tốt là một vấn đề về lập lịch: bạn chờ, hoặc bạn thu hẹp nhiệm vụ. Một công cụ đúng trung bình và sai không thể đoán trước là một vấn đề về quản lý, và đó là một vấn đề khác. Bạn không thể bố trí nhân sự để xử lý bằng cách kiểm tra các trường hợp khó, vì bạn không biết trước trường hợp nào là khó. Công việc cộng đồng vốn dĩ là nhiều lượt — một thành viên hỏi, làm rõ, phản bác, thêm ngữ cảnh ba tin nhắn sau đó — đúng là bối cảnh mà bài báo đã đo lường.
Con người trong vòng lặp của Discord là một phần mềm, và nó có lỗi
Discord đã công bố, ở thì hiện tại, rằng một thành viên trong nhóm Trust & Safety của họ luôn xem xét nội dung bị gắn cờ trước khi thực hiện bất kỳ hành động nào. Một lỗi vẫn cấm hơn 8.000 tài khoản. Con người trong vòng lặp là một đường dẫn mã, và các đường dẫn mã thất bại như phần mềm, không như con người.
TechCrunch đưa tin vào ngày 7 tháng 7 năm 2026, trong một bài viết của Lauren Forristal với tiêu đề "Discord thừa nhận lỗi kiểm duyệt AI đã cấm nhầm người dùng vì những hình ảnh vô hại". Cốt lõi của nó: "Discord đã thừa nhận rằng một lỗi trong hệ thống kiểm duyệt AI của mình đã cấm nhầm hơn 8.000 người dùng trong hai tháng qua, sau khi những hình ảnh vô hại — bao gồm bảng tính, bàn cờ, kết cấu trò chơi, cũng như nền trong suốt màu trắng và xám — bị gắn cờ nhầm là nội dung có hại."
Quy mô đáng để đọc chính xác thay vì làm tròn lên. "Công ty xác nhận rằng sự cố đã ảnh hưởng đến các tài khoản từ tháng 5, với thêm 200 người dùng bị cấm vào cuối tuần trước khi nhóm của họ xác định và khắc phục sự cố. Tất cả các tài khoản bị ảnh hưởng hiện đang trong quá trình được khôi phục."
Giờ đến phần thay đổi cách bạn nên nghĩ về điều này. Tài khoản hỗ trợ của chính Discord, được TechCrunch trích dẫn từ chuỗi của nó ngày 7 tháng 7 năm 2026, đã mô tả thiết kế: "Hệ thống của chúng tôi gắn cờ nội dung bằng cách đối chiếu nó với tài liệu có hại đã biết. Kiểu đối chiếu tương đồng này có thể tạo ra dương tính giả, đó là lý do vì sao một thành viên trong nhóm Trust & Safety của chúng tôi luôn xem xét nội dung bị gắn cờ trước khi thực hiện bất kỳ hành động nào."
Và bản tóm tắt của chính TechCrunch về những gì đã xảy ra: "Một kiểm duyệt viên con người xem xét nội dung, nhưng một lỗi đã khiến hệ thống cấm ngay các tài khoản bị ảnh hưởng."
Cả hai điều đó đều đúng cùng một lúc. Bước xem xét đã được thiết kế, đã được ghi lại tài liệu, và đã được mô tả công khai ở thì hiện tại — và nó đã không chạy. Discord không nói dối, và bài viết này không lập luận rằng họ đã nói dối. Điểm mấu chốt hẹp hơn và khó chịu hơn: một con người trong vòng lặp là một phần mềm và thất bại như một phần mềm. Nó là một điều kiện, một hàng đợi, một lệnh gọi dịch vụ, một cờ tính năng. Mỗi thứ đó đều có thể sai, và khi một thứ sai, thuộc tính an toàn mà bạn đang dựa vào lặng lẽ không còn tồn tại trong khi sơ đồ kiến trúc vẫn hiển thị nó.
Cũng hãy để ý những đầu vào gây lỗi là gì. Bảng tính. Bàn cờ. Nền trong suốt màu xám. Không có gì trong danh sách đó trông giống một trường hợp biên mà ai đó sẽ viết kiểm thử cho nó, đó là điều kiện thông thường của một hệ thống đối chiếu tương đồng khi gặp thế giới thực.
Nếu toàn bộ sự đảm bảo của bạn với các thành viên là "một người kiểm tra", thì bạn chưa đưa ra một tuyên bố về con người. Bạn đã đưa ra một tuyên bố về một đường dẫn mã, và bạn nên có thể nói lần cuối nó chạy là khi nào.
Vì sao "luôn giữ một con người trong vòng lặp" cũng không phải là bài học
Cách chỉnh sửa gọn gàng cho sự cường điệu của nhà cung cấp là nói rằng một người phải phê duyệt mọi thứ. Digital Trust & Safety Partnership, viết cho các công ty làm việc này ở quy mô lớn, không nói như vậy. Tổ chức này báo cáo rằng việc thực thi tự động không có xem xét của con người là phổ biến khi độ tin cậy cao, và rằng việc xem xét của con người không phải là không thể sai.
Nguồn là "Thực tiễn tốt nhất cho AI và Tự động hóa trong Trust & Safety", Digital Trust & Safety Partnership, tháng 9 năm 2024. Đây là tài liệu có thẩm quyền nhất trong lĩnh vực này mà bất kỳ ai cũng có thể tải xuống, và nó thoải mái với tự động hóa hơn hầu hết mọi người mong đợi.
Về việc liệu bạn có thể tránh tự động hóa hoàn toàn hay không: "AI và tự động hóa không phải là thuốc chữa bách bệnh — chúng đi kèm với một số thách thức và hạn chế và sự tham gia của con người vẫn là cần thiết. Tuy nhiên, việc xử lý lạm dụng liên quan đến nội dung và hành vi ở quy mô lớn là không thể đối với nhiều sản phẩm và dịch vụ số nếu không có một mức độ AI và tự động hóa nào đó." Hãy để ý phạm vi trong câu đó — "đối với nhiều sản phẩm và dịch vụ số", không phải cho tất cả mọi người. Một cộng đồng bốn trăm người không ở cùng vị thế với một nền tảng bốn trăm triệu người.
Về những gì các công ty thành viên thực sự làm: "tất cả các công ty đối tác DTSP được phỏng vấn cho báo cáo này tiếp tục dựa vào cả công cụ tự động lẫn việc xem xét và giám sát của con người để thực hiện hành động phù hợp, đặc biệt là khi cần một cách tiếp cận tinh tế hơn để đánh giá nội dung hoặc hành vi."
Và rồi hai câu khiến bài viết này không thay thế sự cường điệu của nhà cung cấp bằng một sự đơn giản hóa gọn gàng hơn:
- "Việc các nhóm trust and safety bật hành động thực thi tự động mà không có xem xét của con người khi một hệ thống có độ tin cậy cao trong đánh giá của nó là phổ biến."
- "Người ta thường giả định rằng một kiểm duyệt viên con người sẽ chính xác và đáng tin cậy hơn một hệ thống AI; tuy nhiên, việc xem xét của con người không phải là không thể sai."
Báo cáo cũng nêu rõ hình dạng của sự đánh đổi mà bạn thực sự đang thực hiện khi tinh chỉnh bất kỳ điều gì trong số này: "Tối ưu hóa cho độ phủ (bắt được nhiều vi phạm tiềm năng hơn) có thể làm tăng cả dương tính thật và dương tính giả, có khả năng dẫn đến hành động quá mức. Ngược lại, tối ưu hóa cho độ chính xác (phát hiện vi phạm chính xác hơn) có thể giảm dương tính giả nhưng cũng có thể làm tăng âm tính giả (hành động thiếu)."
Vì vậy, thiết kế mà báo cáo mô tả không phải là "để tác nhân tự quyết định" cũng không phải "một người phê duyệt mọi thứ". Đó là phân tầng theo độ tin cậy: "Khi mức độ tin cậy thấp hơn, hệ thống tự động có thể thực hiện một hành động thực thi tạm thời (ví dụ: tạm thời hạ thứ hạng nội dung hoặc giảm khả năng hiển thị của tài khoản), và chuyển trường hợp đó cho con người xem xét để phê duyệt hoặc sửa đổi hành động."
Đó là một mô hình tư duy thực sự khác biệt so với mô hình mà hầu hết chủ sở hữu cộng đồng đang mang theo, và nó tốt hơn. Con đường độ tin cậy thấp không dừng lại và chờ đợi. Nó thực hiện hành động nhỏ nhất có thể đảo ngược và sau đó hỏi một người. Hạ thứ hạng không phải là cấm. Một yêu cầu quest bị giữ để xem xét không phải là yêu cầu bị từ chối. Nếu bạn có thể phát minh ra một hành động trung gian, bạn không còn phải chọn giữa tốc độ và an toàn trong từng trường hợp nữa.
Những quyết định nào bạn có thể giao cho máy móc ngay hôm nay
Hãy sắp xếp các quyết định theo điều gì xảy ra khi máy móc sai, không phải theo việc chúng trông khó đến mức nào. Một bản nháp sai sẽ được chỉnh sửa. Một bản tóm tắt tồi sẽ được đọc lại. Một lệnh cấm sai khiến một thành viên mất tài khoản, và khiến bạn tốn một luồng hỗ trợ, một danh tiếng, và có thể cả một phán quyết. Khả năng đảo ngược là trục quan trọng.
Bảng này là đánh giá của Zealy, không phải phát hiện từ bất kỳ nguồn nào ở trên. Đây là những gì chúng tôi sẽ nói với một chủ sở hữu cộng đồng hỏi chúng tôi vào ngày 18 tháng 8 năm 2026.
| Quyết định | Câu trả lời của chúng tôi hôm nay | Điều gì phải đúng trước khi bạn tự động hóa nó |
|---|---|---|
| Soạn thảo bài đăng, mô tả quest hoặc trả lời | Có | Một người đọc nó trước khi nó được gửi đi. Không cần gì khác. |
| Tóm tắt một kênh, một tuần hoặc một hàng đợi bài nộp | Có | Nguyên liệu thô vẫn có thể truy cập được, để người đọc có thể kiểm tra bản tóm tắt dựa trên đó. |
| Định tuyến một báo cáo, câu hỏi hoặc yêu cầu đến đúng người | Có | Định tuyến sai là rẻ và dễ thấy, và hàng đợi không phải là một hố đen. |
| Trả lời một câu hỏi có câu trả lời được ghi chép | Có, cẩn thận | Câu trả lời tồn tại bằng văn bản ở đâu đó bạn kiểm soát, và một câu trả lời sai có thể được sửa công khai và nhanh chóng. |
| Gắn thẻ, xếp hạng hoặc sắp xếp hàng đợi cho con người | Có | Con người vẫn thấy các mục mà mô hình xếp hạng cuối. Sắp xếp không phải là lọc. |
| Phê duyệt hoặc từ chối một bài nộp có trả thưởng | Chỉ khi có đường khiếu nại | Thành viên được thông báo lý do, một người có thể đảo ngược phán quyết, và ai đó đang theo dõi tỷ lệ đảo ngược. |
| Xóa nội dung hoặc hạn chế tài khoản | Chỉ khi có hành động trung gian có thể đảo ngược | Tồn tại một con đường độ tin cậy thấp thực hiện điều gì đó nhỏ hơn hành động đầy đủ, như báo cáo DTSP mô tả. |
| Cấm một thành viên hoàn toàn | Không | Chúng tôi không thể nêu ra một mức độ tin cậy nào khiến việc này an toàn mà không có con người, và sự cố Discord là lý do. |
| Chi tiền hoặc chuyển phần thưởng | Không | Không có gì trong bài viết này ủng hộ việc tự động hóa nó, và thất bại không thể đảo ngược bằng cách xin lỗi. |
Mô hình dọc theo cột giữa đó không phải là "những việc khó là dành cho con người". Xếp hạng một hàng đợi là một nhiệm vụ nhận thức khó hơn việc cấm ai đó. Nó nằm ở đầu danh sách vì xếp hạng sai không khiến bạn mất gì mà bạn không thể hoàn tác trong một giây, còn cấm sai khiến bạn mất một người.
Một lưu ý thực tế không vừa trong bảng. Hầu hết mọi cộng đồng tự động hóa một quyết định đều quên đo tỷ lệ đảo ngược sau đó, nghĩa là đường khiếu nại tồn tại nhưng không ai đọc những gì nó tạo ra. Nếu bạn xây dựng một thứ từ bài viết này, hãy xây dựng bộ đếm. Nếu bạn đang ước tính phía con người của công việc đó, cách ủy thác nhiệm vụ cộng đồng đề cập đến chi phí lao động không bao giờ xuất hiện trên trang giá.
Zealy vận hành hai con đường AI, và chúng trả lời câu hỏi này khác nhau
Thông qua máy chủ MCP của Zealy, không có gì một tác nhân thay đổi có hiệu lực cho đến khi một người nói đồng ý. Bên trong sản phẩm Zealy, tính năng đánh giá AI của Zealy quyết định thẳng một yêu cầu quest: nó đánh dấu yêu cầu là thành công hoặc thất bại và đăng lý do của nó cho thành viên. Hai con đường AI trong một công ty, câu trả lời trái ngược cho cùng một câu hỏi.
Hãy xem cái thứ hai trước, vì nó là cái lập luận chống lại chúng tôi. Trên các gói Plus và Enterprise, bạn có thể bật đánh giá AI cho một quest và viết một prompt mô tả bài nộp hợp lệ trông như thế nào. Tài liệu của chính Zealy nêu rõ hệ quả mà không làm nhẹ đi: AI quyết định yêu cầu. Nó không để lại một khuyến nghị cho con người xác nhận. Nó đánh dấu yêu cầu là thành công hoặc thất bại, và lý do nó đưa ra được đăng làm bình luận đánh giá mà thành viên đọc trong hộp thư của họ. Các phán quyết của nó được gán cho một người đánh giá AI của Zealy xuất hiện cùng với nhóm của bạn trong phân tích những người đánh giá hàng đầu. Nếu bạn muốn một người đưa ra quyết định cuối cùng, bạn tắt đánh giá AI cho quest đó. Tất cả điều đó nằm trên tài liệu đánh giá của Zealy, và nó đã được công bố ở đó suốt thời gian qua.
Đối chiếu với bảng ở trên, đó là một quyết định phê duyệt hoặc từ chối tự động đối với một quyết định trao XP và phần thưởng vai trò — và, vì tài liệu của Zealy nói rằng cộng đồng có trách nhiệm phân phối bất kỳ loại phần thưởng nào khác, đối với quyết định xác định ai là người mà cộng đồng sau đó cũng nợ những phần thưởng đó. Các biện pháp giảm thiểu là có thật — một người đánh giá có thể hoàn tác bất kỳ phán quyết nào, điều này đặt lại yêu cầu về trạng thái chờ, và thành viên được thông báo lý do thay vì bị đánh trượt một cách âm thầm — nhưng quyết định được đưa ra bởi mô hình, và việc khiếu nại bắt đầu từ việc thành viên nhận ra.
Con đường AI khác của Zealy lại có quan điểm ngược lại. Trên máy chủ Zealy MCP, một tác nhân đọc tự do và không thể thay đổi bất cứ điều gì nếu không có người phê duyệt chính xác thay đổi đó trước. Cơ chế của cổng đó, từng công cụ một, nằm trong cách kiểm tra quyền truy cập của tác nhân AI vào cộng đồng của bạn, tài liệu liệt kê bề mặt thay vì mô tả nó.
Chúng tôi sẽ không giải quyết mâu thuẫn đó trong một bài blog, và giả vờ rằng nó là một triết lý nhất quán duy nhất sẽ còn tệ hơn là in ra. Hai đội, hai mô hình mối đe dọa, hai câu trả lời. Điều chúng tôi có thể nói là sự phân chia này không ngẫu nhiên: con đường MCP là một tác nhân bên ngoài hành động với quyền hạn của quản trị viên trên toàn bộ cộng đồng, còn con đường đánh giá là một phán đoán có phạm vi về một bài nộp dựa trên một lời nhắc do chính cộng đồng viết. Đó là những rủi ro khác nhau. Liệu chúng có khác biệt đủ để biện minh cho các mặc định ngược nhau hay không là một câu hỏi công bằng để đặt cho chúng tôi, và nếu bạn đang đánh giá Zealy, bạn nên đặt câu hỏi đó.
Điểm chung vẫn đúng vượt ra ngoài sản phẩm của chính chúng tôi. Khi một nhà cung cấp nói với bạn rằng AI của họ luôn có con người trong vòng kiểm soát, hãy hỏi họ đang nói đến tính năng AI nào. Các công ty không có một chính sách duy nhất. Họ có một chính sách cho mỗi đội đã phát hành một thứ gì đó.
Nơi Discord và Cove làm điều này tốt hơn Zealy
AutoMod của Discord chạy bên trong chính Discord và chặn một tin nhắn trước khi bất kỳ ai nhìn thấy nó; Zealy không nằm trong đường đi của tin nhắn Discord và không thể ngăn chặn bất cứ điều gì trước khi nó được đăng. Cove cung cấp một Bảng điều khiển Kiểm duyệt viên được xây dựng trên tiền đề rằng tự động hóa của chính nó sẽ bỏ sót mọi thứ. Zealy không có tương đương.
Đó là hai lợi thế khác nhau và cả hai đều đáng để hiểu.
Lợi thế của Discord mang tính vị trí. Tài liệu Tự động Kiểm duyệt của chính Discord mô tả tính năng này là một tính năng "cho phép mỗi guild thiết lập các quy tắc kích hoạt dựa trên một số tiêu chí", và BLOCK_MESSAGE hành động của nó là một hành động "chặn tin nhắn của một thành viên và ngăn nó được đăng". Đó là toàn bộ lợi thế trong một mệnh đề: can thiệp xảy ra trước khi xuất bản chứ không phải sau. Zealy kết nối với Discord, trao vai trò và xác minh nhiệm vụ; nó không phải là máy chủ trò chuyện, và không lượng AI nào phía chúng tôi thay đổi được vị trí của chúng tôi. Nếu vấn đề của bạn là "một tin nhắn xấu không bao giờ được xuất hiện", công cụ giải quyết nó là công cụ đã nằm trong đường ống. Khảo sát của chúng tôi về các công cụ tương tác Discord đề cập đến những gì khác thuộc về lớp đó.
Lợi thế của Cove mang tính kiến trúc, và đó là lợi thế thú vị hơn. Cove tự mô tả trong tài liệu của chính mình là "Cove là một nền tảng không cần mã cho Trust & Safety", và sau đó viết điều này về tự động hóa của chính nó: "Một số nội dung có hại chắc chắn sẽ lọt qua các Quy tắc Tự động của bạn, và nó sẽ được người dùng của bạn báo cáo/gắn cờ. Với Bảng điều khiển Kiểm duyệt viên của chúng tôi, các kiểm duyệt viên của bạn có thể xem xét các báo cáo đó và hành động trực tiếp trên chúng trong giao diện của chúng tôi."
Hãy đọc lại từ "chắc chắn", trong tài liệu sản phẩmcủa chính nhà cung cấp, về sản phẩm họ đang bán cho bạn. Cove đã thiết kế một bề mặt mà toàn bộ lý do tồn tại của nó là lớp tự động sẽ sai, và xây dựng quy trình bắt lấy điều đó như một phần hạng nhất của sản phẩm thay vì một phiếu hỗ trợ.
Zealy có chức năng hoàn tác trên một đánh giá, điều này không giống nhau. Hoàn tác là một kiểm soát cho một người đã biết một phán quyết là sai. Điều Cove có là một nơi mà những lần bỏ sót đến. Nếu bạn đang chọn một nền tảng một phần dựa trên cách nó xử lý thất bại của chính nó, sự khác biệt đó là điều cần kiểm tra, và bạn cũng nên kiểm tra điều đó ở chúng tôi. Chúng tôi đã viết một so sánh rộng hơn về phần mềm quản lý cộng đồng nếu bạn đang ở giai đoạn sớm hơn của quyết định đó, và Zealy là gì nếu bạn muốn mô tả đơn giản về phạm vi của chính chúng tôi.
Ai chịu trách nhiệm khi tác nhân sai
Bạn. Vào tháng 2 năm 2024, một tòa án Canada đã ra lệnh Air Canada bồi thường thiệt hại sau khi chatbot trên trang web của hãng cung cấp thông tin sai cho một hành khách đang đau buồn. Air Canada lập luận, theo lời của tòa án, rằng chatbot là một thực thể pháp lý riêng biệt chịu trách nhiệm cho hành động của chính nó. Tòa án đã trao tổng cộng 812,02 CA$, trong đó 650,88 CA$ là tiền bồi thường thiệt hại.
The Register đã đưa tin về vụ việc vào ngày 15 tháng 2 năm 2024, trong một bài viết của Katyanna Quach với tiêu đề "Air Canada phải bồi thường thiệt hại sau khi chatbot nói dối một hành khách đang đau buồn về ưu đãi giảm giá". Thành viên hội đồng xét xử vụ án là Christopher Rivers, và The Register trích dẫn phán quyết mô tả lập trường của hãng hàng không: "Trên thực tế, Air Canada cho rằng chatbot là một thực thể pháp lý riêng biệt chịu trách nhiệm cho hành động của chính nó."
Và phát hiện, chính là câu mà mọi chủ sở hữu cộng đồng triển khai một tác nhân nên có ở đâu đó để nhìn thấy: "Air Canada hẳn phải thấy rõ rằng họ chịu trách nhiệm cho tất cả thông tin trên trang web của mình. Không có gì khác biệt dù thông tin đến từ một trang tĩnh hay một chatbot."
Một lưu ý về cách chúng tôi trích dẫn điều này. Chúng tôi đang trích dẫn bài báo của The Register chứ không phải bản phán quyết, mà chúng tôi chưa đọc, và chúng tôi không in trích dẫn vụ án.
Số tiền nhỏ nhưng nguyên tắc thì không. Một tác nhân nói trong cộng đồng của bạn là bạn nói trong cộng đồng của bạn. Các thành viên sẽ bắt bạn chịu trách nhiệm về những gì nó đã nói, và ít nhất một tòa án cũng vậy. Điều đó áp dụng cho một chính sách hoàn tiền mà nó bịa ra, một quy tắc nó nêu mà bạn chưa bao giờ viết, và một lệnh cấm nó đưa ra. "AI đã làm điều đó" đã được thử làm lý lẽ bào chữa và đã thất bại.
Cách đặt ranh giới cho cộng đồng của chính bạn
Viết ra các quyết định mà agent của bạn sẽ đưa ra, rồi viết ra điều gì xảy ra khi mỗi quyết định sai và ai sẽ sửa nó. Nếu bạn không thể nêu tên người sửa nó, quyết định đó chưa sẵn sàng để tự động hóa. Bài tập đơn giản đó đáng giá hơn bất kỳ ngưỡng tin cậy nào bạn sẽ chọn một cách mù quáng.
Một phiên bản ngắn gọn của những gì bằng chứng trên ủng hộ, theo thứ tự chúng ta sẽ làm:
- Tự động hóa ngay phần cơ học. Soạn thảo, lên lịch, tóm tắt, định tuyến, gắn thẻ. Rủi ro là một bản nháp kém, và bạn đã biết cách xử lý một bản nháp kém.
- Với bất cứ điều gì có hệ quả, hãy nghĩ ra hành động trung gian trước khi nghĩ ra ngưỡng. Con đường độ tin cậy thấp trong báo cáo DTSP thực hiện một bước nhỏ có thể đảo ngược và chuyển tiếp vụ việc. Giữ lại một claim, hạ thứ hạng một bài đăng, hạn chế nhưng không xóa một tài khoản. Nếu hai lựa chọn duy nhất của bạn là "hành động" và "chờ đợi", mọi ngưỡng bạn chọn đều sẽ sai theo một hướng.
- Coi bước con người duyệt xét của bạn như phần mềm, và kiểm thử nó như phần mềm. Bước đó của Discord tồn tại trên giấy và đã không chạy. Hãy hỏi lần cuối bước của bạn thực sự kích hoạt là khi nào, và điều gì sẽ cho bạn biết nếu nó ngừng hoạt động.
- Đếm số lần đảo ngược. Một quy trình kháng nghị không ai đo lường chỉ là một mẫu khiếu nại. Tỷ lệ đảo ngược là thước đo trung thực duy nhất bạn có được về việc quyết định tự động có đủ tốt hay không, và việc ghi lại gần như không tốn gì.
- Hãy giả định bạn chịu trách nhiệm cho mọi điều nó nói. Air Canada đã thử lập trường ngược lại trước một hội đồng xét xử.
Câu hỏi trong tiêu đề có câu trả lời thực sự và đó không phải là một cái nhún vai. Một AI agent có thể vận hành phần cơ học của cộng đồng bạn ngay hôm nay, một cách tốt, và bạn nên để nó làm. Nó chưa thể là thứ quyết định ai bị xóa, ai được trả tiền, hay chính sách của bạn là gì — không phải vì nó ngu ngốc, mà vì nó không đáng tin theo cách bạn không thể dự đoán cho từng trường hợp, và vì lưới an toàn con người bạn đặt phía sau nó là một phần mềm có những kiểu hỏng hóc riêng. Hãy thiết kế cho trường hợp cả hai đều sai, và bạn sẽ xây được thứ tốt hơn cả sự thổi phồng lẫn phản ứng dữ dội có thể mang lại cho bạn.