AI 代理真的能經營你的社群嗎?
機制層面可以,但難以逆轉的決策不行——而「保留人類在迴路中」也不是解方。Discord 的 8,000 筆封禁錯誤說明了原因。
作者 Mathis Grosjean

本頁內容
簡短回答: AI 代理今天就能執行社群的機制性工作——起草、排程、閱讀、摘要、分流,以及回答已有書面答案的問題。但不該把失敗代價高昂且難以逆轉的決策交給它,原因不是模型很笨,而是它們以某種可測量的特定方式不可靠,而人們當作安全網依賴的人類審查步驟本身也是可能出錯的軟體。第三點通常被略過:「永遠保留人類在迴路中」也不是解方。可行的問題是:哪些決策、在什麼信心水準下、附帶什麼申訴途徑。
揭露: 本頁由 Zealy 發布,而 Zealy 銷售的正是文中討論的產品。Zealy 是社群與任務平臺,Zealy 推出 MCP 伺服器讓 AI 代理管理 Zealy 社群,Zealy 也推出決定任務領取的 AI 審查員。三者都會在下方出現,包括其中兩者彼此矛盾之處,以及兩處競爭對手的設計優於我們的地方。
最後驗證: 2026 年 8 月 18 日。
AI 代理今天在社群裡實際能做什麼?
AI 代理能可靠地執行機制性工作:起草貼文與回覆、排程、閱讀頻道並摘要、將檢舉分流給正確的人,以及回答已有書面答案的問題。這些工作的錯誤輸出是可見的、代價低廉的,且能在任何人受害之前輕易修正。
這份清單並不小。多數社群工作都是機械性的,而多數社群團隊在這方面都落後。如果代理起草你的每週回顧,而一個人花四分鐘修正,而不是花四十分鐘撰寫,那就是有明確上限風險的真正勝利。
我們寫這篇文章,是因為這個問題正被糟糕地回答。搜尋 can ai run my community 於 2026 年 8 月 18 日,我們檢索到的每一筆結果都是廠商部落格或廠商產品頁——heightsplatform.com、mightynetworks.com、social.plus、circle.so、socialglow.com、aismartventures.com。我們檢索到的結果中,沒有一筆以「不行」或「部分可以」回答這個問題。每一筆都把它重述成功能清單。這是對我們某一天所取得結果的觀察,並非對所有曾寫過的內容的主張。
這個類別自己的廠商,比他們的登陸頁更誠實。Sprout Social 由 McCall Lanman 撰寫、於 2026 年 4 月 16 日發布的社群媒體 AI 代理建置指南, 定義了這個類別 ,靠的是人的缺席:「AI 代理是一種軟體程式,以大型語言模型(LLM)作為其大腦,自主完成任務、做出決策並與外部工具互動——無需人類指導每一步。」同一頁再往下,它又告訴你要把人放回去:「審批工作流程:將敏感回覆在送出前轉交人類主管——這稱為人類在迴路中。」並且直白地說:「沒有護欄,即使是建置良好的代理也會產出偏離品牌或有害的輸出。」
這不是虛偽。這是這個類別真正的難處透過行銷頁面顯露出來,值得善意地說出來。如果你想正確釐清這個詞本身,我們的 代理式行銷專欄 是以實際機制而非願景來評判它。
為什麼真正的限制是不可靠,而非能力
把判斷性決策交給代理的問題,不在於模型很笨,而在於它們不一致,而不一致比已知的弱點更難管理。關於多輪對話的研究顯示,大部分的效能下降來自變異,而非原始能力。
這篇論文是 「LLMs Get Lost In Multi-Turn Conversation」 ,作者為 Philippe Laban、Hiroaki Hayashi、Yingbo Zhou 與 Jennifer Neville,arXiv:2505.06120,2025 年 5 月 9 日提交。其摘要指出「我們測試的所有頂尖開放權重與封閉權重 LLM,在多輪對話中的表現都顯著低於單輪,六項生成任務平均下降 39%。」
更重要的一句是下一句:「對 200,000 多段模擬對話的分析,將效能下降分解為兩個部分:能力的小幅損失與不可靠性的大幅增加。」而失敗模式有其形狀——「當 LLM 在對話中走錯方向,它們會迷失且無法恢復」。
在你把那個 39% 用在任何地方之前,先讀讀注意事項。這些是跨六項生成任務的模擬對話,以 2025 年的模型測量,而 39% 是那些任務的平均值,並非你今天可能購買的任何產品的屬性。模型自那之後已有改進。持久的發現不是那個數字,而是那個分解。
這就是為什麼拆解本身就是整個論證。一個單純還不夠好的工具是排程問題:你要嘛等,要嘛縮小任務範圍。一個平均而言正確、卻會不可預測地出錯的工具則是管理問題,而且是另一種問題。你無法靠檢查困難案例來補足人力,因為你事先不知道哪個案例才是困難的那個。社群工作本質上就是多輪對話——成員提問、釐清、反駁、在三則訊息之後補充背景——而這正是該論文所測量的情境。
Discord 所謂的人為介入迴路其實是一段軟體,而它有 bug
Discord 以現在式公開表示,其 Trust & Safety 團隊的成員一律會在任何處置之前審查被標記的內容。但一個 bug 還是封鎖了超過 8,000 個帳號。所謂的人為介入迴路其實是一條程式碼路徑,而程式碼路徑會像軟體一樣失效,不會像人一樣。
TechCrunch 於 2026 年 7 月 7 日報導此事,文章由 Lauren Forristal 撰寫,標題為 「Discord 承認 AI 審核 bug 因無害圖片而誤封使用者」。核心內容是:「Discord 已承認其 AI 審核系統的一個 bug 在過去兩個月內誤封了超過 8,000 名使用者,原因是無害的圖片——包括試算表、棋盤、遊戲材質,以及白色與灰色透明背景——被錯誤標記為有害內容。」
這個規模值得精確閱讀,而非四捨五入。「該公司確認此問題自五月起便一直影響帳號,在其團隊找出並修復問題之前的那個週末,又有 200 名使用者被封鎖。所有受影響的帳號目前都在恢復過程中。」
接著是會改變你該如何看待這件事的部分。TechCrunch 引述 Discord 自家支援帳號於 2026 年 7 月 7 日的貼文,描述了這套設計:「我們的系統會將內容與已知的有害素材進行比對來標記內容。這類相似度比對可能產生誤判,因此我們 Trust & Safety 團隊的成員一律會在任何處置之前審查被標記的內容。」
而 TechCrunch 自己對事發經過的總結是:「會由人工審核員審查內容,但一個 bug 導致系統立即封鎖了受影響的帳號。」
這兩者同時為真。審查步驟經過設計、有文件記載,也以現在式公開描述過——但它並沒有執行。Discord 沒有說謊,而本文也不是在論證它說謊。重點更狹窄,也更令人不安: 人為介入迴路是一段軟體,也會像軟體一樣失效。 它是一個條件判斷、一個佇列、一次服務呼叫、一個功能旗標。這些每一個都可能出錯,而當其中一個出錯時,你所依賴的安全屬性便悄悄不復存在,而架構圖上卻仍畫著它。
也請注意出錯的輸入是什麼。試算表。棋盤。灰色透明背景。這份清單裡沒有任何一項看起來像是有人會為它寫測試的邊界案例,而這正是相似度比對系統遇上真實世界時的常態。
如果你對成員的整個保證只是「會有人檢查」,你並不是在對人做出承諾。你是在對一條程式碼路徑做出承諾,而你應該能夠說出它上次執行是什麼時候。
為什麼「永遠保留人為介入迴路」也不是這堂課的結論
對廠商誇大宣傳的整齊修正,就是說必須由人核准每一件事。為大規模執行這類工作的公司撰文的 Digital Trust & Safety Partnership 並沒有這麼說。它指出,當系統信心很高時,沒有人工審查的自動化處置很常見,而人工審查也並非萬無一失。
出處是 「AI 與自動化在信任與安全領域的最佳實務」,Digital Trust & Safety Partnership,2024 年 9 月。這是這個領域中任何人都能下載的最權威文件,而它對自動化的接受程度比多數人預期的更高。
關於是否根本能避免自動化:「AI 與自動化並非萬靈丹——它們伴隨若干挑戰與限制,人的參與仍然必要。然而,對許多數位產品與服務而言,若沒有某種程度的 AI 與自動化,就無法大規模處理與內容及行為相關的濫用。」注意那句話的範圍——「對許多數位產品與服務而言」,並非對所有人。一個四百人的社群,處境與一個四億人的平臺並不相同。
關於成員公司實際怎麼做:「所有接受本報告訪談的 DTSP 夥伴公司,都持續同時仰賴自動化工具與人工審查及監督來採取適當處置,尤其是在需要更細緻評估內容或行為的情況下。」
接著是兩句話,它們讓本文不至於用一個更整齊的簡化來取代廠商誇大宣傳:
- 「當系統對其評估具有高度信心時,信任與安全團隊在沒有任何人為審查的情況下啟用自動化處置,是很常見的。」
- 「人們常假設人工審核員會比 AI 系統更準確、更可靠;然而,人工審查並非萬無一失。」
報告也點出了你在調整這些設定時,實際做出的取捨:「為了提高召回率(抓到更多潛在違規)而最佳化,可能同時增加真陽性與偽陽性,導致過度處置。反之,為了提高精確率(更準確地偵測違規)而最佳化,可能減少偽陽性,但也可能增加偽陰性(處置不足)。」
因此,報告所描述的設計既不是「讓代理自行決定」,也不是「由人核准一切」。而是依信心分級:「當信心水準較低時,自動化系統可採取暫時性的執行動作(例如暫時降低內容排序,或降低帳號的可發現性),並將案件轉交人工審查,以核准或修改該動作。」
這與多數社群經營者慣用的心智模型截然不同,而且更好。低信心的路徑不會停下來等待,而是先採取可逆的最小動作,再詢問人員。降低排序不等於封禁。暫緩審查的任務領取不等於被拒絕的領取。如果你能設計出中間動作,就不必在每個個案上於速度與安全之間二選一。
今天哪些決策可以交給機器
請依「機器出錯時會發生什麼」來排序決策,而不是依它們看起來有多難。錯誤的草稿會被修改。糟糕的摘要會被重新閱讀。錯誤的封禁會讓成員失去帳號,也會讓你付出客服工單、聲譽,甚至可能是一項裁決。可逆性才是關鍵軸線。
這張表是 Zealy 的判斷,並非上述任何來源的發現。這是我們在 2026 年 8 月 18 日會告訴詢問我們的社群經營者的內容。
| 決策 | 我們今天的答案 | 在自動化之前必須成立的事 |
|---|---|---|
| 起草貼文、任務描述或回覆 | 可以 | 發布前有人閱讀。不需要其他條件。 |
| 摘要一個頻道、一週或一個提交佇列 | 可以 | 原始素材仍可取得,讀者能對照摘要查核。 |
| 將檢舉、問題或領取轉交給正確的人 | 可以 | 轉錯成本低且顯而易見,且佇列不是黑洞。 |
| 回答已有書面答案的問題 | 可以,但需謹慎 | 答案以書面形式存在於你可控的地方,且錯誤答案能公開且快速地更正。 |
| 為人員標記、排序或排列佇列 | 可以 | 人員仍能看到模型排在最後的項目。排序不是過濾。 |
| 核准或拒絕會發放獎勵的提交 | 僅在設有申訴管道時 | 成員會被告知原因,人員可以推翻裁決,且有人持續監控推翻率。 |
| 移除內容或限制帳號 | 僅在設有可逆的中間動作時 | 存在低信心路徑,會執行比完整動作更小的動作,如 DTSP 報告所述。 |
| 直接封禁成員 | 不可以 | 我們無法指出任何能讓此在無人員介入下安全的信心水準,Discord 事件就是原因。 |
| 花錢或轉移獎勵 | 不可以 | 本文沒有任何內容支持將其自動化,且失敗無法靠道歉逆轉。 |
中間欄的規律並不是「困難的事交給人」。為佇列排序是比封禁某人更難的認知任務。它之所以排在清單頂端,是因為排序錯誤不會造成你無法在一秒內復原的損失,而封禁錯誤會讓你失去一個人。
有一點實務提醒無法放進表格。幾乎每個將決策自動化的社群,事後都忘了衡量推翻率,這意味著申訴管道雖然存在,卻沒有人在閱讀它產出的內容。如果你要從本文建置一件事,就建置計數器。如果你在評估這項工作中人員端的規模, 如何委派社群任務 涵蓋了定價頁面上從未顯示的人力成本。
Zealy 運行兩條 AI 路徑,而它們對這個問題的答案不同
透過 Zealy 的 MCP 伺服器,代理所做的任何變更都要等人員確認後才會生效。在 Zealy 產品內部,Zealy 的 AI 審查會直接裁決任務領取:它將領取標記為成功或失敗,並將原因發布給成員。同一家公司內的兩條 AI 路徑,對同一個問題給出相反的答案。
先看第二條,因為它是對我們不利的那一條。在 Plus 與 Enterprise 方案中,你可以為任務開啟 AI 審查,並撰寫提示詞描述什麼是有效的提交。Zealy 自家的文件毫不緩和地陳述了後果: 由 AI 裁決領取。 它不會留下建議供人員確認。它會將領取標記為成功或失敗,而它給出的原因會作為審查評論發布,成員可在收件匣中讀到。它的裁決會歸屬於一位 Zealy AI 審查員,該審查員會與你的團隊一同出現在頂尖審查員分析中。如果你希望由人員做最終決定,就為該任務關閉 AI 審查。這些全都記載於 Zealy 的審查文件,而且一直以來都發布在那裡。
對照上表,這是在會發放 XP 與角色獎勵的決策上進行自動核准或拒絕——而且,由於 Zealy 的文件說明社群有責任發放任何其他種類的獎勵,這也涉及決定社群之後還欠誰這些獎勵的決策。緩解措施確實存在——審查員可以撤銷任何裁決,這會將領取重設為待處理,且成員會被告知原因,而不是被默默判為失敗——但決策是由模型做出的,而申訴始於成員注意到問題。
Zealy 的另一條 AI 路徑採取了相反的立場。在 Zealy MCP 伺服器上,代理可自由讀取,但若無人員先核准該項確切變更,就無法更改任何內容。那道閘門的運作機制,逐項工具說明,見 如何稽核 AI 代理對你社群的存取權,文中逐一列舉了介面,而非僅作描述。
我們不會在一篇部落格文章裡解決這個矛盾,而假裝它是一套連貫的單一哲學,會比直接印出來更糟。兩個團隊、兩種威脅模型、兩種答案。我們能說的是,這種分歧並非隨機:MCP 路徑是外部代理以管理員權限在整個社群中行動,而審查路徑則是針對單一提交、對照社群自行撰寫的提示詞所做的範圍受限判斷。這些是不同的風險。它們是否 足夠 不同到足以正當化相反的預設值,是個值得向我們提出的合理問題,而如果你正在評估 Zealy,你應該提出來。
這個普遍論點超越了我們自己的產品。當供應商告訴你他們的 AI 會讓人類留在迴圈中,要問清楚他們指的是哪一項 AI 功能。公司並沒有單一政策。他們是每個出貨團隊各有一套政策。
Discord 和 Cove 在這方面做得比 Zealy 好的地方
Discord 的 AutoMod 在 Discord 內部運作,在任何人看到訊息之前就將其封鎖;Zealy 不在 Discord 的訊息路徑上,無法在訊息發布前阻止任何內容。Cove 推出 Moderator Console,其前提正是自家的自動化會漏掉東西。Zealy 沒有對應的功能。
這是兩種不同的優勢,兩者都值得理解。
Discord 的優勢在於位置。Discord 自家的 自動審核文件 將該功能描述為「允許每個伺服器設定依某些條件觸發的規則」,並將其 BLOCK_MESSAGE 動作描述為「封鎖成員的訊息並阻止其發布」。整個優勢就在這一個子句裡:干預發生在發布之前,而非之後。Zealy 連接 Discord、發放身分組並驗證任務;它不是聊天伺服器,我們這邊再多的 AI 也改變不了我們所處的位置。如果你的問題是「壞訊息絕不能出現」,解決它的工具就是已經在流程中的那一個。我們的 Discord 互動工具調查 涵蓋了該層還應包含哪些其他內容。
Cove 的優勢在於架構,而這是更有意思的一種。Cove 在其自家文件中自述為「Cove 是一個用於信任與安全的無程式碼平臺」,接著這樣描述自家的自動化:「有些有害內容不可避免地會穿過你的自動化規則,並會被你的使用者檢舉/標記。透過我們的 Moderator Console,你的版主可以審查這些檢舉,並直接在我們的介面中對其採取行動。」
再讀一次「不可避免地」這個詞,而且是在供應商自家的 產品文件裡,談論他們賣給你的產品。Cove 設計了一個介面,其存在的全部理由就是自動化層會出錯,並把捕捉這些錯誤的工作流程建構為產品的一等公民,而非客服工單。
Zealy 在審查上有復原功能,但那不是同一回事。復原是一種控制手段,給已經知道裁決有誤的人使用。Cove 擁有的是失誤會送達的地方。如果你部分依據平臺如何處理自身的失誤來選擇平臺,那個區別就是該測試的重點,而你也應該用同樣標準測試我們。如果你在這項決策上還處於較早階段,我們寫了一篇更廣泛的 社群管理軟體 比較,而如果你想要我們自身範圍的平實描述,請看 Zealy 是什麼 。
當代理出錯時,由誰負責
由你負責。2024 年 2 月,加拿大一個仲裁庭裁定 Air Canada 須賠償,因為其網站聊天機器人向一名悲痛的乘客提供了錯誤資訊。Air Canada 主張——用仲裁庭的話說——聊天機器人是獨立的法律實體,須為自身行為負責。仲裁庭共判給 CA$812.02,其中 CA$650.88 為損害賠償。
The Register 於 2024 年 2 月 15 日報導此事,作者為 Katyanna Quach,標題是 「Air Canada 須賠償,因其聊天機器人就折扣向悲痛乘客說謊」。審理此案的仲裁庭成員是 Christopher Rivers,The Register 引述裁決中對該航空公司立場的描述:「實際上,Air Canada 主張聊天機器人是獨立的法律實體,須為自身行為負責。」
而裁決認定——這句話是每個部署代理的社群主都應該放在看得見的地方的:「Air Canada 顯然應對其網站上的所有資訊負責。資訊來自靜態頁面還是聊天機器人,並無差別。」
關於我們引用方式的一點說明。我們引用的是 The Register 的報導,而非裁決本身(我們並未閱讀裁決),也沒有印出案件引註。
金額很小,原則卻不然。在你的社群裡說話的代理,就是你在你的社群裡說話。成員會要你為它說過的話負責,而至少有一個仲裁庭也這麼做了。這適用於它憑空捏造的退款政策、它陳述而你從未寫過的規則,以及它下達的封禁。「是 AI 做的」曾被當作抗辯理由測試,結果敗訴。
如何為你自己的社群設定界線
寫下你的代理將做出的決定,然後寫下每個決定出錯時會發生什麼,以及由誰來修正。如果你說不出由誰修正,這個決定就還沒準備好自動化。這個簡單的練習,比你在盲目狀態下選的任何信心門檻都更有價值。
以下是上述證據所支持的簡短版本,按我們會執行的順序排列:
- 立即自動化機械性工作。 起草、排程、摘要、分流、標記。代價只是草稿品質不佳,而你早已知道如何處理糟糕的草稿。
- 對於任何帶有後果的事情,先設計中間動作,再設計門檻。 DTSP 報告中的低信心路徑會採取一個小幅且可逆的步驟,並將案件轉交後續處理。暫扣的聲明、降權的貼文、受限但未移除的帳號。如果你的選項只有「行動」和「等待」兩種,你選的任何門檻都會在某個方向上出錯。
- 把人工審查步驟當作軟體來對待,並像測試軟體一樣測試它。 Discord 的機制只存在於紙面上,並未實際運作。問問你的機制上次真正觸發是什麼時候,以及如果它停止了,什麼會告訴你。
- 統計翻轉次數。 無人衡量的申訴管道,只是一張投訴表。翻轉率是你判斷自動化決定是否足夠好的唯一誠實指標,而記錄它的成本幾乎為零。
- 假設它所說的一切都由你負責。 Air Canada 曾在法庭上嘗試過相反的立場。
標題中的問題有真正的答案,而不是一句搪塞。AI 代理今天就能把社群的機械性工作做得很好,你應該讓它去做。但它還不能成為決定誰被移除、誰獲得報酬,或你的政策是什麼的那個角色——不是因為它笨,而是因為它的不可靠性無法逐案預測,也因為你會放在它背後的人工安全網本身也是一套有自身故障模式的軟體。為兩者都出錯的情況做設計,你就能打造出比炒作或反彈所能帶來的更好的東西。