AI 智能体真的能运营你的社区吗？
机制层面可以，但不可逆的决策不行——而“保留人类在环”也不是解决办法。Discord 的 8,000 封禁漏洞说明了原因。
作者 Mathis Grosjean
本页内容
简短回答： AI 智能体如今可以承担社区的机制性工作——起草、排期、阅读、总结、转交，以及回答已有文档答案的问题。但不应把失败代价高昂且难以逆转的决策交给它，原因并不是模型愚蠢，而是它们会以某种可测量的特定方式变得不可靠，而人们当作安全网依赖的人工审核环节本身也是可能出故障的软件。第三点通常被忽略：“始终保留人类在环”也不是解决办法。可行的问题是：哪些决策、在什么置信度下、走什么申诉路径。
披露： 本页由 Zealy 发布，而 Zealy 销售的正是文中讨论的产品。Zealy 是一个社区与任务平台，Zealy 提供 MCP 服务器，让 AI 智能体可以管理 Zealy 社区，Zealy 还提供 AI 审核器来决定任务认领。这三者都会在下面出现，包括其中两者彼此矛盾之处，以及竞争对手的设计优于我们的两处。
最后核实： 2026 年 8 月 18 日。
AI 智能体如今在社区里究竟能做什么？
AI 智能体可以可靠地完成机制性工作：起草帖子和回复、安排发布时间、阅读频道并总结、把报告转交给合适的人，以及回答已有文档答案的问题。这些工作的错误输出可见、代价低，且能在造成伤害前轻松纠正。
这份清单并不小。大多数社区工作都是机械性的，而大多数社区团队在这方面都落后了。如果智能体起草你的每周回顾，一个人花四分钟修改，而不是花四十分钟撰写，这就是实实在在的收益，且下行风险有限。
我们写这篇文章，是因为这个问题正被糟糕地回答。在 2026 年 8 月 18 日搜索 can ai run my community ，我们检索到的每一条结果都是供应商博客或供应商产品页——heightsplatform.com、mightynetworks.com、social.plus、circle.so、socialglow.com、aismartventures.com。我们检索到的结果中没有一条用“不能”或“部分可以”来回答这个问题。每一条都把它重述为功能列表。这是对我们在某一天所获结果的观察，并非对历来所有相关文章的断言。
这个品类自己的供应商比他们的落地页更诚实。Sprout Social 由 McCall Lanman 撰写、2026 年 4 月 16 日发布的社交媒体 AI 智能体构建指南， 定义了这个品类 ，其定义恰恰以人的缺席为核心：“AI 智能体是一种软件程序，它使用大语言模型（LLM）作为大脑，自主完成任务、做出决策并与外部工具交互——无需人类指导每一步。”同一页往下，它又告诉你要把人放回去：“审批工作流：将敏感回复在发送前转交给人类管理者——这被称为人类在环。”并且直言：“没有护栏，即使构建良好的智能体也会产生偏离品牌或有害的输出。”
这不是虚伪。这是该品类真正的难点透过营销页面显现出来，值得善意地指出。如果你想把这个术语本身准确地界定清楚，我们的 智能体营销支柱页 是依据其机制而非其愿景来评判它。
为什么真正的限制是不可靠性，而非能力
把需要判断的决策交给智能体，问题不在于模型愚蠢，而在于它们不一致，而不一致比已知的弱点更难管理。关于多轮对话的研究表明，大部分性能下降来自方差，而非原始能力。
这篇论文是 “LLMs Get Lost In Multi-Turn Conversation” ，作者为 Philippe Laban、Hiroaki Hayashi、Yingbo Zhou 和 Jennifer Neville，arXiv:2505.06120，2025 年 5 月 9 日提交。其摘要指出：“我们测试的所有顶级开放权重和闭源权重 LLM 在多轮对话中的表现都显著低于单轮，在六项生成任务中平均下降 39%。”
更重要的一句话是下一句：“对 200,000 多段模拟对话的分析将性能下降分解为两个部分：能力的轻微损失和不可靠性的显著增加。”而且失败模式有固定形态——“当 LLM 在对话中走错方向时，它们会迷失且无法恢复”。
在把那个 39% 用到任何地方之前，请先读注意事项。这些是在六项生成任务上的模拟对话，基于 2025 年的模型测量，39% 是这些任务的平均值，而非你今天可能购买的任何产品的属性。模型此后已有改进。持久的发现不是那个数字，而是这种分解。
这就是为什么分解才是整个论证。一个只是还不够好的工具是调度问题：你要么等待，要么缩小任务范围。一个平均正确但不可预测地出错的工具是管理问题，而且是另一种问题。你无法通过检查困难案例来围绕它安排人员，因为你事先不知道哪个案例是困难的。社区工作本质上是多轮的——成员提问、澄清、反驳、在三条消息之后补充背景——而这正是论文所测量的场景。
Discord 的“人在回路”是一段软件，而且它有 bug
Discord 用现在时公开表示，其 Trust & Safety 团队的成员总是在采取任何行动之前审查被标记的内容。然而一个 bug 还是封禁了超过 8,000 个账户。人在回路是一条代码路径，而代码路径的失败方式像软件，不像人。
TechCrunch 于 2026 年 7 月 7 日由 Lauren Forristal 报道，标题为 “Discord 承认 AI 审核 bug 因无害图片错误封禁用户”。核心内容：“Discord 已承认其 AI 审核系统中的一个 bug 在过去两个月中错误封禁了超过 8,000 名用户，原因是无害图片——包括电子表格、棋盘、游戏纹理以及白色和灰色透明背景——被错误标记为有害内容。”
这个规模值得精确阅读，而不是向上取整。“该公司确认，该问题自 5 月起就一直影响账户，在其团队发现并修复问题之前的那个周末又有 200 名用户被封禁。所有受影响的账户目前正在恢复中。”
接下来是改变你对此事思考方式的部分。TechCrunch 援引 Discord 官方支持账号在 2026 年 7 月 7 日帖子中的描述，说明了这一设计：“我们的系统通过将内容与已知有害材料进行匹配来标记内容。这种相似度匹配可能产生误报，这就是为什么我们的 Trust & Safety 团队成员总是在采取任何行动之前审查被标记的内容。”
以及 TechCrunch 自己对所发生事情的总结：“人工审核员会审查内容，但一个 bug 导致系统立即封禁了受影响的账户。”
这两者同时为真。审查步骤是设计好的、有文档记录的，并且用现在时公开描述过——但它没有运行。Discord 没有撒谎，这篇文章也不是在论证它撒了谎。要点更狭窄，也更令人不安： 人在回路是一段软件，并且像软件一样失败。 它是一个条件判断、一个队列、一次服务调用、一个功能开关。其中任何一个都可能出错，而当其中一个出错时，你所依赖的安全属性会悄然不复存在，而架构图仍然显示着它。
还要注意失败的输入是什么。电子表格。棋盘。灰色透明背景。这个列表里没有任何东西看起来像是有人会为之编写测试的边界情况，而这正是相似度匹配系统遇到真实世界时的常态。
如果你对成员的整个保证只是“有人会检查”，那你并没有对人做出承诺。你是在对一条代码路径做出承诺，而你应该能够说出它上次运行是什么时候。
为什么“始终保留人在回路”也不是教训
对供应商炒作的整洁纠正就是说必须由人批准一切。Digital Trust & Safety Partnership 在为大规模开展此类业务的公司撰写的文件中并没有这么说。它指出，当置信度高时，没有人工审查的自动执法很常见，而且人工审查并非万无一失。
来源是 “AI 与自动化在信任与安全中的最佳实践”，Digital Trust & Safety Partnership，2024 年 9 月。这是该领域任何人都能下载的最权威文件，而它对自动化的接受程度比大多数人预期的更高。
关于是否完全可以避免自动化：“AI 和自动化并非万能药——它们伴随着若干挑战和局限，人的参与仍然必要。然而，对于许多数字产品和服务而言，没有一定程度的 AI 和自动化，就无法大规模应对与内容和行为相关的滥用。”注意这句话中的范围——“对于许多数字产品和服务”，而不是对所有人。一个四百人的社区与一个四亿人的平台处境不同。
关于成员公司实际怎么做：“为本报告接受采访的所有 DTSP 合作公司继续依赖自动化工具以及人工审查和监督来采取适当行动，尤其是在需要对内容或行为进行更细致评估的情况下。”
然后是那两句话，它们阻止这篇文章用更整洁的简化来取代供应商炒作：
- “当系统对其评估高度自信时，信任与安全团队在没有人工审查的情况下启用自动执法行动是很常见的。”
- “人们常常假设人工审核员会比 AI 系统更准确、更可靠；然而，人工审查并非万无一失。”
报告还指出了你在调整任何一项时实际做出的权衡形态：“为召回率优化（捕捉更多潜在违规）可能同时增加真阳性和假阳性，可能导致过度行动。反之，为精确率优化（更准确地检测违规）可以减少假阳性，但也可能增加假阴性（行动不足）。”
因此，报告所描述的设计既不是“让智能体决定”，也不是“由人批准一切”。它是按置信度分层的：“当置信度较低时，自动化系统可以采取临时执行动作（例如临时降低内容排名或降低账号的可发现性），并将案件转交人工审核以批准或修改该动作。”
这与大多数社区所有者所持的心智模型确实不同，而且更好。低置信度路径不会停下来等待。它采取可用的最小可逆动作，然后再询问人工。降低排名不是封禁。被暂扣审核的任务领取不是被拒绝的领取。如果你能发明一个中间动作，你就不必在每个案件上都在速度与安全之间做选择。
今天你可以把哪些决策交给机器
按机器出错时会发生什么来对决策排序，而不是按它们看起来有多难。错误的草稿会被编辑。糟糕的摘要会被重读。错误的封禁会让成员失去账号，并让你付出一个支持工单、声誉，甚至可能是一项裁决的代价。可逆性才是关键维度。
此表是 Zealy 的判断，并非上述任何来源的发现。这是我们在 2026 年 8 月 18 日会告诉询问我们的社区所有者的内容。
| 决策 | 我们今天的答案 | 在自动化之前必须满足的条件 |
|---|---|---|
| 起草帖子、任务描述或回复 | 可以 | 发布前有人阅读。无需其他条件。 |
| 总结一个频道、一周或一个提交队列 | 可以 | 原始材料仍可访问，以便读者对照检查摘要。 |
| 将报告、问题或领取转交给正确的人 | 可以 | 错误转交成本低且可见，且队列不是黑洞。 |
| 回答有文档记录答案的问题 | 可以，但需谨慎 | 答案以书面形式存在于你控制的某处，且错误答案可以公开且快速地更正。 |
| 为人工标记、排序或排列队列 | 可以 | 人工仍能看到模型排在最后的项目。排序不是过滤。 |
| 批准或拒绝会发放奖励的提交 | 仅在存在申诉路径时 | 成员被告知原因，人工可以推翻裁决，且有人在监控推翻率。 |
| 删除内容或限制账号 | 仅在存在可逆的中间动作时 | 存在低置信度路径，执行比完整动作更小的操作，如 DTSP 报告所述。 |
| 直接封禁成员 | 不可以 | 我们无法指出一个在没有人工参与的情况下能使其安全的置信度水平，Discord 事件就是原因。 |
| 花钱或转移奖励 | 不可以 | 本文中没有任何内容支持将其自动化，而且失败无法通过道歉来逆转。 |
中间一列的模式并不是“困难的事情交给人类”。对队列排序比封禁某人更难。它排在列表顶部，是因为排序错误不会让你付出任何无法在一秒内撤销的代价，而封禁错误会让你失去一个人。
一个无法放入表格的实用说明。几乎每个将决策自动化的社区都忘了事后衡量推翻率，这意味着申诉路径存在，但没人在阅读它产生的结果。如果你要从本文中构建一件事，就构建那个计数器。如果你在评估这项工作的人力侧规模， 如何委派社区任务 涵盖了永远不会出现在定价页面上的劳动力成本。
Zealy 运行两条 AI 路径，它们对这个问题给出不同答案
通过 Zealy 的 MCP 服务器，智能体所做的任何更改都要等到有人确认后才生效。在 Zealy 产品内部，Zealy 的 AI 审核直接裁决任务领取：它将领取标记为成功或失败，并向成员发布原因。一家公司内有两条 AI 路径，对同一个问题给出相反答案。
先看第二条，因为它是反对我们的那一条。在 Plus 和 Enterprise 计划中，你可以为任务开启 AI 审核，并编写提示词描述有效提交的样子。Zealy 自己的文档毫不掩饰地说明了后果： AI 决定领取。 它不会留下建议供人工确认。它将领取标记为成功或失败，并且它给出的原因会作为审核评论发布，成员可在收件箱中看到。其裁决归属于一个 Zealy AI 审核员，该审核员会与你的团队一起出现在顶级审核员分析中。如果你希望由人做最终决定，就不要为该任务开启 AI 审核。这些都在 Zealy 的审核文档中，而且一直发布在那里。
对照上表衡量，这是对一项奖励 XP 和角色奖励的决策进行自动批准或拒绝——而且，由于 Zealy 的文档说明分发任何其他类型的奖励是社区的责任，这也是对决定社区随后还欠谁这些奖励的决策进行自动批准或拒绝。缓解措施是真实的——审核员可以撤销任何裁决，这会将领取重置为待处理，并且成员会被告知原因而不是被静默判定失败——但决策是由模型做出的，而申诉始于成员注意到问题。
Zealy 的另一条 AI 路径采取了相反的立场。在 Zealy MCP 服务器上，智能体可以自由读取，但未经人工批准该具体变更，就无法更改任何内容。这道闸门的具体机制，逐工具说明，见 如何审计 AI 智能体对你社区的访问权限，其中逐一列举了相关界面，而非泛泛描述。
我们不会在一篇博客文章里解决这个矛盾，而假装它是一种连贯统一的理念，比直接印出来更糟。两个团队，两种威胁模型，两种答案。我们能说的是，这种分歧并非随机：MCP 路径是一个外部智能体，以管理员权限在整个社区范围内行事；而审核路径是针对单次提交、依据社区自己编写的提示词做出的范围明确的判断。这是不同的风险。它们是否不同到 足以 证明相反的默认设置合理，这是一个可以合理向我们提出的问题，如果你在评估 Zealy，就应该提出这个问题。
这个普遍观点超出了我们自己的产品。当供应商告诉你他们的 AI 保持人工在环时，要问清楚他们指的是哪些 AI 功能。公司并没有统一的政策。他们每个交付了东西的团队各有一套政策。
Discord 和 Cove 在这方面比 Zealy 做得更好的地方
Discord 的 AutoMod 运行在 Discord 自身内部，在任何人看到消息之前就将其拦截；Zealy 不在 Discord 的消息路径中，无法在内容发布前阻止任何东西。Cove 推出了一个 Moderator Console，其前提是它自己的自动化会漏掉东西。Zealy 没有对应的功能。
这是两种不同的优势，都值得理解。
Discord 的优势是位置性的。Discord 自己的 Auto Moderation 文档 将该功能描述为“允许每个服务器设置基于某些条件触发的规则”，并将其 BLOCK_MESSAGE 操作描述为“阻止成员的消息并防止其被发布”。整个优势就在这一个从句里：干预发生在发布之前，而非之后。Zealy 连接 Discord、发放角色并验证任务；它不是聊天服务器，我们这边再多的 AI 也改变不了我们所处的位置。如果你的问题是“坏消息绝不能出现”，那么解决它的工具就是已经在管道中的那个。我们的 Discord 互动工具调查 涵盖了该层还应包含哪些内容。
Cove 的优势是架构性的，也是更有趣的一个。Cove 在自己的文档中这样描述自己：“Cove 是一个面向信任与安全的无代码平台”，然后这样描述自己的自动化：“一些有害内容不可避免地会漏过你的自动化规则，并会被用户举报/标记。借助我们的 Moderator Console，你的版主可以审查这些举报，并直接在我们的 UI 中对其采取行动。”
再读一遍“不可避免地”这个词，它出现在供应商自己的 产品文档中，谈论的是他们卖给你的产品。Cove 设计了一个界面，其存在的全部理由就是自动化层会出错，并将捕捉这种错误的工作流作为产品的一等组成部分，而非支持工单。
Zealy 在审核上有撤销功能，但这并不相同。撤销是给已经知道裁决有误的人用的控制手段。Cove 拥有的是一个让遗漏到达的地方。如果你在选择平台时部分取决于它如何处理自身的失败，那么这个区别就是应该测试的，你也应该在我们身上测试它。如果你还处于决策早期，我们写了一篇更广泛的 社区管理软件 比较，如果你想了解我们自己范围的简单描述，请看 Zealy 是什么 。
当智能体出错时，谁来负责
你。2024 年 2 月，加拿大一个法庭裁定 Air Canada 因其网站聊天机器人向一名悲痛乘客提供错误信息而支付赔偿。用法庭的话说，Air Canada 辩称聊天机器人是一个独立的法律实体，对自己的行为负责。法庭判赔总额 812.02 加元，其中 650.88 加元为损害赔偿。
The Register 于 2024 年 2 月 15 日由 Katyanna Quach 报道了此事，标题为 “Air Canada 必须在聊天机器人向悲痛乘客谎报折扣后支付赔偿”。审理此案的法庭成员是 Christopher Rivers，The Register 引用了裁决中对航空公司立场的描述：“实际上，Air Canada 暗示聊天机器人是一个独立的法律实体，对自己的行为负责。”
而裁决结论，这句话每个部署智能体的社区所有者都应该放在能看到的地方：“Air Canada 显然应对其网站上的所有信息负责。信息来自静态页面还是聊天机器人，并无区别。”
关于我们引用方式的一点说明。我们引用的是 The Register 的报道，而非裁决本身（我们并未阅读裁决），也没有列出案件引注。
金额很小，原则却不小。在你的社区里说话的智能体，就是你在你的社区里说话。成员会要求你为它所说的话负责，至少有一个法庭也是如此。这适用于它编造的退款政策、它陈述的你从未写过的规则，以及它发出的封禁。“是 AI 干的”作为抗辩被检验过，并且失败了。
如何为你自己的社区设定边界
写下你的智能体将做出的决定，然后写下每个决定出错时会发生什么，以及由谁来修复。如果你说不出由谁来修复，这个决定就还没准备好自动化。这一项练习的价值，超过你盲选出的任何置信度阈值。
以下是上述证据所支持内容的简短版本，按我们会采用的顺序排列：
- 立即自动化机械性工作。 起草、排期、总结、分派、打标签。最坏的结果是一份糟糕的草稿，而你已经知道如何处理糟糕的草稿。
- 对于任何会产生后果的事情，先设计中间动作，再设计阈值。 DTSP 报告中的低置信度路径会采取一个小的可逆步骤，并将案例转交下去。暂扣领取、降低帖子排名、限制但不移除账号。如果你只有“行动”和“等待”两个选项，你选的每个阈值都会在某个方向上出错。
- 把人工审核步骤当作软件来对待，并像测试软件一样测试它。 Discord 的机制只存在于纸面上，并未真正运行。问问你的人工审核上次实际触发是什么时候，以及如果它停止了，什么能告诉你。
- 统计反转次数。 无人衡量的申诉路径只是一张投诉表。反转率是你判断自动决策是否足够好的唯一诚实依据，而记录它的成本几乎为零。
- 假定它所说的一切都由你负责。 Air Canada 在法庭上尝试了相反的立场。
标题中的问题有真正的答案，而不是耸肩了事。AI 智能体今天就能很好地运行你社区的机械性工作，你应该让它去做。它还不能成为决定谁被移除、谁获得报酬或你的政策是什么的角色——不是因为它愚蠢，而是因为它的不可靠性无法按案例预测，也因为你会在它背后设置的人工安全网本身就是一件有自身故障模式的软件。为两者都出错的情况做设计，你构建出的东西将比炒作或反弹所能带给你的都更好。