AIエージェントは本当にコミュニティを運営できるのか？
仕組みの面では可能だが、取り返しのつきにくい判断は不可 — そして「人間をループに残す」も解決策ではない。Discordの8,000件BANバグがその理由を示す。
作成者 Mathis Grosjean
このページの内容
短い答え： AIエージェントは今日、コミュニティの仕組みを運営できる — 下書き、スケジューリング、読み取り、要約、振り分け、そしてすでに文書化された回答がある質問への回答。ただし、失敗のコストが高く取り返しのつきにくい判断を任せるべきではない。その理由はモデルが愚かだからではない。モデルは特定の測定可能な形で信頼性を欠いており、人々が安全網として頼る人間によるレビュー工程自体が、失敗しうるソフトウェアだからだ。たいてい抜け落ちるのは3点目である：「常に人間をループに残す」もまた正解ではない。実用的な問いは、どの判断を、どの確信度で、どの異議申し立て経路とともに任せるかだ。
開示： このページはZealyが公開しており、Zealyはここで論じられている製品を販売している。Zealyはコミュニティおよびクエストのプラットフォームであり、AIエージェントがZealyコミュニティを管理できるMCPサーバーを提供し、クエストのclaimを判定するAIレビュアーも提供している。以下ではこの3つすべてに触れる。そのうち2つが互いに矛盾する箇所と、競合の設計が当社より優れている2つの箇所も含む。
最終確認： 2026年8月18日。
AIエージェントは今日、コミュニティで実際に何ができるのか？
AIエージェントは仕組みの部分を確実にこなせる：投稿や返信の下書き、そのスケジューリング、チャンネルの読み取りと要約、報告を適切な担当者への振り分け、そしてすでに文書化された回答がある質問への回答。これらは、誤った出力が目に見え、コストが低く、誰かが害を受ける前に容易に修正できる仕事だ。
このリストは小さなことではない。コミュニティの仕事の大半は機械的であり、多くのコミュニティチームはその対応で遅れている。エージェントが週次まとめの下書きを作り、人が40分かけて書く代わりに4分で修正するなら、それは下振れリスクが限定された確かな成果だ。
この記事を書いたのは、この問いへの答え方がひどいからだ。2026年8月18日に can ai run my community を検索したところ、取得したすべての結果はベンダーのブログかベンダーの製品ページだった — heightsplatform.com、mightynetworks.com、social.plus、circle.so、socialglow.com、aismartventures.com。取得した結果の中で「いいえ」や「一部は」と答えたものは1つもなかった。どれも機能リストとして問いを言い換えていた。これはある日に取得した結果についての観察であり、これまで書かれたすべてについての主張ではない。
このカテゴリのベンダー自身は、ランディングページが示すより正直だ。Sprout Socialのソーシャルメディア向けAIエージェント構築ガイド（McCall Lanman著、2026年4月16日公開）は、 このカテゴリを定義する 際に人の不在を基準にしている：「AIエージェントとは、大規模言語モデル（LLM）を頭脳として使い、人間がすべての手順を指示することなく、自律的にタスクを完了し、意思決定を行い、外部ツールとやり取りするソフトウェアプログラムである。」同じページのさらに下では、人を戻すよう指示している：「承認ワークフロー：機密性の高い応答は送信前に人間の管理者へ回す — これをhuman-in-the-loopと呼ぶ。」そして明快に：「ガードレールがなければ、よく作られたエージェントでもブランドに合わない、あるいは有害な出力を生む。」
それは偽善ではない。カテゴリが抱える実際の難しさがマーケティングページを通して見えているだけであり、それは好意的に指摘する価値がある。この用語自体をきちんと定義したいなら、当社の エージェント型マーケティングに関する解説 が、野心ではなく仕組みに照らして評価している。
本当の限界が能力ではなく信頼性である理由
エージェントに判断を任せる問題は、モデルが愚かだからではない。モデルが一貫しないからであり、一貫性のなさは既知の弱点より扱いが難しい。マルチターン会話に関する研究では、性能低下の大半は素の能力ではなく分散にあるとされている。
その論文は 「LLMs Get Lost In Multi-Turn Conversation」 （Philippe Laban、Hiroaki Hayashi、Yingbo Zhou、Jennifer Neville著、arXiv:2505.06120、2025年5月9日投稿）。要旨には「当社がテストした上位のオープンウェイトおよびクローズドウェイトのLLMはすべて、マルチターン会話でシングルターンより著しく低い性能を示し、6つの生成タスク全体で平均39%の低下となった」と報告されている。
より重要なのは次の文だ：「20万件以上のシミュレーション会話の分析により、性能低下は2つの要素に分解される：能力のわずかな低下と、信頼性の大幅な低下である。」そして失敗の仕方には形がある — 「LLMは会話で道を誤ると、迷子になり回復しない」。
この39%をどこかで使う前に、注意点を読んでほしい。これは6つの生成タスクにわたるシミュレーション会話で、2025年のモデルで測定されたものであり、39%はそれらタスク全体の平均であって、今日購入できる特定製品の性質ではない。モデルはそれ以降改善している。長く残る発見は数字ではなく、その分解のほうだ。
分解が議論の全体である理由はここにある。まだ十分に良くないツールはスケジューリングの問題だ。待つか、タスクを狭めるかだ。平均的には正しいが予測不能に間違えるツールはマネジメントの問題であり、しかも別種の問題だ。難しいケースを確認することで人員を配置して回避することはできない。どのケースが難しいものだったかを事前に知らないからだ。コミュニティの仕事は本質的にマルチターンであり、メンバーが質問し、明確化し、反論し、3通りのメッセージの後に文脈を追加する。これはまさに論文が測定した設定だ。
Discordのヒューマン・イン・ザ・ループはソフトウェアであり、バグがあった
Discordは、Trust & Safetyチームのメンバーが措置を取る前に必ずフラグ付きコンテンツをレビューすると現在形で公表していた。それでもバグにより8,000以上のアカウントがBANされた。ヒューマン・イン・ザ・ループはコードパスであり、コードパスは人間ではなくソフトウェアのように失敗する。
TechCrunchは2026年7月7日、Lauren Forristalによる記事でこれを報じた。見出しは 「Discord、AIモデレーションのバグで無害な画像によりユーザーを誤ってBANしたと認める」だ。核心はこうだ。「Discordは、AIモデレーションシステムのバグにより、過去2か月で8,000人以上のユーザーを誤ってBANしたことを認めた。スプレッドシート、チェスボード、ゲームのテクスチャ、白や灰色の透明背景などの無害な画像が有害コンテンツとして誤ってフラグ付けされたためだ。」
規模は切り上げず正確に読む価値がある。「同社は、この問題が5月からアカウントに影響していたこと、チームが問題を特定して修正する前の週末にさらに200人のユーザーがBANされたことを確認した。影響を受けたすべてのアカウントは現在復元の手続き中だ。」
ここからが、この件の考え方を変える部分だ。TechCrunchが2026年7月7日のスレッドから引用したDiscord自身のサポートアカウントは、設計をこう説明していた。「当社のシステムは、コンテンツを既知の有害素材と照合することでフラグを立てます。この種の類似性マッチングは誤検知を生む可能性があるため、Trust & Safetyチームのメンバーが措置を取る前に必ずフラグ付きコンテンツをレビューします。」
そしてTechCrunch自身による出来事の要約はこうだ。「人間のモデレーターがコンテンツをレビューするが、バグによりシステムが影響を受けたアカウントを即座にBANした。」
両方は同時に真実だ。レビューのステップは設計され、文書化され、現在形で公に説明されていた。それでも実行されなかった。Discordは嘘をついておらず、この記事はそう主張するものでもない。論点はより狭く、より居心地の悪いものだ。 ヒューマン・イン・ザ・ループはソフトウェアであり、ソフトウェアのように失敗する。 それは条件分岐であり、キューであり、サービス呼び出しであり、フィーチャーフラグだ。そのいずれもが誤り得る。そして一つが誤ると、頼りにしていた安全特性は静かに存在しなくなる一方で、アーキテクチャ図には依然として描かれている。
失敗した入力が何だったかにも注目してほしい。スプレッドシート。チェスボード。灰色の透明背景。そのリストは、誰かがテストを書いたであろうエッジケースには見えない。これは類似性マッチングシステムが現実世界と出会うときの普通の状況だ。
メンバーへの保証が「人が確認する」だけなら、それは人についての主張ではない。コードパスについての主張であり、それが最後にいつ実行されたかを言えるべきだ。
「常にヒューマン・イン・ザ・ループを保て」が教訓でない理由
ベンダーの誇張に対する整った修正は、すべてを人が承認すべきだと言うことだ。大規模にこれを実践する企業向けに執筆するDigital Trust & Safety Partnershipはそうは言わない。信頼度が高い場合、人間のレビューなしの自動執行は一般的であり、人間のレビューも無謬ではないと報告している。
出典は 「Best Practices for AI and Automation in Trust & Safety」、Digital Trust & Safety Partnership、2024年9月だ。これは誰でもダウンロードできるこの分野で最も権威ある文書であり、多くの人が期待するよりも自動化に寛容だ。
自動化をまったく避けられるかについて。「AIと自動化は万能薬ではない。いくつかの課題と限界を伴い、人間の関与は依然として必要だ。しかし、コンテンツや行為に関連する濫用に大規模に対処することは、多くのデジタル製品やサービスにとってある程度のAIと自動化なしでは不可能だ。」この文の範囲に注意してほしい。「多くのデジタル製品やサービスにとって」であり、すべての人にとってではない。400人のコミュニティは4億人のプラットフォームと同じ立場にはない。
参加企業が実際に何をしているかについて。「この報告書のためにインタビューしたすべてのDTSPパートナー企業は、コンテンツや行動を評価するより微妙なアプローチが必要な場合に特に、適切な措置を取るために自動ツールと人間のレビューおよび監督の両方に引き続き依存している。」
そして、この記事がベンダーの誇張をより整った単純化に置き換えるのを止める2つの文がある。
- 「Trust and Safetyチームが、システムの評価に高い確信がある場合に人間のレビューなしで自動執行措置を有効にすることは一般的だ。」
- 「人間のレビュアーがAIシステムより正確で信頼できるとしばしば想定されるが、人間のレビューは無謬ではない。」
このレポートはまた、これを調整する際に実際に生じるトレードオフの形も示している。「再現率（より多くの潜在的な違反を捕捉すること）を最適化すると、真陽性と偽陽性の両方が増え、過剰な対応につながる可能性がある。逆に、精度（違反のより正確な検出）を最適化すると、偽陽性は減るが、偽陰性（対応不足）が増える可能性がある。」
つまり、レポートが描く設計は「エージェントに決めさせる」でも「人間がすべて承認する」でもない。それは信頼度に応じた段階的なものである。「信頼度が低い場合、自動システムは一時的な執行措置（例：コンテンツの一時的なランクダウンやアカウントの発見可能性の低下）を講じ、その措置を承認または修正するための人間によるレビューにケースを回すことができる。」
これは、多くのコミュニティオーナーが抱いている考え方とは根本的に異なるメンタルモデルであり、より優れている。低信頼度の経路は立ち止まって待つのではない。利用可能な最小の可逆的な措置を講じてから、人間に尋ねる。ランクダウンはBANではない。レビューのために保留されたクエストのクレームは、却下されたクレームではない。中間的な措置を考案できれば、すべてのケースでスピードと安全性のどちらかを選ぶ必要はなくなる。
今日、どの意思決定を機械に任せられるか
意思決定は、機械が間違えたときに何が起こるかで分類するのであり、見た目の難しさで分類するのではない。誤った下書きは編集される。悪い要約は読み直される。誤ったBANはメンバーのアカウントを奪い、サポートスレッド、評判、そして場合によっては裁定のコストをあなたに負わせる。可逆性が重要な軸である。
この表はZealyの判断であり、上記のいずれの情報源から得られた知見ではない。これは、2026年8月18日に私たちに尋ねてきたコミュニティオーナーに私たちが伝える内容である。
| 意思決定 | 今日の私たちの答え | 自動化する前に満たすべき条件 |
|---|---|---|
| 投稿、クエストの説明、返信の下書き | はい | 公開前に人間が読む。それ以外は不要。 |
| チャンネル、週、または提出キューの要約 | はい | 元の素材が参照可能なまま残り、読者が要約を元の素材と照合できる。 |
| 報告、質問、クレームを適切な担当者に振り分ける | はい | 誤った振り分けはコストが低く可視的であり、キューはブラックホールではない。 |
| 文書化された回答がある質問への回答 | はい、ただし慎重に | 回答があなたの管理下のどこかに文書として存在し、誤った回答を公に、かつ迅速に訂正できる。 |
| 人間のためにキューにタグ付け、ランク付け、または並べ替える | はい | 人間はモデルが最下位にランク付けした項目も依然として目にする。並べ替えはフィルタリングではない。 |
| 報酬を支払う提出の承認または却下 | 異議申し立ての経路がある場合のみ | メンバーに理由が伝えられ、人間が判定を覆すことができ、誰かが覆された率を監視している。 |
| コンテンツの削除またはアカウントの制限 | 可逆的な中間措置がある場合のみ | DTSPレポートが述べているように、完全な措置より小さいことを行う低信頼度の経路が存在する。 |
| メンバーの即時BAN | いいえ | 人間なしでこれを安全にする信頼度を私たちは示せず、Discordのインシデントがその理由である。 |
| お金を使う、または報酬を移動する | いいえ | この記事のいずれもそれを自動化することを支持しておらず、失敗は謝罪では取り返しがつかない。 |
中央の列に沿ったパターンは「難しいことは人間の仕事」ではない。キューのランク付けは、誰かをBANするよりも難しい認知課題である。それがリストの最上位にあるのは、誤ったランク付けは1秒で取り消せないものを何も失わせないのに対し、誤ったBANは人を失わせるからである。
表に収まらない実用的な注意点が1つある。意思決定を自動化するほとんどすべてのコミュニティは、その後覆された率を測定することを忘れる。つまり、異議申し立ての経路は存在するが、それが生み出すものを誰も読んでいない。この記事から何か1つ作るなら、カウンターを作ろう。その作業の人間側の規模を見積もるなら、 コミュニティタスクの委任方法 は、価格ページには決して現れない人件費を扱っている。
Zealyは2つのAI経路を運用しており、それらはこの問いに異なる答えを出している
ZealyのMCPサーバー経由では、エージェントが変更したものは人間が承認するまで有効にならない。Zealy製品内では、ZealyのAIレビューがクエストのクレームを直接決定する。クレームを成功または失敗とマークし、その理由をメンバーに投稿する。1つの会社の中の2つのAI経路が、同じ問いに正反対の答えを出している。
2つ目を先に取り上げる。なぜなら、それは私たちに反論するものだからである。PlusおよびEnterpriseプランでは、クエストのAIレビューを有効にし、有効な提出がどのようなものかを説明するプロンプトを書くことができる。Zealy自身のドキュメントは、その結果を和らげることなく明記している。 AIがクレームを決定する。 人間が確認するための推奨を残すのではない。クレームを成功または失敗とマークし、その理由はメンバーが受信箱で読むレビューコメントとして投稿される。その判定は、トップレビュアーの分析でチームと並んで表示されるZealy AIレビュアーに帰属する。人間に最終判断をさせたい場合は、そのクエストのAIレビューをオフのままにする。それはすべて Zealyのレビューのドキュメントに記載されており、ずっとそこに公開されている。
上記の表と照らし合わせると、それはXPとロール報酬を付与する意思決定に対する自動承認・却下であり、さらにZealyのドキュメントが他の種類の報酬を配布するのはコミュニティの責任であると述べているため、コミュニティがその後誰にそれらを負うかを決める意思決定でもある。緩和策は実際に存在する。レビュアーはあらゆる判定を取り消すことができ、それによりクレームは保留に戻り、メンバーは黙って失敗させられるのではなく理由を伝えられる。しかし、決定はモデルによって行われ、異議申し立てはメンバーが気づくことから始まる。
Zealyのもう一つのAI経路は逆の立場を取った。 Zealy MCPサーバーでは、エージェントは自由に読み取れるが、その正確な変更を人間が先に承認しない限り何も変更できない。そのゲートの仕組みをツールごとに説明したのが AIエージェントのコミュニティへのアクセスを監査する方法で、これは表面を説明するのではなく列挙している。
この矛盾をブログ記事の中で解決しようとはしないし、それが一貫した単一の哲学であるふりをするのは、それをそのまま書くより悪い。二つのチーム、二つの脅威モデル、二つの答えだ。言えるのは、この分裂はランダムではないということだ。MCP経路はコミュニティ全体にわたって管理者の権限で行動する外部エージェントであり、レビュー経路はコミュニティ自身が書いたプロンプトに対して一つの提出物を対象にした判断だ。これらは異なるリスクだ。それが正反対のデフォルトを正当化するほど 十分に 異なるのかは、私たちに問うてよい正当な疑問であり、Zealyを評価しているなら問うべきだ。
この一般的な論点は私たちの製品を超えて当てはまる。ベンダーが自社のAIは人間をループに入れていると言うときは、どのAI機能を指しているのか尋ねるべきだ。企業には一つのポリシーがあるのではない。何かを出荷したチームごとに一つのポリシーがあるのだ。
DiscordとCoveがZealyより優れている点
DiscordのAutoModはDiscord自体の中で動作し、誰かが見る前にメッセージをブロックする。ZealyはDiscordのメッセージ経路には存在せず、投稿される前に何も止められない。Coveは自社の自動化が見落とすことを前提にしたModerator Consoleを提供している。Zealyには同等のものがない。
これらは二つの異なる利点であり、どちらも理解する価値がある。
Discordの利点は位置にある。Discord自身の Auto Moderationのドキュメント は、この機能を「各ギルドが特定の基準に基づいて発動するルールを設定できるようにする」ものと説明し、その BLOCK_MESSAGE アクションを「メンバーのメッセージをブロックし、投稿されるのを防ぐ」ものと説明している。利点はこの一節に尽きる。介入は公開後ではなく公開前に起きるのだ。ZealyはDiscordに接続し、ロールを付与し、タスクを検証する。チャットサーバーではなく、私たち側のAIがどれだけあってもその位置は変わらない。あなたの問題が「悪いメッセージが決して表示されてはならない」なら、それを解決するツールはすでにパイプラインの中にあるものだ。私たちの Discordエンゲージメントツールの調査 では、その層に他に何が属するかを扱っている。
Coveの利点はアーキテクチャにあり、こちらの方が興味深い。Coveは自社のドキュメントで「CoveはTrust & Safetyのためのノーコードプラットフォームである」と述べ、さらに自社の自動化についてこう書いている。「有害なコンテンツの一部は必然的に自動ルールをすり抜け、ユーザーによって報告・フラグ付けされるでしょう。Moderator Consoleを使えば、モデレーターはそれらの報告をレビューし、当社のUI上で直接対応できます。」
ベンダー自身の 製品ドキュメントで、彼らが売っている製品について「必然的に」という言葉をもう一度読んでほしい。Coveは、自動化レイヤーが誤ることを存在理由そのものとする画面を設計し、その見落としを捉えるワークフローをサポートチケットではなく製品の第一級の要素として組み込んだ。
Zealyにはレビューの取り消しがあるが、それは同じことではない。取り消しは、判定が誤りだったとすでに知っている人のための制御だ。Coveにあるのは、見落としが届く場所だ。自社の失敗をどう扱うかでプラットフォームを選ぶなら、その違いこそ試すべきものであり、私たちについても試すべきだ。その判断の初期段階なら コミュニティ管理ソフトウェア のより広い比較を、私たち自身の範囲を簡潔に知りたいなら Zealyとは何か を書いている。
エージェントが誤ったとき、誰が責任を負うのか
あなたが負う。2024年2月、カナダの審判所は、Air Canadaのウェブサイトのチャットボットが悲しむ乗客に誤った情報を与えたとして、同社に損害賠償を命じた。Air Canadaは審判所の言葉によれば、チャットボットは自らの行為に責任を負う別個の法人であると主張した。審判所は総額CA$812.02、うちCA$650.88を損害賠償として命じた。
The Registerは2024年2月15日にKatyanna Quachの記事でこれを報じ、見出しは 「Air Canada、チャットボットが悲しむ乗客に割引について嘘をついたため損害賠償を支払わなければならない」だった。この事件を裁いた審判員はChristopher Riversであり、The Registerは航空会社の立場を特徴づけた判決を引用している。「事実上、Air Canadaはチャットボットが自らの行為に責任を負う別個の法人であると示唆している。」
そして認定、つまりエージェントを導入するすべてのコミュニティ所有者がどこかで目にできるようにすべき一文はこうだ。「Air Canadaが自社のウェブサイト上のすべての情報に責任を負うことは明らかであるべきだ。情報が静的ページから来るかチャットボットから来るかは関係ない。」
この引用の仕方について一つ注意がある。私たちは判決そのものではなくThe Registerの報道を引用しており、判決自体は読んでおらず、事件の引用番号も記載していない。
金額は小さいが、原則はそうではない。あなたのコミュニティで話すエージェントは、あなたのコミュニティで話すあなた自身だ。メンバーはそれが言ったことにあなたを問いただすし、少なくとも一つの審判所もそうした。これは、エージェントがでっち上げた返金ポリシー、あなたが書いたことのないのに述べたルール、そして下したBANにも当てはまる。「AIがやった」は抗弁として試され、敗れた。
自分のコミュニティのために境界をどう設定するか
エージェントが下す判断を書き出し、それぞれが誤ったときに何が起きるか、誰が修正するかを書き出してください。修正する人を名指しできなければ、その判断は自動化する準備ができていません。この単一の演習は、盲目的に選ぶどんな信頼度しきい値よりも価値があります。
上記の根拠が支持する内容を、私たちが実行する順序で短くまとめると：
- 機械的な作業はすぐに自動化する。 下書き、スケジューリング、要約、振り分け、タグ付け。欠点は悪い下書きですが、悪い下書きの扱い方はすでにご存じでしょう。
- 結果を伴うものについては、しきい値を発明する前に中間アクションを発明してください。 DTSPレポートの低信頼度パスは、小さく可逆な一歩を踏み出し、案件を次へ回します。保留されたクレーム、順位を下げられた投稿、制限はあるが削除されていないアカウント。選択肢が「実行」と「待機」の2つだけなら、選ぶどのしきい値もどちらかの方向で誤ります。
- 人間によるレビューのステップをソフトウェアとして扱い、ソフトウェアのようにテストしてください。 Discordのそれは紙の上に存在し、動いていませんでした。あなたのものが最後に実際に発動したのはいつか、そして止まったらどうやって気づくのかを問いかけてください。
- 覆された件数を数える。 誰も測定しない異議申し立ての経路は、苦情フォームにすぎません。覆却率は、自動化された判断が十分に良いかを知る唯一の正直な指標であり、記録するのにほとんどコストはかかりません。
- それが言うことすべての責任はあなたにあると想定してください。 Air Canadaは審判の前で逆の立場を試みました。
タイトルの問いには実際の答えがあり、肩をすくめることではありません。AIエージェントは今日、あなたのコミュニティの機械的な作業をうまく実行でき、任せるべきです。しかし、誰を削除するか、誰に支払うか、あなたのポリシーは何かを決める存在にはまだなれません。それは愚かだからではなく、ケースごとに予測できない形で信頼性を欠くからであり、その後ろに置く人間の安全網が独自の故障モードを持つソフトウェアだからです。両方が誤るケースを想定して設計すれば、誇張も反発も得られなかったものより良いものを築けるでしょう。