آیا یک عامل هوش مصنوعی واقعاً میتواند جامعه شما را اداره کند؟
بله برای مکانیزم‌ها، خیر برای تصمیم‌هایی که بازگشت‌ناپذیرند — و «انسان را در چرخه نگه دار» هم راه‌حل نیست. باگ ۸٬۰۰۰ بن در Discord نشان میدهد چرا.
توسط Mathis Grosjean
در این صفحه
پاسخ کوتاه: یک عامل هوش مصنوعی امروز میتواند مکانیزم‌های یک جامعه را اداره کند — پیشنویس کردن، زمانبندی، خواندن، خلاصهسازی، مسیریابی و پاسخ به پرسشهایی که از پیش پاسخ مستند دارند. نباید تصمیم‌هایی به آن سپرده شود که شکستشان پرهزینه و بازگشت‌ناپذیر است، و دلیلش این نیست که مدل‌ها احمق‌اند. دلیلش این است که آنها به شکلی مشخص و اندازه‌گیری‌شده غیرقابل‌اعتمادند، و مرحله بازبینی انسانی که مردم بهعنوان تور ایمنی به آن تکیه میکنند خودش نرم‌افزاری است که میتواند از کار بیفتد. بخش سوم همان است که معمولاً جا می‌افتد: «همیشه یک انسان را در چرخه نگه دار» هم اصلاحیه نیست. پرسش عملی این است که کدام تصمیمها، با چه سطح اطمینانی، و با چه مسیر اعتراضی.
افشا: Zealy این صفحه را منتشر میکند و Zealy همان چیزی را می‌فروشد که موضوع بحث است. Zealy یک پلتفرم جامعه و کوئست است، Zealy یک سرور MCP ارائه میدهد که به یک عامل هوش مصنوعی اجازه میدهد یک جامعه Zealy را اداره کند، و Zealy یک بازبین هوش مصنوعی ارائه میدهد که درباره ادعاهای کوئست تصمیم میگیرد. هر سه در ادامه می‌آیند، از جمله جایی که دو مورد از آنها با هم اختلاف دارند و دو جایی که طراحی یک رقیب از طراحی ما بهتر است.
آخرین بازبینی: ۱۸ اوت ۲۰۲۶.
یک عامل هوش مصنوعی امروز واقعاً چه کاری میتواند در یک کامیونیتی انجام دهد؟
یک عامل هوش مصنوعی میتواند بهطور قابلاعتماد کارهای مکانیکی را انجام دهد: پیشنویس پستها و پاسخها، زمانبندی آنها، خواندن یک کانال و خلاصه‌کردن آن، ارجاع یک گزارش به فرد مناسب، و پاسخ‌دادن به پرسشهایی که از پیش پاسخ مستند دارند. این‌ها کارهایی هستند که خروجی اشتباه در آنها پیش از آسیب‌دیدن کسی دیده میشود، ارزان است و اصلاحش آسان است.
این فهرست چیز کوچکی نیست. بیشتر کار کامیونیتی مکانیکی است و بیشتر تیمهای کامیونیتی در آن عقب مانده‌اند. اگر یک عامل خلاصهٔ هفتگی شما را پیشنویس کند و یک نفر چهار دقیقه صرف اصلاح آن کند به‌جای چهل دقیقه صرف نوشتنش، این یک برد واقعی با ریسک محدود است.
ما این پست را نوشتیم چون به این پرسش بد پاسخ داده میشود. جست‌وجو در can ai run my community ۱۸ اوت ۲۰۲۶، هر نتیجه‌ای که به دست آوردیم یک وبلاگ فروشنده یا صفحهٔ محصول یک فروشنده بود — heightsplatform.com، mightynetworks.com، social.plus، circle.so، socialglow.com، aismartventures.com. هیچ‌یک از نتایجی که به دست آوردیم به این پرسش با «نه» یا «تا حدی» پاسخ نداده بود. هر یک آن را به‌صورت فهرستی از قابلیت‌ها بازگو کرده بود. این مشاهده‌ای دربارهٔ نتایجی است که در یک روز به دست آوردیم، نه ادعایی دربارهٔ همهٔ چیزهایی که تاکنون نوشته شده است.
فروشندگان خودِ این دسته صادق‌تر از آن چیزی هستند که صفحات فرودشان نشان می‌دهند. راهنمای Sprout Social برای ساخت عامل‌های هوش مصنوعی برای شبکه‌های اجتماعی، نوشتهٔ McCall Lanman، منتشرشده در ۱۶ آوریل ۲۰۲۶، این دسته را تعریف میکند با غیبت یک انسان: «یک عامل هوش مصنوعی برنامه‌ای نرم‌افزاری است که از یک مدل زبانی بزرگ (LLM) بهعنوان مغز خود استفاده میکند تا بهطور خودمختار وظایف را کامل کند، تصمیم بگیرد و با ابزارهای بیرونی تعامل کند—بدون اینکه انسانی هر مرحله را هدایت کند.» پایینتر در همان صفحه به شما میگوید انسان را برگردانید: «گردش‌کارهای تأیید: پاسخ‌های حساس را پیش از ارسال به یک مدیر انسانی ارجاع دهید—این کار human-in-the-loop نامیده میشود.» و صریحاً: «بدون حفاظ‌ها، حتی یک عامل خوب‌ساخته هم خروجی‌های خارج از برند یا زیان‌بار تولید میکند.»
این ریاکاری نیست. این دشواری واقعی این دسته است که از میان یک صفحه بازاریابی خود را نشان میدهد، و ارزش دارد که مهربانانه گفته شود. اگر میخواهید خودِ اصطلاح به‌درستی تثبیت شود، ستون ما درباره بازاریابی عاملی آن را در برابر سازوکار می‌سنجد، نه در برابر جاه‌طلبی.
چرا محدودیت واقعی نااتکایی است، نه توانایی
مشکل سپردن یک تصمیم قضاوتی به یک عامل این نیست که مدل‌ها احمق‌اند. این است که آنها ناسازگارند، و ناسازگاری مدیریتش سختتر از یک ضعف شناختهشده است. پژوهش درباره گفتوگوی چندنوبتی بیشترِ افت را به واریانس نسبت میدهد تا به توانایی خام.
مقاله این است: «LLMs Get Lost In Multi-Turn Conversation» اثر Philippe Laban، Hiroaki Hayashi، Yingbo Zhou و Jennifer Neville، arXiv:2505.06120، ارسال‌شده در 9 مه 2025. چکیده آن گزارش میدهد که «همه LLMهای برتر با وزن باز و بسته که آزمایش می‌کنیم، در مکالمات چندنوبتی عملکردی به‌مراتب پایینتر از تک‌نوبتی نشان می‌دهند، با افت میانگین 39% در شش وظیفه تولید.»
جمله‌ای که بیشتر اهمیت دارد، جمله بعدی است: «تحلیل بیش از 200,000 مکالمه شبیه‌سازی‌شده، افت عملکرد را به دو مؤلفه تجزیه میکند: افت جزئی در توانایی و افزایش چشمگیر در ناپایداری.» و الگوی شکست شکلی دارد — «وقتی LLMها در یک مکالمه مسیر اشتباهی می‌روند، گم می‌شوند و بازیابی نمی‌شوند».
پیش از استفاده از آن 39% در هر جایی، هشدارها را بخوانید. این‌ها مکالمات شبیه‌سازی‌شده در شش وظیفه تولید بودند، روی مدل‌های 2025 سنجیده شدند، و 39% میانگینی در میان آن وظایف است، نه ویژگی هیچ محصولی که امروز ممکن است بخرید. مدل‌ها از آن زمان بهتر شده‌اند. یافته پایدار عدد نیست، تجزیه است.
دلیل اینکه این تفکیک تمام استدلال است همین است. ابزاری که به‌سادگی هنوز به‌اندازه کافی خوب نیست، یک مسئله زمانبندی است: یا منتظر می‌مانید، یا دامنه کار را محدود می‌کنید. ابزاری که بهطور میانگین درست است و به‌شکلی غیرقابل پیشبینی اشتباه میکند، یک مسئله مدیریتی است، و مسئله‌ای متفاوت. نمیتوانید با بررسی موارد سخت دور آن را نیرو بچینید، چون از پیش نمی‌دانید کدام مورد سخت بوده است. کار جامعه بهطور طبیعی چندنوبتی است — عضوی می‌پرسد، روشن میکند، مخالفت میکند، سه پیام بعد زمینه اضافه میکند — که دقیقاً همان شرایطی است که مقاله اندازه‌گیری کرد.
انسان در حلقه Discord یک قطعه نرم‌افزار بود، و یک باگ داشت
Discord به زمان حال منتشر کرد که عضوی از تیم Trust & Safety آن همیشه محتوای علامت‌گذاری‌شده را پیش از هر اقدامی بررسی میکند. با این حال یک باگ بیش از ۸٬۰۰۰ حساب را مسدود کرد. انسان در حلقه یک مسیر کد بود، و مسیرهای کد مثل نرم‌افزار شکست می‌خورند، نه مثل آدم‌ها.
TechCrunch آن را در ۷ ژوئیه ۲۰۲۶ در مقاله‌ای از Lauren Forristal با تیتر «Discord اعتراف میکند که باگ تعدیل هوش مصنوعی کاربران را به‌اشتباه به‌خاطر تصاویر بی‌ضرر مسدود کرد». هسته ماجرا: «Discord تأیید کرده است که باگی در سیستم تعدیل هوش مصنوعی آن در دو ماه گذشته بیش از ۸٬۰۰۰ کاربر را به‌اشتباه مسدود کرد، پس از آنکه تصاویر بی‌ضرری — از جمله صفحه‌گسترده‌ها، صفحه‌های شطرنج، بافت‌های بازی، و همچنین پس‌زمینه‌های شفاف سفید و خاکستری — به‌اشتباه بهعنوان محتوای مضر علامت‌گذاری شدند.»
مقیاس را باید دقیق خواند، نه گرد کرد. «شرکت تأیید کرد که این مشکل از ماه مه حساب‌ها را تحت تأثیر قرار داده بود، و در آخر هفته پیش از آنکه تیمش مشکل را شناسایی و رفع کند، ۲۰۰ کاربر دیگر مسدود شدند. همه حساب‌های آسیب‌دیده در حال حاضر در حال بازیابی هستند.»
حالا بخشی که طرز فکر شما درباره این ماجرا را تغییر میدهد. حساب پشتیبانی خود Discord، که TechCrunch از رشته آن در ۷ ژوئیه ۲۰۲۶ نقل کرده است، طراحی را این‌گونه توصیف کرد: «سیستم‌های ما محتوا را با تطبیق آن با مواد مضر شناختهشده علامت‌گذاری میکنند. این نوع تطبیق شباهت میتواند مثبت‌های کاذب تولید کند، و به همین دلیل عضوی از تیم Trust & Safety ما همیشه محتوای علامت‌گذاری‌شده را پیش از هر اقدامی بررسی میکند.»
و خلاصه خود TechCrunch از آنچه رخ داد: «یک ناظر انسانی محتوا را بررسی میکند، اما یک باگ باعث شد سیستم فوراً حساب‌های آسیب‌دیده را مسدود کند.»
هر دو هم‌زمان درست‌اند. مرحله بررسی طراحی شده بود، مستند شده بود و به‌صورت عمومی با زمان حال توصیف شده بود — و اجرا نشد. Discord دروغ نگفت و این پست هم استدلال نمی‌کند که دروغ گفته است. نکته باریک‌تر و ناراحت‌کننده‌تر است: «انسان در حلقه» یک قطعه نرم‌افزار است و مثل آن شکست می‌خورد. این یک شرط است، یک صف، یک فراخوانی سرویس، یک فلگ ویژگی. هر یک از این‌ها میتواند اشتباه باشد، و وقتی یکی اشتباه باشد، ویژگی ایمنی‌ای که به آن تکیه کرده بودید بی‌صدا از بین می‌رود، در حالی که نمودار معماری هنوز آن را نشان میدهد.
همچنین توجه کنید ورودی‌های شکست‌خورده چه بودند. صفحه‌گسترده‌ها. صفحه‌های شطرنج. پس‌زمینه‌های خاکستری شفاف. هیچ‌چیز در آن فهرست شبیه یک حالت مرزی نیست که کسی برایش تست نوشته باشد، که همان وضعیت عادی یک سیستم تطبیق شباهت هنگام مواجهه با دنیای واقعی است.
اگر تمام اطمینان‌بخشی شما به اعضایتان این است که «یک نفر بررسی میکند»، ادعایی درباره انسان‌ها نکرده‌اید. ادعایی درباره یک مسیر کد کرده‌اید، و باید بتوانید بگویید آخرین بار چه زمانی اجرا شد.
اینکه چرا «همیشه یک انسان را در حلقه نگه دار» هم درس ماجرا نیست
اصلاح مرتب و تمیزِ هیاهوی فروشندگان این است که بگوییم یک نفر باید همه‌چیز را تأیید کند. Digital Trust & Safety Partnership، که برای شرکت‌هایی می‌نویسد که این کار را در مقیاس بزرگ انجام می‌دهند، چنین نمی‌گوید. این نهاد گزارش میدهد که اجرای خودکار بدون بازبینی انسانی وقتی اطمینان بالا باشد رایج است، و اینکه بازبینی انسانی خطاناپذیر نیست.
منبع این است: «بهترین شیوه‌ها برای هوش مصنوعی و خودکارسازی در اعتماد و ایمنی»، Digital Trust & Safety Partnership، سپتامبر ۲۰۲۴. این معتبرترین سند در این حوزه است که هر کسی میتواند دانلود کند و نسبت به آنچه بیشتر مردم انتظار دارند با خودکارسازی سازگارتر است.
درباره اینکه آیا میتوانید به‌کلی از خودکارسازی پرهیز کنید: «هوش مصنوعی و خودکارسازی نوشدارو نیستند—چالش‌ها و محدودیت‌های متعددی دارند و حضور انسان همچنان لازم است. با این حال، مقابله با سوءاستفاده مرتبط با محتوا و رفتار در مقیاس برای بسیاری از محصولات و خدمات دیجیتال بدون سطحی از هوش مصنوعی و خودکارسازی ممکن نیست.» به دامنه این جمله توجه کنید — «برای بسیاری از محصولات و خدمات دیجیتال»، نه برای همه. جامعه‌ای با چهارصد نفر در موقعیت یک پلتفرم با چهارصد میلیون نفر نیست.
درباره اینکه شرکت‌های عضو واقعاً چه میکنند: «همه شرکت‌های شریک DTSP که برای این گزارش مصاحبه شده‌اند همچنان برای اقدام مناسب به هر دو ابزار خودکار و بازبینی و نظارت انسانی تکیه میکنند، به‌ویژه جایی که رویکردی دقیق‌تر برای ارزیابی محتوا یا رفتار لازم است.»
و سپس دو جمله‌ای که مانع می‌شوند این مقاله جایگزین هیاهوی فروشندگان با ساده‌سازی مرتب‌تری شود:
- «رایج است که تیمهای اعتماد و ایمنی وقتی سیستم به ارزیابی خود اطمینان بالایی دارد، اقدام اجرایی خودکار را بدون بازبینی انسانی فعال میکنند.»
- «اغلب تصور میشود که بازبین انسانی دقیق‌تر و قابل‌اعتمادتر از سیستم هوش مصنوعی خواهد بود؛ با این حال، بازبینی انسانی خطاناپذیر نیست.»
گزارش همچنین شکل معامله‌ای را نام می‌برد که واقعاً هنگام تنظیم هر یک از این موارد انجام می‌دهید: «بهینه‌سازی برای recall (کشف تخلفات بالقوه بیشتر) میتواند هم true positive و هم false positive را افزایش دهد و احتمالاً به اقدام بیش از حد منجر شود. در مقابل، بهینه‌سازی برای precision (تشخیص دقیق‌تر تخلفات) میتواند false positive را کاهش دهد اما ممکن است false negative را نیز افزایش دهد (کم‌کاری).»
بنابراین طراحیای که گزارش توصیف میکند نه «بگذار عامل تصمیم بگیرد» است و نه «یک نفر همه چیز را تأیید کند». این طراحی بر اساس سطوح اطمینان است: «وقتی سطح اطمینان پایینتر است، سیستم خودکار ممکن است یک اقدام اجرایی موقت انجام دهد (مثلاً موقتاً رتبه محتوا را پایین بیاورد یا قابلیت کشف حساب را کاهش دهد) و پرونده را برای بررسی انسانی ارسال کند تا اقدام را تأیید یا اصلاح کند.»
این واقعاً مدل ذهنی متفاوتی از آن چیزی است که بیشتر صاحبان جامعه با خود حمل میکنند و بهتر است. مسیر کم‌اطمینان متوقف نمی‌شود و منتظر نمی‌ماند. کوچک‌ترین اقدام برگشت‌پذیر موجود را انجام میدهد و سپس از یک نفر می‌پرسد. پایین آوردن رتبه ممنوعیت نیست. ادعای کوئست که برای بررسی نگه داشته شده، ادعای ردشده نیست. اگر بتوانید یک اقدام میانی ابداع کنید، دیگر لازم نیست در هر مورد بین سرعت و ایمنی یکی را انتخاب کنید.
کدام تصمیمها را امروز میتوانید به ماشین بسپارید
تصمیمها را بر اساس آنچه هنگام اشتباه ماشین رخ میدهد مرتب کنید، نه بر اساس اینکه چقدر سخت به نظر می‌رسند. پیشنویس اشتباه ویرایش میشود. خلاصه بد دوباره خوانده میشود. ممنوعیت اشتباه به یک عضو هزینه حسابش را تحمیل میکند و برای شما هزینه یک رشته پشتیبانی، اعتبار و شاید یک حکم را دارد. برگشت‌پذیری محوری است که اهمیت دارد.
این جدول قضاوت Zealy است، نه یافته‌ای از هیچ‌یک از منابع بالا. این همان چیزی است که در ۱۸ اوت ۲۰۲۶ به صاحب جامعه‌ای که از ما می‌پرسید می‌گفتیم.
| تصمیم | پاسخ امروز ما | پیش از خودکارسازی آن چه چیزی باید درست باشد |
|---|---|---|
| نوشتن یک پست، توضیح کوئست یا پاسخ | بله | یک نفر پیش از ارسال آن را میخواند. چیز دیگری لازم نیست. |
| خلاصهسازی یک کانال، یک هفته یا صف ارسالها | بله | منبع اصلی در دسترس می‌ماند تا خواننده بتواند خلاصه را با آن بررسی کند. |
| ارجاع یک گزارش، پرسش یا ادعا به فرد مناسب | بله | مسیریابی اشتباه ارزان و قابل‌مشاهده است و صف یک سیاه‌چاله نیست. |
| پاسخ دادن به پرسشی که پاسخ مستند دارد | بله، با احتیاط | پاسخ به‌صورت مکتوب جایی که در کنترل شماست وجود دارد و پاسخ نادرست را می‌توان به‌سرعت و به‌صورت عمومی اصلاح کرد. |
| برچسبگذاری، رتبهبندی یا مرتب‌سازی صف برای یک انسان | بله | انسان همچنان مواردی را که مدل در آخر رتبهبندی کرده می‌بیند. مرتب‌سازی به معنای فیلترکردن نیست. |
| تأیید یا رد ارسالی که پرداخت دارد | فقط با مسیر تجدیدنظر | به عضو دلیل گفته میشود، یک نفر میتواند رأی را برگرداند و کسی نرخ برگشت را زیر نظر دارد. |
| حذف محتوا یا محدود کردن یک حساب | فقط با یک اقدام میانی قابل بازگشت | مسیری با اطمینان پایین وجود دارد که کاری کوچکتر از اقدام کامل انجام میدهد، همان‌طور که گزارش DTSP توصیف میکند. |
| مسدود کردن کامل یک عضو | خیر | ما نمی‌توانیم سطح اطمینانی را نام ببریم که بدون حضور انسان این کار را ایمن کند، و حادثه Discord دلیلش است. |
| خرج کردن پول یا جابه‌جایی پاداشها | خیر | هیچ بخشی از این مقاله از خودکارسازی آن پشتیبانی نمی‌کند، و شکست آن با عذرخواهی جبران‌پذیر نیست. |
الگوی ستون میانی این نیست که «کارهای سخت برای انسان‌هاست». رتبهبندی یک صف، وظیفه شناختی سخت‌تری از مسدود کردن یک نفر است. در بالای فهرست قرار دارد چون رتبهبندی اشتباه چیزی را از شما نمی‌گیرد که در یک ثانیه نتوانید جبران کنید، اما مسدود کردن اشتباه یک نفر را از شما میگیرد.
یک نکته عملی که در جدول جا نمی‌شود. تقریباً هر جامعه‌ای که تصمیمی را خودکار میکند، فراموش میکند نرخ بازگشت را پس از آن اندازه‌گیری کند؛ یعنی مسیر اعتراض وجود دارد اما هیچ‌کس خروجی آن را نمی‌خواند. اگر قرار است فقط یک چیز از این مقاله بسازید، شمارنده را بسازید. اگر در حال برآورد بخش انسانی آن کار هستید، نحوه واگذاری وظایف جامعه هزینه نیروی کاری را پوشش میدهد که هرگز در صفحه قیمت‌گذاری دیده نمی‌شود.
Zealy دو مسیر هوش مصنوعی دارد و این دو به این پرسش پاسخ متفاوتی می‌دهند
از طریق سرور MCP زیلای، هیچ تغییری که یک عامل انجام میدهد تا زمانی که یک انسان تأیید نکند اجرا نمی‌شود. درون محصول Zealy، بازبینی هوش مصنوعی زیلای دربارهٔ ادعای یک کوئست مستقیماً تصمیم میگیرد: ادعا را موفق یا ناموفق علامت میزند و دلیلش را برای عضو ارسال میکند. دو مسیر هوش مصنوعی در یک شرکت، پاسخ‌های متضاد به یک پرسش.
اول دومی را بررسی کنیم، چون همان است که علیه ما استدلال میکند. در طرحهای Plus و Enterprise میتوانید بازبینی هوش مصنوعی را برای یک کوئست فعال کنید و پرامپتی بنویسید که توضیح دهد یک ارسال معتبر چه شکلی است. مستندات خود Zealy پیامد آن را بدون تلطیف بیان میکند: هوش مصنوعی دربارهٔ ادعا تصمیم میگیرد. این یک توصیه برای تأیید توسط انسان باقی نمیگذارد. ادعا را موفق یا ناموفق علامت میزند و دلیلی که ارائه میدهد بهعنوان نظر بازبینی ارسال میشود که عضو در صندوق ورودی خود میخواند. احکام آن به یک بازبین هوش مصنوعی Zealy نسبت داده میشود که در کنار تیم شما در تحلیل‌های برترین بازبینها ظاهر میشود. اگر میخواهید یک انسان تصمیم نهایی را بگیرد، بازبینی هوش مصنوعی را برای آن کوئست خاموش بگذارید. این همه در مستندات بازبینی‌های Zealyآمده است و از همان ابتدا در آنجا منتشر شده است.
در مقایسه با جدول بالا، این یک تأیید یا رد خودکار برای تصمیمی است که XP و پاداش‌های نقش اعطا میکند — و چون مستندات Zealy میگوید توزیع هر نوع پاداش دیگری بر عهدهٔ جامعه است، برای تصمیمی هم که تعیین میکند جامعه بعداً چه چیزی به آنها بدهکار است. اقدامات کاهشی واقعی‌اند — یک بازبین میتواند هر حکمی را لغو کند که ادعا را به حالت در انتظار برمی‌گرداند، و به عضو دلیل گفته میشود نه اینکه بی‌صدا رد شود — اما تصمیم را مدل میگیرد و اعتراض با توجه کردن عضو آغاز میشود.
مسیر دیگر هوش مصنوعی Zealy موضع مخالف گرفت. در طول سرور MCP در Zealy، یک عامل آزادانه میخواند و بدون تأیید قبلی یک شخص برای همان تغییر دقیق، نمی‌تواند چیزی را تغییر دهد. سازوکار آن دروازه، ابزار به ابزار، در نحوه بررسی دسترسی یک عامل هوش مصنوعی به جامعه شما، که سطح را برمی‌شمارد نه اینکه آن را توصیف کند.
ما قصد نداریم این تناقض را درون یک پست وبلاگ حل کنیم، و تظاهر به اینکه یک فلسفه منسجم واحد است بدتر از چاپ کردن آن خواهد بود. دو تیم، دو مدل تهدید، دو پاسخ. آنچه می‌توانیم بگوییم این است که این شکاف تصادفی نیست: مسیر MCP یک عامل بیرونی است که با اختیارات یک مدیر در سراسر یک جامعه عمل میکند، و مسیر بازبینی یک قضاوت محدود درباره یک ارسال در برابر پرامپتی است که خود جامعه نوشته است. این‌ها ریسک‌های متفاوتی هستند. اینکه آیا آنها کافی برای توجیه پیش‌فرض‌های متضاد هستند، پرسش منصفانه‌ای است که میتوانید از ما بپرسید، و اگر در حال ارزیابی Zealy هستید باید آن را بپرسید.
نکته کلی فراتر از محصول خودمان هم صادق است. وقتی فروشنده‌ای به شما میگوید هوش مصنوعی‌اش انسان را در چرخه نگه می‌دارد، بپرسید منظور کدام قابلیت‌های هوش مصنوعی‌اش است. شرکت‌ها یک سیاست واحد ندارند. آنها برای هر تیمی که چیزی عرضه کرده، یک سیاست جداگانه دارند.
جایی که Discord و Cove این کار را بهتر از Zealy انجام می‌دهند
AutoMod دیسکورد درون خود دیسکورد اجرا میشود و پیام را پیش از آنکه کسی ببیند مسدود میکند؛ Zealy در مسیر پیام‌های دیسکورد قرار ندارد و نمی‌تواند چیزی را پیش از انتشار متوقف کند. Cove یک کنسول مدیر بر این پیشفرض عرضه میکند که اتوماسیون خودش چیزهایی را از دست خواهد داد. Zealy معادل چنین چیزی ندارد.
این‌ها دو مزیت متفاوت‌اند و هر دو ارزش شناختن دارند.
مزیت دیسکورد موقعیتی است. مستندات Auto Moderation خود دیسکورد این قابلیت را چنین توصیف میکند: «که به هر سرور اجازه میدهد قوانینی تنظیم کند که بر اساس معیارهایی فعال می‌شوند»، و BLOCK_MESSAGE کنش آن را چنین: «پیام یک عضو را مسدود میکند و از ارسال آن جلوگیری میکند». تمام مزیت در یک جمله خلاصه میشود: مداخله پیش از انتشار رخ میدهد، نه پس از آن. Zealy به دیسکورد متصل میشود، نقش اعطا میکند و وظایف را تأیید میکند؛ اما خودِ سرور چت نیست و هیچ مقدار هوش مصنوعی از سمت ما جایگاه ما را تغییر نمی‌دهد. اگر مشکل شما این است که «پیام بد هرگز نباید ظاهر شود»، ابزاری که آن را حل میکند همانی است که از قبل در مسیر قرار دارد. بررسی ابزارهای تعامل در Discord پوشش میدهد که چه چیز دیگری به آن لایه تعلق دارد.
رویکرد Cove معمارانه است و جالب‌تر از آن یکی است. Cove در مستندات خودش خود را این‌گونه توصیف میکند: «Cove یک پلتفرم بدون کد برای اعتماد و ایمنی است»، و سپس درباره اتوماسیون خودش می‌نویسد: «برخی محتوای مضر ناگزیر از قوانین خودکار شما عبور میکند و کاربرانتان آن را گزارش/علامت‌گذاری میکنند. با کنسول مدیران ما، مدیران شما می‌توانند آن گزارشها را بررسی کنند و مستقیماً در رابط کاربری ما روی آنها اقدام کنند.»
دوباره کلمه «ناگزیر» را بخوانید، در مستندات محصول خودِ یک فروشنده مستندات محصول، درباره محصولی که به شما می‌فروشد. Cove سطحی طراحی کرده که تمام دلیل وجودش این است که لایه خودکار اشتباه خواهد کرد، و گردش‌کاری برای گرفتن آن اشتباه‌ها را بهعنوان بخشی درجه‌یک از محصول ساخته، نه بهعنوان یک تیکت پشتیبانی.
Zealy روی یک بررسی قابلیت واگرد دارد، که همان چیز نیست. واگرد کنترلی برای کسی است که از قبل می‌داند یک حکم اشتباه بوده. آنچه Cove دارد جایی است که خطاها به آن می‌رسند. اگر پلتفرمی را تا حدی بر اساس نحوه برخوردش با شکست‌های خودش انتخاب می‌کنید، همین تمایز چیزی است که باید آزمایش کنید، و باید آن را روی ما هم آزمایش کنید. ما مقایسه گسترده‌تری از نرم‌افزار مدیریت جامعه اگر در آن تصمیم زودتر باشید، و Zealy چیست اگر توضیح سادهٔ دامنهٔ خودمان را میخواهید.
وقتی عامل اشتباه میکند چه کسی پاسخ میدهد
شما پاسخ می‌دهید. در فوریه ۲۰۲۴، یک دادگاه کانادایی ایر کانادا را به پرداخت خسارت محکوم کرد پس از آنکه چت‌بات وب‌سایتش به یک مسافر داغدیده اطلاعات نادرست داد. ایر کانادا به گفتهٔ دادگاه استدلال کرد که چت‌بات یک نهاد حقوقی مستقل است که مسئول اقدامات خودش است. دادگاه در مجموع ۸۱۲٫۰۲ دلار کانادا اعطا کرد که ۶۵۰٫۸۸ دلار کانادا از آن خسارت بود.
The Register آن را در ۱۵ فوریه ۲۰۲۴ در مقاله‌ای از کاتیانا کوآچ با تیتر «ایر کانادا باید پس از دروغ‌گویی چت‌بات به مسافر داغدیده دربارهٔ تخفیف، خسارت بپردازد». عضو دادگاه که این پرونده را تصمیم گرفت کریستوفر ریورز بود، و The Register از حکم نقل میکند که موضع شرکت هواپیمایی را این‌گونه توصیف میکند: «در عمل، ایر کانادا القا میکند که چت‌بات یک نهاد حقوقی مستقل است که مسئول اقدامات خودش است.»
و این یافته، یعنی جمله‌ای که هر صاحب جامعه‌ای که یک عامل را مستقر میکند باید جایی ببیند که بتواند آن را بخواند: «باید برای Air Canada بدیهی باشد که مسئول تمام اطلاعات وب‌سایتش است. فرقی نمی‌کند که اطلاعات از یک صفحه ثابت بیاید یا از یک چت‌بات.»
یک نکته درباره نحوه استناد ما به این مطلب. ما به گزارش The Register استناد می‌کنیم، نه به خود رأی که آن را نخوانده‌ایم، و ارجاع پرونده را چاپ نمی‌کنیم.
مبالغ کوچک است، اما اصل ماجرا نه. عاملی که در جامعه شما صحبت میکند، در واقع خود شما هستید که در جامعه‌تان صحبت می‌کنید. اعضا شما را در قبال آنچه او گفته مسئول می‌دانند، و دست‌کم یک مرجع قضایی هم همین کار را کرده است. این موضوع درباره سیاست بازپرداختی که او از خودش درمی‌آورد، قاعده‌ای که او بیان میکند و شما هرگز آن را ننوشته‌اید، و ممنوعیتی که او اعمال میکند صدق میکند. «هوش مصنوعی این کار را کرد» بهعنوان دفاعیه آزموده شد و شکست خورد.
چگونه مرز را برای جامعه خودتان تعیین کنید
تصمیم‌هایی را که عامل شما خواهد گرفت بنویسید، سپس بنویسید وقتی هر یک اشتباه باشد چه اتفاقی می‌افتد و چه کسی آن را درست میکند. اگر نتوانید شخصی را که آن را درست میکند نام ببرید، آن تصمیم آماده خودکارسازی نیست. همین یک تمرین از هر آستانه اطمینانی که کورکورانه انتخاب کنید ارزشمندتر است.
نسخه کوتاهی از آنچه شواهد بالا پشتیبانی میکند، به ترتیبی که انجامش میدهیم:
- مکانیک‌ها را فوراً خودکار کنید. پیش‌نویس‌کردن، زمانبندی، خلاصهسازی، مسیریابی، برچسبگذاری. عیبش یک پیشنویس بد است، و شما از قبل می‌دانید با یک پیشنویس بد چگونه برخورد کنید.
- برای هر چیزی که پیامد دارد، پیش از ابداع آستانه، اقدام میانی را ابداع کنید. مسیر کم‌اطمینان گزارش DTSP یک گام کوچک برگشت‌پذیر برمی‌دارد و پرونده را به مرحله بعد میفرستد. یک ادعای معلق، یک پست تنزل‌یافته، یک حساب محدودشده اما حذف‌نشده. اگر تنها دو گزینه شما «اقدام» و «صبر» باشد، هر آستانه‌ای که انتخاب کنید در یک جهت اشتباه خواهد بود.
- گام بازبینی انسانی خود را مانند نرم‌افزار در نظر بگیرید و آن را مانند نرم‌افزار آزمایش کنید. Discord روی کاغذ وجود داشت و اجرا نشد. بپرسید آخرین بار مال شما واقعاً چه زمانی فعال شد، و چه چیزی به شما میگوید اگر متوقف شده باشد.
- تعداد برگشت‌ها را بشمارید. مسیر تجدیدنظری که هیچ‌کس آن را اندازه نمی‌گیرد، فقط یک فرم شکایت است. نرخ برگشت تنها خوانش صادقانه‌ای است که درباره کافی‌بودن تصمیم خودکار به دست می‌آورید و ثبت آن تقریباً هیچ هزینه‌ای ندارد.
- فرض کنید مالک هر چیزی هستید که میگوید. ایر کانادا موضع مخالف را در برابر یک دیوان مطرح کرد.
پرسش عنوان یک پاسخ واقعی دارد و پاسخش شانه بالا انداختن نیست. یک عامل هوش مصنوعی امروز میتواند سازوکارهای جامعه شما را به‌خوبی اجرا کند و باید اجازه دهید این کار را بکند. هنوز نمی‌تواند همان چیزی باشد که تصمیم میگیرد چه کسی حذف شود، چه کسی پول بگیرد یا سیاست شما چیست — نه چون احمق است، بلکه چون به شکلی غیرقابل پیشبینی برای هر مورد غیرقابل اتکاست و چون تور ایمنی انسانی که پشت آن می‌گذارید نرم‌افزاری با حالت‌های خرابی خودش است. برای حالتی طراحی کنید که هر دو اشتباه کنند و چیزی بهتر از آنچه هیاهو یا واکنش منفی نصیبتان می‌کرد ساخته‌اید.