क्या एक AI एजेंट वास्तव में आपके कम्युनिटी को चला सकता है?

संक्षिप्त उत्तर: एक AI एजेंट आज कम्युनिटी के मैकेनिक्स चला सकता है — ड्राफ्टिंग, शेड्यूलिंग, पढ़ना, सारांश बनाना, रूटिंग, और ऐसे सवालों के जवाब देना जिनका दस्तावेज़ी जवाब पहले से मौजूद है। उसे ऐसे निर्णय नहीं सौंपे जाने चाहिए जिनकी विफलताएँ महँगी और उलटना मुश्किल हों, और इसका कारण यह नहीं है कि मॉडल बेवकूफ हैं। कारण यह है कि वे एक विशिष्ट मापे गए तरीके से अविश्वसनीय हैं, और जिस मानव समीक्षा चरण पर लोग सुरक्षा जाल की तरह भरोसा करते हैं, वह स्वयं सॉफ़्टवेयर है जो विफल हो सकता है। तीसरा हिस्सा वही है जो आमतौर पर छूट जाता है: "हमेशा मानव को लूप में रखें" भी सुधार नहीं है। व्यावहारिक सवाल यह है कि कौन-से निर्णय, किस विश्वास स्तर पर, किस अपील मार्ग के साथ।

प्रकटीकरण: Zealy यह पेज प्रकाशित करता है और Zealy वही चीज़ बेचता है जिस पर चर्चा हो रही है। Zealy एक कम्युनिटी और क्वेस्ट प्लेटफ़ॉर्म है, Zealy एक MCP सर्वर देता है जो AI एजेंट को Zealy कम्युनिटी का प्रशासन करने देता है, और Zealy एक AI समीक्षक देता है जो क्वेस्ट क्लेम तय करता है। तीनों नीचे आते हैं, जिसमें वह जगह भी शामिल है जहाँ उनमें से दो एक-दूसरे से असहमत हैं और वे दो जगहें भी जहाँ किसी प्रतिस्पर्धी का डिज़ाइन हमारे से बेहतर है।

अंतिम सत्यापन: 18 अगस्त 2026।

एक AI एजेंट आज किसी कम्युनिटी में वास्तव में क्या कर सकता है?

एक AI एजेंट मशीनी काम भरोसेमंद तरीके से कर सकता है: पोस्ट और जवाबों का ड्राफ़्ट बनाना, उन्हें शेड्यूल करना, किसी चैनल को पढ़कर उसका सारांश देना, किसी रिपोर्ट को सही व्यक्ति तक भेजना, और ऐसे सवालों के जवाब देना जिनका दस्तावेज़ी जवाब पहले से मौजूद है। ये ऐसे काम हैं जिनमें गलत आउटपुट दिखाई देता है, सस्ता है और किसी को नुकसान पहुँचने से पहले आसानी से सुधारा जा सकता है।

यह सूची छोटी बात नहीं है। ज़्यादातर कम्युनिटी काम मशीनी हैं, और ज़्यादातर कम्युनिटी टीमें इसमें पीछे हैं। अगर एक एजेंट आपका साप्ताहिक रिकैप ड्राफ़्ट करता है और कोई व्यक्ति उसे लिखने में चालीस मिनट के बजाय ठीक करने में चार मिनट लगाता है, तो यह सीमित नुकसान वाली असली जीत है।

हमने यह पोस्ट इसलिए लिखी क्योंकि इस सवाल का जवाब बुरी तरह दिया जा रहा है। खोजने पर can ai run my community 18 अगस्त 2026 को, हमें जो भी नतीजे मिले वे सभी किसी विक्रेता का ब्लॉग या विक्रेता का प्रोडक्ट पेज थे — heightsplatform.com, mightynetworks.com, social.plus, circle.so, socialglow.com, aismartventures.com। हमें मिले नतीजों में से किसी एक ने भी इस सवाल का जवाब "नहीं" या "आंशिक रूप से" से नहीं दिया। हर एक ने इसे फ़ीचर सूची के रूप में दोहराया। यह एक दिन में हमारे निकाले गए नतीजों के बारे में एक अवलोकन है, न कि अब तक लिखी गई हर बात के बारे में कोई दावा।

इस श्रेणी के खुद के विक्रेता अपने लैंडिंग पेजों से ज़्यादा ईमानदार हैं। सोशल मीडिया के लिए AI एजेंट बनाने पर Sprout Social की गाइड, McCall Lanman द्वारा, 16 अप्रैल 2026 को प्रकाशित, श्रेणी को परिभाषित करती है किसी व्यक्ति की अनुपस्थिति से: "एक AI एजेंट एक सॉफ़्टवेयर प्रोग्राम है जो अपने मस्तिष्क के रूप में एक बड़े भाषा मॉडल (LLM) का उपयोग करके स्वायत्त रूप से कार्य पूरे करता है, निर्णय लेता है और बाहरी टूल्स के साथ इंटरैक्ट करता है—बिना किसी मनुष्य के हर कदम को निर्देशित किए।" उसी पेज पर आगे यह कहा गया है कि व्यक्ति को वापस लाओ: "अनुमोदन वर्कफ़्लो: संवेदनशील प्रतिक्रियाओं को भेजने से पहले किसी मानव प्रबंधक के पास भेजें—इसे human-in-the-loop कहा जाता है।" और स्पष्ट रूप से: "गार्डरेल के बिना, एक अच्छी तरह से बनाया गया एजेंट भी ब्रांड के विपरीत या हानिकारक आउटपुट देता है।"

यह पाखंड नहीं है। यह इस श्रेणी की वास्तविक कठिनाई है जो एक मार्केटिंग पेज के माध्यम से दिखाई दे रही है, और इसे विनम्रता से कहना उचित है। यदि आप स्वयं इस शब्द को ठीक से परिभाषित करना चाहते हैं, तो हमारा एजेंटिक मार्केटिंग पर स्तंभ इसे महत्वाकांक्षा के बजाय मशीनरी के मानक पर आंकता है।

वास्तविक सीमा क्षमता नहीं, बल्कि अविश्वसनीयता क्यों है

किसी एजेंट को निर्णय लेने का काम सौंपने में समस्या यह नहीं है कि मॉडल बेवकूफ हैं। समस्या यह है कि वे असंगत हैं, और असंगतता को प्रबंधित करना किसी ज्ञात कमजोरी से कठिन है। बहु-चरणीय बातचीत पर शोध अधिकांश गिरावट को कच्ची क्षमता के बजाय भिन्नता में रखता है।

पेपर है "LLMs Get Lost In Multi-Turn Conversation" by Philippe Laban, Hiroaki Hayashi, Yingbo Zhou और Jennifer Neville, arXiv:2505.06120, 9 मई 2025 को सबमिट किया गया। इसका सारांश बताता है कि "हमारे द्वारा परखे गए सभी शीर्ष ओपन- और क्लोज़्ड-वेट LLM, सिंगल-टर्न की तुलना में मल्टी-टर्न बातचीत में काफ़ी कम प्रदर्शन दिखाते हैं, छह जनरेशन कार्यों में औसतन 39% की गिरावट के साथ।"

इससे ज़्यादा मायने अगला वाक्य रखता है: "200,000+ सिम्युलेटेड बातचीतों का विश्लेषण प्रदर्शन की गिरावट को दो घटकों में बाँटता है: योग्यता में मामूली कमी और अविश्वसनीयता में उल्लेखनीय वृद्धि।" और विफलता का स्वरूप एक आकार रखता है — "जब LLM बातचीत में गलत मोड़ लेते हैं, तो वे भटक जाते हैं और सँभलते नहीं।"

उस 39% का कहीं भी उपयोग करने से पहले सावधानियाँ पढ़ें। ये छह जनरेशन कार्यों में सिम्युलेटेड बातचीतें थीं, जो 2025 के मॉडलों पर मापी गईं, और 39% उन कार्यों में औसत है, न कि आज आप जो भी उत्पाद खरीद सकते हैं उसकी कोई विशेषता। तब से मॉडल बेहतर हुए हैं। टिकाऊ निष्कर्ष संख्या नहीं, बल्कि विभाजन है।

यही कारण है कि यह विभाजन ही पूरी दलील है। ऐसा टूल जो अभी बस पर्याप्त अच्छा नहीं है, वह शेड्यूलिंग की समस्या है: आप इंतज़ार करते हैं, या काम को सीमित कर देते हैं। ऐसा टूल जो औसतन सही है और अप्रत्याशित रूप से गलत है, वह प्रबंधन की समस्या है, और वह एक अलग समस्या है। आप कठिन मामलों की जाँच करके इसके आसपास कर्मचारियों की व्यवस्था नहीं कर सकते, क्योंकि आप पहले से नहीं जानते कि कौन-सा मामला कठिन था। समुदाय का काम स्वभाव से बहु-चरणीय होता है — कोई सदस्य पूछता है, स्पष्ट करता है, विरोध करता है, तीन संदेश बाद संदर्भ जोड़ता है — और यही वह परिस्थिति है जिसे पेपर ने मापा।

Discord का human in the loop एक सॉफ़्टवेयर था, और उसमें एक बग था

Discord ने वर्तमान काल में प्रकाशित किया कि उसकी Trust & Safety टीम का एक सदस्य कोई भी कार्रवाई किए जाने से पहले हमेशा फ़्लैग किए गए कंटेंट की समीक्षा करता है। फिर भी एक बग ने 8,000 से अधिक अकाउंट बैन कर दिए। human in the loop एक कोड पाथ था, और कोड पाथ सॉफ़्टवेयर की तरह विफल होते हैं, लोगों की तरह नहीं।

TechCrunch ने 7 July 2026 को Lauren Forristal के एक लेख में इसकी रिपोर्ट की, जिसका शीर्षक था "Discord ने स्वीकार किया कि AI मॉडरेशन बग ने हानिरहित छवियों के कारण उपयोगकर्ताओं को गलत तरीके से प्रतिबंधित किया". इसका मूल यह है: "Discord ने स्वीकार किया है कि उसके AI मॉडरेशन सिस्टम में एक बग के कारण पिछले दो महीनों में 8,000 से अधिक उपयोगकर्ताओं को गलती से प्रतिबंधित कर दिया गया, क्योंकि हानिरहित छवियाँ—जिनमें स्प्रेडशीट, शतरंज के बोर्ड, गेम टेक्सचर, तथा सफ़ेद और धूसर पारदर्शी बैकग्राउंड शामिल हैं—गलत तरीके से हानिकारक सामग्री के रूप में चिह्नित कर दी गईं।"

पैमाने को बढ़ा-चढ़ाकर नहीं, बल्कि सटीक रूप से पढ़ना उचित है। "कंपनी ने पुष्टि की कि यह समस्या मई से खातों को प्रभावित कर रही थी, और उसकी टीम द्वारा समस्या की पहचान कर उसे ठीक करने से पहले सप्ताहांत में अतिरिक्त 200 उपयोगकर्ताओं को प्रतिबंधित किया गया। सभी प्रभावित खाते वर्तमान में बहाल किए जा रहे हैं।"

अब वह हिस्सा जो आपके नज़रिए को बदल देता है। TechCrunch द्वारा 7 जुलाई 2026 के अपने थ्रेड से उद्धृत Discord के अपने सहायता खाते ने इस डिज़ाइन का वर्णन इस प्रकार किया: "हमारे सिस्टम ज्ञात हानिकारक सामग्री से मिलान करके सामग्री को चिह्नित करते हैं। इस प्रकार का समानता-मिलान गलत सकारात्मक परिणाम उत्पन्न कर सकता है, इसीलिए कोई भी कार्रवाई करने से पहले हमारी Trust & Safety टीम का एक सदस्य चिह्नित सामग्री की हमेशा समीक्षा करता है।"

और TechCrunch का अपना सारांश कि क्या हुआ: "एक मानव मॉडरेटर सामग्री की समीक्षा करता है, लेकिन एक बग के कारण सिस्टम ने प्रभावित खातों को तुरंत प्रतिबंधित कर दिया।"

ये दोनों बातें एक साथ सच हैं। समीक्षा चरण डिज़ाइन किया गया था, दस्तावेज़ित था, और सार्वजनिक रूप से वर्तमान काल में बताया गया था — और वह चला ही नहीं। Discord ने झूठ नहीं बोला, और यह पोस्ट यह दलील नहीं दे रही कि उसने झूठ बोला। बात इससे अधिक संकीर्ण और असहज है: human-in-the-loop सॉफ़्टवेयर का एक हिस्सा है और उसी तरह विफल होता है। यह एक कंडीशनल, एक क्यू, एक सर्विस कॉल, एक फ़ीचर फ़्लैग है। इनमें से हर एक गलत हो सकता है, और जब कोई एक गलत होता है तो जिस सुरक्षा विशेषता पर आप भरोसा कर रहे थे वह चुपचाप अस्तित्व में नहीं रहती, जबकि आर्किटेक्चर आरेख में वह अब भी दिखती है।

यह भी ध्यान दें कि विफल होने वाले इनपुट क्या थे। स्प्रेडशीट। शतरंज के बोर्ड। ग्रे पारदर्शी बैकग्राउंड। उस सूची में कुछ भी ऐसा नहीं दिखता जिसके लिए कोई एज केस टेस्ट लिखता, और यही समानता-मिलान प्रणाली के वास्तविक दुनिया से मिलने की सामान्य स्थिति है।

यदि आपके सदस्यों को आपका पूरा आश्वासन "कोई व्यक्ति जाँचता है" है, तो आपने लोगों के बारे में दावा नहीं किया है। आपने एक कोड पथ के बारे में दावा किया है, और आपको बता पाना चाहिए कि वह पिछली बार कब चला था।

"हमेशा human-in-the-loop रखें" भी सबक क्यों नहीं है

विक्रेता के प्रचार का साफ़-सुथरा सुधार यह कहना है कि हर चीज़ को एक व्यक्ति को मंज़ूर करना चाहिए। Digital Trust & Safety Partnership, जो इसे बड़े पैमाने पर करने वाली कंपनियों के लिए लिखता है, ऐसा नहीं कहता। वह बताता है कि जब विश्वास ऊँचा हो तो मानवीय समीक्षा के बिना स्वचालित प्रवर्तन आम है, और यह कि मानवीय समीक्षा भी अचूक नहीं है।

स्रोत है "Trust & Safety में AI और ऑटोमेशन के लिए सर्वोत्तम प्रथाएँ", Digital Trust & Safety Partnership, सितंबर 2024। यह इस क्षेत्र का सबसे प्रामाणिक दस्तावेज़ है जिसे कोई भी डाउनलोड कर सकता है, और यह ऑटोमेशन के प्रति अधिकांश लोगों की अपेक्षा से अधिक सहज है।

क्या आप ऑटोमेशन से पूरी तरह बच सकते हैं, इस पर: "AI और ऑटोमेशन कोई रामबाण नहीं हैं—इनके साथ कई चुनौतियाँ और सीमाएँ आती हैं और मानवीय भागीदारी आवश्यक बनी रहती है। हालाँकि, बड़े पैमाने पर सामग्री- और आचरण-संबंधी दुरुपयोग को संबोधित करना कई डिजिटल उत्पादों और सेवाओं के लिए कुछ स्तर के AI और ऑटोमेशन के बिना संभव नहीं है।" उस वाक्य में दायरे पर ध्यान दें — "कई डिजिटल उत्पादों और सेवाओं के लिए", सभी के लिए नहीं। चार सौ लोगों का समुदाय चार सौ मिलियन के प्लेटफ़ॉर्म जैसी स्थिति में नहीं है।

सदस्य कंपनियाँ वास्तव में क्या करती हैं, इस पर: "इस रिपोर्ट के लिए साक्षात्कार किए गए सभी DTSP साझेदार कंपनियाँ उचित कार्रवाई करने के लिए स्वचालित उपकरणों और मानवीय समीक्षा व निगरानी दोनों पर निर्भर रहती हैं, विशेष रूप से जहाँ सामग्री या व्यवहार का आकलन करने के लिए अधिक सूक्ष्म दृष्टिकोण की आवश्यकता होती है।"

और फिर वे दो वाक्य जो इस लेख को विक्रेता के प्रचार को एक अधिक सुव्यवस्थित सरलीकरण से बदलने से रोकते हैं:

• "जब किसी सिस्टम को अपने आकलन पर अत्यधिक भरोसा होता है, तो trust and safety टीमों के लिए मानवीय समीक्षा के बिना स्वचालित प्रवर्तन कार्रवाई सक्षम करना आम बात है।"
• "अक्सर यह माना जाता है कि मानवीय समीक्षक AI सिस्टम से अधिक सटीक और विश्वसनीय होगा; हालाँकि, मानवीय समीक्षा अचूक नहीं है।"

रिपोर्ट उस ट्रेडऑफ़ के स्वरूप को भी नाम देती है जो आप वास्तव में तब कर रहे होते हैं जब आप इनमें से किसी भी चीज़ को ट्यून करते हैं: "रिकॉल के लिए अनुकूलन (अधिक संभावित उल्लंघनों को पकड़ना) दोनों ट्रू पॉज़िटिव और फ़ॉल्स पॉज़िटिव बढ़ा सकता है, जिससे संभवतः अति-कार्रवाई हो सकती है। इसके विपरीत, प्रिसिज़न के लिए अनुकूलन (उल्लंघनों का अधिक सटीक पता लगाना) फ़ॉल्स पॉज़िटिव को कम कर सकता है लेकिन फ़ॉल्स नेगेटिव (अल्प-कार्रवाई) भी बढ़ा सकता है।"

इसलिए रिपोर्ट जिस डिज़ाइन का वर्णन करती है वह न तो "एजेंट को तय करने दें" है और न ही "एक व्यक्ति हर चीज़ को मंज़ूरी दे"। यह कॉन्फ़िडेंस-स्तरीय है: "जब कॉन्फ़िडेंस स्तर कम होता है, तो स्वचालित सिस्टम एक अस्थायी प्रवर्तन कार्रवाई कर सकता है (जैसे, सामग्री को अस्थायी रूप से डाउनरैंक करना या अकाउंट की खोज-योग्यता कम करना), और मामले को मानव समीक्षा के लिए भेज सकता है ताकि कार्रवाई को मंज़ूर या संशोधित किया जा सके।"

यह उस मानसिक मॉडल से वास्तव में अलग है जो अधिकांश कम्युनिटी मालिक अपने साथ रखते हैं, और यह बेहतर है। कम-कॉन्फ़िडेंस वाला रास्ता रुककर इंतज़ार नहीं करता। यह उपलब्ध सबसे छोटी प्रतिवर्ती कार्रवाई करता है और फिर किसी व्यक्ति से पूछता है। डाउनरैंकिंग प्रतिबंध नहीं है। समीक्षा के लिए रोका गया क्वेस्ट क्लेम अस्वीकृत क्लेम नहीं है। यदि आप एक मध्यवर्ती कार्रवाई सोच सकते हैं, तो आपको हर मामले में गति और सुरक्षा के बीच चुनना नहीं पड़ता।

आज आप कौन-से निर्णय मशीन को सौंप सकते हैं

निर्णयों को इस आधार पर छाँटें कि मशीन के गलत होने पर क्या होता है, इस आधार पर नहीं कि वे कितने कठिन लगते हैं। गलत ड्राफ़्ट संपादित हो जाता है। खराब सारांश दोबारा पढ़ा जाता है। गलत प्रतिबंध से सदस्य का अकाउंट चला जाता है, और आपको एक सपोर्ट थ्रेड, प्रतिष्ठा, और संभवतः एक निर्णय की कीमत चुकानी पड़ती है। प्रतिवर्तीता वह अक्ष है जो मायने रखती है।

यह तालिका Zealy का निर्णय है, ऊपर दिए किसी भी स्रोत का निष्कर्ष नहीं। यह वही है जो हम 18 अगस्त 2026 को पूछने वाले कम्युनिटी मालिक को बताते।

उस मध्य स्तंभ में नीचे जाता पैटर्न "कठिन चीज़ें मनुष्यों के लिए हैं" नहीं है। कतार को रैंक करना किसी पर प्रतिबंध लगाने से अधिक कठिन संज्ञानात्मक कार्य है। यह सूची में सबसे ऊपर है क्योंकि गलत रैंकिंग से आपको कुछ भी ऐसा नहीं खोता जिसे आप एक सेकंड में पलट न सकें, और गलत प्रतिबंध से आपको एक व्यक्ति खोता है।

एक व्यावहारिक बात जो तालिका में नहीं बैठती। लगभग हर कम्युनिटी जो किसी निर्णय को स्वचालित करती है, बाद में पलटाव दर मापना भूल जाती है, जिसका अर्थ है कि अपील मार्ग मौजूद है लेकिन कोई यह नहीं पढ़ रहा कि वह क्या उत्पन्न करता है। यदि आप इस लेख से एक चीज़ बनाएँ, तो काउंटर बनाएँ। यदि आप उस काम के मानव पक्ष का आकार तय कर रहे हैं, तो कम्युनिटी कार्यों को कैसे सौंपें उस श्रम लागत को कवर करता है जो किसी प्राइसिंग पेज पर कभी नहीं दिखती।

Zealy दो AI मार्ग चलाता है, और वे इस प्रश्न का अलग-अलग उत्तर देते हैं

Zealy के MCP सर्वर के माध्यम से, एजेंट जो कुछ भी बदलता है वह तब तक प्रभावी नहीं होता जब तक कोई व्यक्ति हाँ न कहे। Zealy उत्पाद के भीतर, Zealy की AI समीक्षा क्वेस्ट क्लेम पर सीधे निर्णय देती है: यह क्लेम को सफल या असफल चिह्नित करती है और अपना कारण सदस्य को पोस्ट करती है। एक ही कंपनी में दो AI मार्ग, एक ही प्रश्न के विपरीत उत्तर।

पहले दूसरे को लें, क्योंकि यही हमारे विरुद्ध तर्क देता है। Plus और Enterprise प्लान पर आप किसी क्वेस्ट के लिए AI समीक्षा चालू कर सकते हैं और एक प्रॉम्प्ट लिख सकते हैं जो बताता है कि मान्य सबमिशन कैसा दिखता है। Zealy का अपना दस्तावेज़ परिणाम को बिना नरम किए बताता है: AI क्लेम का निर्णय करती है। यह किसी व्यक्ति के पुष्टि करने के लिए सिफ़ारिश नहीं छोड़ती। यह क्लेम को सफल या असफल चिह्नित करती है, और जो कारण देती है वह उस समीक्षा टिप्पणी के रूप में पोस्ट होता है जिसे सदस्य अपने इनबॉक्स में पढ़ता है। इसके फ़ैसले एक Zealy AI समीक्षक को जाते हैं जो टॉप-रिव्यूअर्स एनालिटिक्स में आपकी टीम के साथ दिखता है। यदि आप चाहते हैं कि अंतिम निर्णय कोई व्यक्ति करे, तो उस क्वेस्ट के लिए AI समीक्षा बंद रखें। यह सब Zealy के समीक्षा दस्तावेज़पर है, और वहाँ यह शुरू से प्रकाशित रहा है।

ऊपर दी गई तालिका के मुकाबले, यह उस निर्णय पर स्वचालित मंज़ूरी-या-अस्वीकृति है जो XP और रोल रिवॉर्ड देता है — और चूँकि Zealy का दस्तावेज़ कहता है कि किसी अन्य प्रकार का रिवॉर्ड वितरित करना कम्युनिटी की ज़िम्मेदारी है, उस निर्णय पर भी जो तय करता है कि कम्युनिटी को फिर किसका बकाया है। शमन वास्तविक हैं — एक समीक्षक किसी भी फ़ैसले को पलट सकता है, जिससे क्लेम फिर लंबित हो जाता है, और सदस्य को कारण बताया जाता है बजाय चुपचाप असफल किए जाने के — लेकिन निर्णय मॉडल लेता है, और अपील की शुरुआत सदस्य के ध्यान देने से होती है।

Zealy का दूसरा AI मार्ग विपरीत रुख अपनाता है। इसके बारे में Zealy MCP सर्वर, एक एजेंट स्वतंत्र रूप से पढ़ सकता है और किसी व्यक्ति द्वारा उस सटीक बदलाव को पहले स्वीकृत किए बिना कुछ भी बदल नहीं सकता। उस गेट की कार्यप्रणाली, टूल-दर-टूल, यहाँ दी गई है अपने समुदाय तक AI एजेंट की पहुँच का ऑडिट कैसे करें, जो सतह का वर्णन करने के बजाय उसे गिनाता है।

हम उस विरोधाभास को किसी ब्लॉग पोस्ट में सुलझाने नहीं जा रहे हैं, और यह दिखावा करना कि यह एक सुसंगत एकल दर्शन है, इसे छापने से भी बुरा होगा। दो टीमें, दो खतरा मॉडल, दो उत्तर। हम यह कह सकते हैं कि यह विभाजन यादृच्छिक नहीं है: MCP मार्ग एक बाहरी एजेंट है जो पूरे समुदाय में एक प्रशासक के अधिकार से कार्य करता है, और समीक्षा मार्ग एक सबमिशन पर समुदाय द्वारा स्वयं लिखे गए प्रॉम्प्ट के विरुद्ध एक सीमित निर्णय है। ये अलग जोखिम हैं। क्या ये अलग पर्याप्त हैं जो विपरीत डिफ़ॉल्ट को उचित ठहराएँ, यह हमसे पूछने के लिए एक उचित प्रश्न है, और यदि आप Zealy का मूल्यांकन कर रहे हैं तो आपको यह पूछना चाहिए।

यह सामान्य बात हमारे अपने उत्पाद से भी आगे लागू होती है। जब कोई विक्रेता कहे कि उनका AI मानव को लूप में रखता है, तो पूछें कि उनका मतलब अपने किन AI फ़ीचर्स से है। कंपनियों की एक नीति नहीं होती। हर उस टीम की अपनी नीति होती है जिसने कुछ शिप किया है।

जहाँ Discord और Cove यह काम Zealy से बेहतर करते हैं

Discord का AutoMod स्वयं Discord के भीतर चलता है और किसी के देखने से पहले संदेश को ब्लॉक कर देता है; Zealy Discord के संदेश पथ में नहीं बैठता और पोस्ट होने से पहले कुछ भी नहीं रोक सकता। Cove एक Moderator Console देता है जो इस आधार पर बना है कि उसका अपना ऑटोमेशन चीज़ें चूक जाएगा। Zealy के पास इसका कोई समकक्ष नहीं है।

ये दो अलग-अलग लाभ हैं और दोनों को समझना ज़रूरी है।

Discord का लाभ स्थितिगत है। Discord का अपना Auto Moderation दस्तावेज़ इस फ़ीचर को ऐसा बताता है जो "प्रत्येक गिल्ड को कुछ मानदंडों के आधार पर ट्रिगर होने वाले नियम सेट करने की अनुमति देता है", और इसकी BLOCK_MESSAGE क्रिया को ऐसी बताता है जो "किसी सदस्य के संदेश को ब्लॉक करती है और उसे पोस्ट होने से रोकती है"। पूरा लाभ एक ही वाक्यांश में है: हस्तक्षेप प्रकाशन के बाद नहीं, बल्कि उससे पहले होता है। Zealy Discord से जुड़ता है, रोल देता है और कार्य सत्यापित करता है; यह चैट सर्वर नहीं है, और हमारी ओर से कितना भी AI हो, यह नहीं बदलता कि हम कहाँ बैठते हैं। अगर आपकी समस्या यह है कि "कोई बुरा संदेश कभी दिखे ही नहीं", तो उसे हल करने वाला टूल वही है जो पहले से पाइपलाइन में है। हमारा Discord engagement टूल्स का सर्वे उस लेयर में और क्या आता है, यह भी कवर करता है।

Cove का दृष्टिकोण आर्किटेक्चरल है, और यही अधिक दिलचस्प है। Cove अपने दस्तावेज़ में खुद को "Cove is a no-code platform for Trust & Safety" बताता है, और फिर अपने ऑटोमेशन के बारे में लिखता है: "Some harmful content will inevitably slip through your Automated Rules, and it'll get reported/flagged by your users. With our Moderator Console, your moderators can review those reports and take action on them directly in our UI."

किसी विक्रेता के अपने उत्पाद दस्तावेज़ में "inevitably" शब्द को फिर से पढ़ें, उस उत्पाद के बारे में जो वे आपको बेच रहे हैं। Cove ने एक ऐसी सतह डिज़ाइन की जिसके अस्तित्व का पूरा कारण यही है कि ऑटोमेटेड लेयर गलत होगी, और उसे पकड़ने के वर्कफ़्लो को सपोर्ट टिकट के बजाय उत्पाद का प्रथम-श्रेणी का हिस्सा बनाया।

Zealy में रिव्यू पर undo है, जो एक जैसी बात नहीं है। Undo उस व्यक्ति के लिए एक नियंत्रण है जो पहले से जानता है कि फ़ैसला गलत था। Cove के पास वह जगह है जहाँ चूकें आती हैं। अगर आप किसी प्लेटफ़ॉर्म को आंशिक रूप से इस आधार पर चुन रहे हैं कि वह अपनी विफलताओं को कैसे संभालता है, तो यही अंतर परखने वाली बात है, और आपको इसे हम पर भी परखना चाहिए। हमने एक व्यापक तुलना लिखी है कम्युनिटी मैनेजमेंट सॉफ़्टवेयर यदि आप उस निर्णय में पहले हैं, और Zealy क्या है यदि आप हमारे अपने दायरे का सरल विवरण चाहते हैं।

जब एजेंट गलत हो तो कौन जवाब देता है

आप करते हैं। फरवरी 2024 में एक कनाडाई अधिकरण ने Air Canada को हर्जाना देने का आदेश दिया, क्योंकि उसकी वेबसाइट के चैटबॉट ने एक शोकग्रस्त यात्री को गलत जानकारी दी थी। Air Canada ने, अधिकरण के शब्दों में, यह तर्क दिया कि चैटबॉट एक अलग कानूनी इकाई है जो अपने कार्यों के लिए स्वयं ज़िम्मेदार है। अधिकरण ने कुल CA$812.02 का मुआवज़ा दिया, जिसमें से CA$650.88 हर्जाना था।

The Register ने इस पर 15 फरवरी 2024 को Katyanna Quach की एक रिपोर्ट में बताया, जिसका शीर्षक था "Air Canada को हर्जाना देना होगा क्योंकि चैटबॉट ने शोकग्रस्त यात्री से छूट के बारे में झूठ बोला". मामले का निर्णय करने वाले अधिकरण सदस्य Christopher Rivers थे, और The Register ने एयरलाइन के रुख का वर्णन करते हुए फ़ैसले को उद्धृत किया: "वास्तव में, Air Canada का सुझाव है कि चैटबॉट एक अलग कानूनी इकाई है जो अपने कार्यों के लिए स्वयं ज़िम्मेदार है।"

और यह निष्कर्ष, जो वह वाक्य है जो एजेंट तैनात करने वाले हर कम्युनिटी मालिक को कहीं दिखाई देने वाली जगह पर रखना चाहिए: "Air Canada के लिए यह स्पष्ट होना चाहिए कि वह अपनी वेबसाइट की सभी जानकारी के लिए ज़िम्मेदार है। इससे कोई फ़र्क नहीं पड़ता कि जानकारी किसी स्थिर पेज से आती है या किसी चैटबॉट से।"

इसे उद्धृत करने के तरीके पर एक चेतावनी। हम स्वयं फ़ैसले के बजाय The Register की रिपोर्टिंग उद्धृत कर रहे हैं, जिसे हमने पढ़ा नहीं है, और हम केस साइटेशन नहीं छाप रहे हैं।

रकमें छोटी हैं और सिद्धांत नहीं। आपकी कम्युनिटी में बोलने वाला एजेंट आपकी कम्युनिटी में बोलने वाला आप ही है। सदस्य आपसे उसकी कही बातों का हिसाब मांगेंगे, और कम से कम एक ट्रिब्यूनल ने भी मांगा है। यह उस रिफ़ंड नीति पर लागू होता है जो वह गढ़ता है, उस नियम पर जो वह बताता है जो आपने कभी नहीं लिखा, और उस बैन पर जो वह देता है। "AI ने किया" को बचाव के रूप में परखा गया और वह हार गया।

अपनी कम्युनिटी के लिए सीमा कैसे तय करें

अपने एजेंट द्वारा लिए जाने वाले निर्णय लिखें, फिर लिखें कि जब हर एक गलत हो तो क्या होता है और उसे कौन ठीक करता है। यदि आप उस व्यक्ति का नाम नहीं बता सकते जो इसे ठीक करता है, तो वह निर्णय स्वचालित करने के लिए तैयार नहीं है। वह एक अभ्यास किसी भी आत्मविश्वास सीमा से अधिक मूल्यवान है जिसे आप अंधेरे में चुनेंगे।

ऊपर के साक्ष्य जिस बात का समर्थन करते हैं, उसका संक्षिप्त संस्करण, उसी क्रम में जिसमें हम इसे करेंगे:

1. यांत्रिकी को तुरंत स्वचालित करें। ड्राफ्टिंग, शेड्यूलिंग, सारांश बनाना, रूटिंग, टैगिंग। नुकसान एक खराब ड्राफ्ट है, और आप पहले से जानते हैं कि खराब ड्राफ्ट को कैसे संभालना है।
2. किसी भी परिणाम वाली चीज़ के लिए, सीमा का आविष्कार करने से पहले मध्य क्रिया का आविष्कार करें। DTSP रिपोर्ट का कम-आत्मविश्वास पथ एक छोटा प्रतिवर्ती कदम उठाता है और मामले को आगे भेजता है। एक रोका गया दावा, एक डाउनरैंक किया गया पोस्ट, एक प्रतिबंधित-लेकिन-न-हटाया गया खाता। यदि आपके पास केवल दो विकल्प हैं "कार्रवाई करें" और "प्रतीक्षा करें", तो आपकी हर चुनी गई सीमा एक दिशा में गलत होगी।
3. अपने मानव-समीक्षा चरण को सॉफ़्टवेयर मानें, और सॉफ़्टवेयर की तरह उसका परीक्षण करें। Discord का कागज़ पर मौजूद था और चला नहीं। पूछें कि आपका आखिरी बार वास्तव में कब चला, और क्या आपको बताएगा कि वह रुक गया।
4. उलटफेरों की गिनती करें। एक अपील पथ जिसे कोई नहीं मापता वह एक शिकायत फ़ॉर्म है। उलटफेर दर ही एकमात्र ईमानदार पठन है जो आपको मिलेगा कि स्वचालित निर्णय पर्याप्त अच्छा है या नहीं, और इसे रिकॉर्ड करने में लगभग कुछ भी खर्च नहीं होता।
5. मान लें कि यह जो कुछ भी कहता है उसका स्वामित्व आपके पास है। एयर कनाडा ने एक न्यायाधिकरण के सामने दूसरा पक्ष रखने की कोशिश की।

शीर्षक में दिए गए प्रश्न का एक वास्तविक उत्तर है और वह कोई टालना नहीं है। एक AI एजेंट आज आपके समुदाय की यांत्रिकी को अच्छी तरह चला सकता है, और आपको उसे ऐसा करने देना चाहिए। वह अभी तक वह चीज़ नहीं बन सकता जो तय करती है कि किसे हटाया जाए, किसे भुगतान किया जाए, या आपकी नीति क्या है — इसलिए नहीं कि वह बेवकूफ है, बल्कि इसलिए कि वह ऐसे तरीके से अविश्वसनीय है जिसकी आप प्रति मामले भविष्यवाणी नहीं कर सकते, और इसलिए कि जो मानव सुरक्षा जाल आप उसके पीछे लगाएंगे वह अपनी विफलता विधियों वाला एक सॉफ़्टवेयर टुकड़ा है। उस स्थिति के लिए डिज़ाइन करें जहाँ दोनों गलत हों, और आपने कुछ ऐसा बनाया होगा जो प्रचार या प्रतिक्रिया दोनों से बेहतर होगा।