Bir AI Ajanı Topluluğunuzu Gerçekten Yönetebilir mi?
Mekanik işler için evet, geri döndürülmesi zor kararlar için hayır — ve 'döngüde bir insan tutmak' da çözüm değil. Discord'un 8.000 yasaklama hatası nedenini gösteriyor.
Yazan Mathis Grosjean

Bu sayfada
Kısa cevap: bir AI ajanı bugün bir topluluğun mekanik işlerini yürütebilir — taslak yazma, zamanlama, okuma, özetleme, yönlendirme ve hâlihazırda belgelenmiş bir cevabı olan soruları yanıtlama. Başarısızlıkları pahalı ve geri döndürülmesi zor olan kararlar ona bırakılmamalı ve bunun nedeni modellerin aptal olması değil. Nedeni, belirli ve ölçülmüş bir biçimde güvenilmez olmaları ve insanların güvenlik ağı olarak güvendiği insan inceleme adımının kendisinin de başarısız olabilecek bir yazılım olması. Genellikle atlanan üçüncü kısım şu: "her zaman döngüde bir insan tut" da düzeltme değil. İşe yarar soru şu: hangi kararlar, hangi güven düzeyinde, hangi itiraz yoluyla.
Açıklama: Bu sayfayı Zealy yayımlıyor ve Zealy tartışılan şeyi satıyor. Zealy bir topluluk ve quest platformudur, Zealy bir AI ajanının bir Zealy topluluğunu yönetmesini sağlayan bir MCP sunucusu sunar ve Zealy quest claim'lerine karar veren bir AI inceleyici sunar. Üçü de aşağıda yer alıyor; bunlardan ikisinin birbiriyle çeliştiği yer ve bir rakibin tasarımının bizimkinden daha iyi olduğu iki yer dahil.
Son doğrulama: 18 Ağustos 2026.
Bir AI ajanı bugün bir toplulukta gerçekte ne yapabilir?
Bir AI ajanı mekanik işleri güvenilir biçimde yapabilir: gönderi ve yanıt taslakları yazma, bunları zamanlama, bir kanalı okuyup özetleme, bir raporu doğru kişiye yönlendirme ve hâlihazırda belgelenmiş bir cevabı olan soruları yanıtlama. Bunlar, hatalı bir çıktının görünür, ucuz ve kimse zarar görmeden düzeltilmesi kolay olduğu işlerdir.
Bu liste küçük bir şey değil. Topluluk işlerinin çoğu mekaniktir ve topluluk ekiplerinin çoğu bu konuda geride. Bir ajan haftalık özetinizi taslak olarak yazıyor ve bir kişi onu kırk dakika yazmak yerine dört dakikada düzeltiyorsa, bu, riski sınırlı gerçek bir kazançtır.
Bu yazıyı, soruya kötü yanıtlar verildiği için yazdık. 18 Ağustos 2026'da can ai run my community aramasında elde ettiğimiz her sonuç bir satıcı blogu ya da satıcı ürün sayfasıydı — heightsplatform.com, mightynetworks.com, social.plus, circle.so, socialglow.com, aismartventures.com. Elde ettiğimiz sonuçlardan hiçbiri soruyu "hayır" ya da "kısmen" diye yanıtlamıyordu. Her biri soruyu bir özellik listesi olarak yeniden ifade ediyordu. Bu, tek bir günde çektiğimiz sonuçlara dair bir gözlem; şimdiye kadar yazılmış her şeye dair bir iddia değil.
Kategorinin kendi satıcıları, açılış sayfalarının ima ettiğinden daha dürüst. Sprout Social'in McCall Lanman tarafından yazılan ve 16 Nisan 2026'da yayımlanan sosyal medya için AI ajanları oluşturma rehberi, kategoriyi tanımlıyor bir kişinin yokluğuyla: "An AI agent is a software program that uses a large language model (LLM) as its brain to autonomously complete tasks, make decisions and interact with external tools—without a human directing every step." Aynı sayfanın ilerisinde kişiyi geri koymanızı söylüyor: "Approval workflows: Route sensitive responses to a human manager before they're sent—this is called human-in-the-loop." Ve açıkça: "Without guardrails, even a well-built agent produces off-brand or harmful outputs."
Bu ikiyüzlülük değil. Kategorinin gerçek zorluğunun bir pazarlama sayfasından görünmesi ve bunu nazikçe söylemeye değer. Terimin kendisinin düzgün tanımlanmasını istiyorsanız, agentic marketing üzerine temel yazımız bunu hırsa değil, işleyişe göre değerlendiriyor.
Gerçek sınır neden yetenek değil, güvenilmezlik
Bir ajana muhakeme gerektiren bir karar vermenin sorunu modellerin aptal olması değil. Tutarsız olmaları ve tutarsızlık, bilinen bir zayıflıktan yönetmesi daha zor bir şeydir. Çok turlu konuşma üzerine araştırmalar, bozulmanın çoğunu ham yetenekten çok varyansta konumlandırıyor.
Makale şu: "LLMs Get Lost In Multi-Turn Conversation" Philippe Laban, Hiroaki Hayashi, Yingbo Zhou ve Jennifer Neville tarafından, arXiv:2505.06120, 9 Mayıs 2025'te gönderildi. Özeti şunu bildiriyor: "all the top open- and closed-weight LLMs we test exhibit significantly lower performance in multi-turn conversations than single-turn, with an average drop of 39% across six generation tasks."
Daha önemli olan cümle bir sonraki: "Analysis of 200,000+ simulated conversations decomposes the performance degradation into two components: a minor loss in aptitude and a significant increase in unreliability." Ve başarısızlık modunun bir şekli var — "when LLMs take a wrong turn in a conversation, they get lost and do not recover".
O %39'u herhangi bir yerde kullanmadan önce çekinceleri okuyun. Bunlar altı üretim görevinde simüle edilmiş konuşmalardı, 2025 modellerinde ölçüldü ve %39 bu görevler genelinde bir ortalamadır; bugün satın alabileceğiniz herhangi bir ürünün özelliği değildir. Modeller o zamandan beri gelişti. Kalıcı bulgu sayı değil, ayrıştırmadır.
İşte bu yüzden ayrıştırma tüm argümanı oluşturuyor. Henüz yeterince iyi olmayan bir araç bir zamanlama sorunudur: ya beklersiniz ya da görevi daraltırsınız. Ortalamada doğru, öngörülemez biçimde yanlış olan bir araç ise bir yönetim sorunudur ve bu farklı bir sorundur. Zor durumları kontrol ederek bunu kadroyla çözemezsiniz, çünkü hangi durumun zor olduğunu önceden bilemezsiniz. Topluluk çalışması doğası gereği çok turludur — bir üye sorar, açıklığa kavuşturur, itiraz eder, üç mesaj sonra bağlam ekler — ki bu tam olarak makalenin ölçtüğü ortamdır.
Discord'un döngüdeki insanı bir yazılım parçasıydı ve bir hatası vardı
Discord, Trust & Safety ekibinden bir üyenin işaretlenen içeriği herhangi bir işlem yapılmadan önce her zaman incelediğini geniş zaman kipiyle yayımladı. Yine de bir hata 8.000'den fazla hesabı yasakladı. Döngüdeki insan bir kod yoluydu ve kod yolları insanlar gibi değil, yazılımlar gibi başarısız olur.
TechCrunch bunu 7 Temmuz 2026'da Lauren Forristal imzalı ve şu başlıklı bir yazıda bildirdi: "Discord, yapay zekâ moderasyon hatasının zararsız görseller nedeniyle kullanıcıları haksız yere yasakladığını kabul etti". Özü şu: "Discord, yapay zekâ moderasyon sistemindeki bir hatanın son iki ayda 8.000'den fazla kullanıcıyı yanlışlıkla yasakladığını, çünkü elektronik tablolar, satranç tahtaları, oyun dokuları ile beyaz ve gri saydam arka planlar dahil zararsız görsellerin yanlışlıkla zararlı içerik olarak işaretlendiğini kabul etti."
Ölçeği yuvarlamak yerine tam olarak okumakta fayda var. "Şirket, sorunun mayıs ayından beri hesapları etkilediğini ve ekibinin sorunu tespit edip düzeltmesinden önceki hafta sonu 200 kullanıcının daha yasaklandığını doğruladı. Etkilenen tüm hesaplar şu anda geri yüklenme sürecinde."
Şimdi bu konuda nasıl düşünmeniz gerektiğini değiştiren kısım. TechCrunch'ın 7 Temmuz 2026 tarihli gönderisinden alıntıladığı Discord'un kendi destek hesabı tasarımı şöyle açıkladı: "Sistemlerimiz içeriği bilinen zararlı materyalle eşleştirerek işaretler. Bu tür benzerlik eşleştirmesi yanlış pozitifler üretebilir; bu yüzden Trust & Safety ekibimizden bir üye, işaretlenen içeriği herhangi bir işlem yapılmadan önce her zaman inceler."
Ve TechCrunch'ın olanlara dair kendi özeti: "Bir insan moderatör içeriği inceler, ancak bir hata sistemin etkilenen hesapları anında yasaklamasına neden oldu."
Her ikisi de aynı anda doğru. İnceleme adımı tasarlandı, belgelendi ve kamuya açık şekilde şimdiki zamanda anlatıldı — ve çalışmadı. Discord yalan söylemedi ve bu yazı da öyle olduğunu savunmuyor. Mesele daha dar ve daha rahatsız edici: döngüdeki bir insan bir yazılım parçasıdır ve tıpkı onun gibi arızalanır. Bu bir koşul, bir kuyruk, bir servis çağrısı, bir özellik bayrağıdır. Bunların her biri hatalı olabilir ve biri hatalı olduğunda güvendiğiniz güvenlik özelliği sessizce ortadan kalkar, mimari diyagram ise hâlâ onu gösterir.
Ayrıca başarısız olan girdilerin ne olduğuna dikkat edin. Elektronik tablolar. Satranç tahtaları. Gri saydam arka planlar. Bu listenin hiçbir yeri, birinin test yazacağı bir uç durum gibi görünmüyor; bu da bir benzerlik eşleştirme sisteminin gerçek dünyayla karşılaştığında yaşadığı olağan durumdur.
Üyelerinize verdiğiniz tüm güvence "bir kişi kontrol eder" ise, insanlar hakkında bir iddiada bulunmuş olmazsınız. Bir kod yoluna dair iddiada bulunmuş olursunuz ve bunun en son ne zaman çalıştığını söyleyebilmelisiniz.
"Her zaman döngüde bir insan tut" neden ders değil
Satıcı abartısına yönelik düzenli düzeltme, bir kişinin her şeyi onaylaması gerektiğini söylemektir. Bunu ölçekte yapan şirketler adına yazan Digital Trust & Safety Partnership bunu söylemiyor. Güven yüksek olduğunda insan incelemesi olmadan otomatik uygulamanın yaygın olduğunu ve insan incelemesinin de yanılmaz olmadığını bildiriyor.
Kaynak şudur: "Güven ve Emniyette Yapay Zeka ve Otomasyon için En İyi Uygulamalar", Digital Trust & Safety Partnership, Eylül 2024. Bu alanda herkesin indirebileceği en yetkin belgedir ve otomasyona çoğu insanın beklediğinden daha sıcak bakar.
Otomasyondan tamamen kaçınıp kaçınamayacağınız konusunda: "Yapay zeka ve otomasyon her derde deva değildir; beraberinde çeşitli zorluklar ve sınırlamalar getirir ve insan katılımı gerekli olmaya devam eder. Ancak içerik ve davranışla ilgili suiistimallerle ölçekte başa çıkmak, bir düzeyde yapay zeka ve otomasyon olmadan birçok dijital ürün ve hizmet için mümkün değildir." Bu cümledeki kapsama dikkat edin: "birçok dijital ürün ve hizmet için", herkes için değil. Dört yüz kişilik bir topluluk, dört yüz milyonluk bir platformla aynı konumda değildir.
Üye şirketlerin gerçekte ne yaptığı konusunda: "bu rapor için görüşülen tüm DTSP ortak şirketleri, özellikle içerik veya davranışın değerlendirilmesinde daha incelikli bir yaklaşım gerektiğinde, uygun önlemleri almak için hem otomatik araçlara hem de insan incelemesine ve gözetimine güvenmeye devam ediyor."
Ve sonra bu makalenin satıcı abartısını daha derli toplu bir basitleştirmeyle değiştirmesini engelleyen iki cümle:
- "Güven ve emniyet ekiplerinin, bir sistem değerlendirmesinde yüksek düzeyde kendinden emin olduğunda, insan incelemesi olmadan otomatik yaptırım eylemini etkinleştirmesi yaygındır."
- "Genellikle bir insan inceleyicinin bir yapay zeka sisteminden daha doğru ve güvenilir olacağı varsayılır; ancak insan incelemesi kusursuz değildir."
Rapor ayrıca bunlardan herhangi birini ayarlarken gerçekte yaptığınız ödünleşimin şeklini de adlandırıyor: "Duyarlılık için optimize etmek (daha fazla olası ihlali yakalamak) hem doğru pozitifleri hem de yanlış pozitifleri artırabilir ve potansiyel olarak aşırı eyleme yol açabilir. Tersine, kesinlik için optimize etmek (ihlallerin daha doğru tespiti) yanlış pozitifleri azaltabilir ancak yanlış negatifleri (eksik eylem) de artırabilir."
Yani raporun tanımladığı tasarım ne "ajan karar versin" ne de "bir kişi her şeyi onaylasın"dır. Güven katmanlıdır: "Güven düzeyi düşük olduğunda, otomatik sistem geçici bir yaptırım eylemi gerçekleştirebilir (ör. içeriği geçici olarak alt sıralara düşürmek veya hesabın keşfedilebilirliğini azaltmak) ve eylemi onaylamak veya değiştirmek üzere vakayı insan incelemesine yönlendirebilir."
Bu, çoğu topluluk sahibinin taşıdığı zihinsel modelden gerçekten farklı bir model ve daha iyi. Düşük güven yolu durup beklemez. Mevcut en küçük geri alınabilir eylemi gerçekleştirir ve sonra bir kişiye sorar. Alt sıralara düşürmek yasaklamak değildir. İnceleme için bekletilen bir quest claim'i reddedilmiş bir claim değildir. Bir ara eylem icat edebiliyorsanız, artık her vakada hız ile güvenlik arasında seçim yapmak zorunda değilsiniz.
Bugün hangi kararları bir makineye devredebilirsiniz
Kararları makine yanıldığında ne olacağına göre sıralayın, ne kadar zor göründüklerine göre değil. Yanlış bir taslak düzenlenir. Kötü bir özet yeniden okunur. Yanlış bir yasak, bir üyeye hesabını kaybettirir ve size bir destek konusu, bir itibar ve muhtemelen bir karar kaybettirir. Önemli olan eksen geri alınabilirliktir.
Bu tablo Zealy'nin değerlendirmesidir, yukarıdaki kaynakların herhangi birinden gelen bir bulgu değildir. 18 Ağustos 2026'da bize soran bir topluluk sahibine söyleyeceğimiz şey budur.
| Karar | Bugünkü yanıtımız | Otomatikleştirmeden önce doğru olması gerekenler |
|---|---|---|
| Bir gönderi, quest açıklaması veya yanıt taslağı hazırlamak | Evet | Yayınlanmadan önce bir kişi okur. Başka bir şey gerekmez. |
| Bir kanalı, bir haftayı veya bir gönderim kuyruğunu özetlemek | Evet | Ham materyal erişilebilir kalır, böylece okuyucu özeti onunla karşılaştırabilir. |
| Bir raporu, soruyu veya claim'i doğru kişiye yönlendirmek | Evet | Yanlış yönlendirme ucuz ve görünürdür ve kuyruk bir kara delik değildir. |
| Belgelenmiş bir yanıtı olan bir soruyu yanıtlamak | Evet, dikkatle | Yanıt, kontrol ettiğiniz bir yerde yazılı olarak mevcuttur ve yanlış bir yanıt hızla ve herkese açık şekilde düzeltilebilir. |
| Bir kuyruğu bir insan için etiketlemek, sıralamak veya düzenlemek | Evet | İnsan, modelin en sona yerleştirdiği öğeleri hâlâ görür. Sıralama filtreleme değildir. |
| Ödeme yapan bir gönderimi onaylamak veya reddetmek | Yalnızca itiraz yoluyla | Üyeye gerekçe söylenir, bir kişi kararı tersine çevirebilir ve birileri tersine çevirme oranını izler. |
| İçeriği kaldırmak veya bir hesabı kısıtlamak | Yalnızca geri alınabilir bir ara eylemle | DTSP raporunun tanımladığı gibi, tam eylemden daha küçük bir şey yapan düşük güven yolu mevcuttur. |
| Bir üyeyi tamamen yasaklamak | Hayır | Bunu bir insan olmadan güvenli kılacak bir güven düzeyi adlandıramayız ve Discord olayı bunun nedenidir. |
| Para harcamak veya ödülleri taşımak | Hayır | Bu makalede bunu otomatikleştirmeyi destekleyen hiçbir şey yok ve başarısızlık özür dilemekle geri alınamaz. |
Orta sütundaki desen "zor şeyler insanlar içindir" değildir. Bir kuyruğu sıralamak, birini yasaklamaktan daha zor bir bilişsel görevdir. Listenin başında çünkü yanlış sıralama size bir saniyede geri alamayacağınız hiçbir şeye mal olmaz, yanlış yasak ise size bir kişiye mal olur.
Tabloya sığmayan pratik bir not. Bir kararı otomatikleştiren neredeyse her topluluk, sonrasında tersine çevirme oranını ölçmeyi unutur; bu da itiraz yolunun var olduğu ama ürettiği şeyi kimsenin okumadığı anlamına gelir. Bu makaleden tek bir şey inşa edecekseniz, sayacı inşa edin. Bu işin insan tarafını boyutlandırıyorsanız, topluluk görevleri nasıl devredilir hiçbir fiyatlandırma sayfasında görünmeyen emek maliyetini ele alır.
Zealy iki AI yolu çalıştırır ve bunlar bu soruya farklı yanıt verir
Zealy'nin MCP sunucusu üzerinden, bir ajanın değiştirdiği hiçbir şey bir kişi onaylayana kadar yürürlüğe girmez. Zealy ürününün içinde ise Zealy'nin AI incelemesi bir quest claim'ine doğrudan karar verir: claim'i başarılı veya başarısız olarak işaretler ve gerekçesini üyeye gönderir. Tek bir şirkette iki AI yolu, aynı soruya zıt yanıtlar.
İkincisini önce ele alalım, çünkü bize karşı çıkan odur. Plus ve Enterprise planlarında bir quest için AI incelemesini açabilir ve geçerli bir gönderimin nasıl göründüğünü açıklayan bir prompt yazabilirsiniz. Zealy'nin kendi dokümantasyonu sonucu yumuşatmadan belirtir: AI claim'e karar verir. Bir insanın onaylaması için öneri bırakmaz. Claim'i başarılı veya başarısız olarak işaretler ve verdiği gerekçe, üyenin gelen kutusunda okuduğu inceleme yorumu olarak yayınlanır. Kararları, en iyi inceleyiciler analizlerinde ekibinizin yanında görünen bir Zealy AI inceleyicisine atfedilir. Son kararı bir kişinin vermesini istiyorsanız, o quest için AI incelemesini kapalı bırakırsınız. Bunların hepsi Zealy'nin incelemeler dokümantasyonundayer alıyor ve başından beri orada yayınlanmış durumda.
Yukarıdaki tabloyla karşılaştırıldığında bu, XP ve rol ödülleri veren bir kararda otomatik bir onayla-veya-reddet kararıdır — ve Zealy'nin dokümantasyonu başka her türlü ödülü dağıtmanın topluluğun sorumluluğu olduğunu söylediğinden, topluluğun kime borçlu olacağını belirleyen kararda da. Hafifletmeler gerçek — bir inceleyici herhangi bir kararı geri alabilir, bu da claim'i beklemede durumuna döndürür ve üyeye sessizce başarısız kılınmak yerine gerekçe söylenir — ancak karar model tarafından verilir ve itiraz, üyenin fark etmesiyle başlar.
Zealy'nin diğer AI yolu tam tersi bir tutum benimsedi. Zealy MCP sunucusuüzerinden bir ajan serbestçe okuma yapabilir ve bir kişi o değişikliği önce onaylamadan hiçbir şeyi değiştiremez. Bu kapının mekaniği, araç araç, bir AI ajanının topluluğunuza erişimini nasıl denetlersinizbaşlıklı yazıda yer alıyor; o yazı yüzeyi betimlemek yerine tek tek sıralıyor.
Bu çelişkiyi bir blog yazısının içinde çözmeyeceğiz ve bunu tutarlı tek bir felsefe gibi göstermek, olduğu gibi yazmaktan daha kötü olurdu. İki ekip, iki tehdit modeli, iki cevap. Söyleyebileceğimiz şu: bu ayrım rastgele değil. MCP yolu, tüm bir topluluk genelinde yönetici yetkisiyle hareket eden dışarıdan bir ajan; inceleme yolu ise topluluğun kendi yazdığı bir isteme karşı tek bir gönderim üzerine kapsamı belirlenmiş bir yargı. Bunlar farklı riskler. Zıt varsayılanları meşrulaştıracak kadar yeterince farklı olup olmadıkları bize sorulması yerinde bir soru ve Zealy'yi değerlendiriyorsanız bunu sormalısınız.
Genel nokta kendi ürünümüzün ötesinde de geçerli. Bir satıcı size AI'ının döngüde bir insan tuttuğunu söylediğinde, hangi AI özelliklerini kastettiğini sorun. Şirketlerin tek bir politikası olmaz. Bir şey yayına alan her ekip için ayrı bir politikaları olur.
Discord ve Cove bunu Zealy'den nerede daha iyi yapıyor
Discord'un AutoMod'u Discord'un kendi içinde çalışır ve bir mesajı kimse görmeden engeller; Zealy Discord'un mesaj yolunda yer almaz ve hiçbir şeyi gönderilmeden önce durduramaz. Cove ise kendi otomasyonunun bazı şeyleri kaçıracağı ön kabulü üzerine kurulu bir Moderatör Konsolu sunuyor. Zealy'de bunun eşdeğeri yok.
Bunlar iki farklı avantaj ve ikisini de anlamakta fayda var.
Discord'unkinin avantajı konumsal. Discord'un kendi Auto Moderation belgeleri özelliği "her sunucunun belirli kriterlere göre tetiklenen kurallar oluşturmasına olanak tanıyan" bir özellik olarak tanımlıyor ve BLOCK_MESSAGE eylemini "bir üyenin mesajını engelleyen ve gönderilmesini önleyen" bir eylem olarak açıklıyor. Avantajın tamamı tek bir cümlede: müdahale yayından sonra değil, önce gerçekleşiyor. Zealy Discord'a bağlanır, rol verir ve görevleri doğrular; sohbet sunucusu değildir ve bizim tarafımızdaki ne kadar AI olursa olsun nerede durduğumuzu değiştirmez. Sorununuz "kötü bir mesaj asla görünmemeli" ise, bunu çözen araç zaten hattın içinde olan araçtır. Discord etkileşim araçları incelememiz o katmana başka nelerin ait olduğunu ele alıyor.
Cove'unkinin avantajı mimari ve daha ilginç olanı da bu. Cove kendi belgelerinde kendini "Cove, Trust & Safety için kod gerektirmeyen bir platformdur" diye tanımlıyor ve ardından kendi otomasyonu hakkında şunu yazıyor: "Bazı zararlı içerikler kaçınılmaz olarak Otomatik Kurallarınızdan sızar ve kullanıcılarınız tarafından bildirilir/işaretlenir. Moderatör Konsolumuz ile moderatörleriniz bu bildirimleri inceleyebilir ve doğrudan arayüzümüzde işlem yapabilir."
"Kaçınılmaz olarak" kelimesini bir kez daha okuyun; bir satıcının size sattığı ürün hakkındaki kendi ürün belgelerinde. Cove, var oluş sebebinin tamamı otomatik katmanın yanlış olacağı olan bir yüzey tasarlamış ve bunu yakalama iş akışını bir destek talebi değil, ürünün birinci sınıf parçası olarak kurmuş.
Zealy'de bir incelemede geri alma var, ki bu aynı şey değil. Geri alma, bir kararın yanlış olduğunu zaten bilen bir kişi için bir kontroldür. Cove'da olan ise kaçırmaların geldiği bir yerdir. Bir platformu kısmen kendi hatalarını nasıl ele aldığına göre seçiyorsanız, test edilmesi gereken ayrım budur ve bunu bizde de test etmelisiniz. Bu kararda daha erken aşamadaysanız topluluk yönetimi yazılımı üzerine daha geniş bir karşılaştırma yazdık ve kendi kapsamımızın sade bir tanımını istiyorsanız Zealy nedir yazımıza bakabilirsiniz.
Ajan yanlış yaptığında kim hesap verir
Siz. Şubat 2024'te bir Kanada mahkemesi, web sitesindeki sohbet botu yas tutan bir yolcuya yanlış bilgi verdikten sonra Air Canada'nın tazminat ödemesine hükmetti. Air Canada, mahkeme heyetinin ifadesiyle, sohbet botunun kendi eylemlerinden sorumlu ayrı bir tüzel kişilik olduğunu savundu. Mahkeme toplamda 812,02 CA$ tazminata hükmetti; bunun 650,88 CA$'ı tazminat niteliğindeydi.
The Register bunu 15 Şubat 2024'te Katyanna Quach imzalı, "Air Canada must pay damages after chatbot lies to grieving passenger about discount"başlıklı bir yazıyla duyurdu. Davaya bakan mahkeme üyesi Christopher Rivers'tı ve The Register, havayolunun tutumunu nitelendiren kararı şöyle aktarıyor: "Air Canada aslında sohbet botunun kendi eylemlerinden sorumlu ayrı bir tüzel kişilik olduğunu öne sürüyor."
Ve bir ajan devreye alan her topluluk sahibinin bir yerde görebilmesi gereken cümle olan tespit şu: "Air Canada'nın web sitesindeki tüm bilgilerden sorumlu olduğu açık olmalı. Bilginin statik bir sayfadan mı yoksa bir sohbet botundan mı geldiği fark etmez."
Bunu nasıl alıntıladığımıza dair bir uyarı: kararın kendisini değil, okumadığımız The Register'ın haberini alıntılıyoruz ve bir dava künyesi vermiyoruz.
Tutarlar küçük, ilke değil. Topluluğunuzda konuşan bir ajan, topluluğunuzda konuşan sizsiniz. Üyeler sizi söyledikleriyle sorumlu tutacak ve en az bir mahkeme de tuttu. Bu, uydurduğu bir iade politikası, hiç yazmadığınız bir kuralı belirtmesi ve verdiği bir yasak için de geçerli. "AI yaptı" bir savunma olarak denendi ve kaybetti.
Kendi topluluğunuz için sınırı nasıl çizersiniz
Ajanınızın vereceği kararları yazın, ardından her biri yanlış olduğunda ne olacağını ve bunu kimin düzelteceğini yazın. Düzeltecek kişiyi adlandıramıyorsanız, o karar otomatikleştirilmeye hazır değildir. Bu tek alıştırma, körlemesine seçeceğiniz herhangi bir güven eşiğinden daha değerlidir.
Yukarıdaki kanıtların desteklediği şeylerin kısa bir versiyonu, bizim yapacağımız sırayla:
- Mekaniği hemen otomatikleştirin. Taslak yazma, planlama, özetleme, yönlendirme, etiketleme. Dezavantajı kötü bir taslaktır ve kötü bir taslakla nasıl başa çıkacağınızı zaten biliyorsunuz.
- Sonucu olan her şey için, eşiği icat etmeden önce ara eylemi icat edin. DTSP raporunun düşük güven yolu küçük ve geri alınabilir bir adım atar ve vakayı ileri yönlendirir. Bekletilen bir talep, sıralaması düşürülen bir gönderi, kısıtlanan ama kaldırılmayan bir hesap. Tek iki seçeneğiniz "harekete geç" ve "bekle" ise, seçtiğiniz her eşik bir yönde yanlış olacaktır.
- İnsan inceleme adımınızı yazılım olarak ele alın ve yazılım gibi test edin. Discord'unki kağıt üzerinde vardı ve çalışmadı. Sizinkinin en son ne zaman gerçekten devreye girdiğini ve durursa bunu size neyin söyleyeceğini sorun.
- Geri almaları sayın. Kimsenin ölçmediği bir itiraz yolu bir şikayet formudur. Geri alma oranı, otomatik kararın yeterince iyi olup olmadığına dair alacağınız tek dürüst okumadır ve kaydetmesi neredeyse hiçbir şeye mal olmaz.
- Söylediği her şeyin sorumluluğunun sizde olduğunu varsayın. Air Canada diğer pozisyonu bir mahkeme heyetinin önünde denedi.
Başlıktaki sorunun gerçek bir cevabı var ve bu bir omuz silkmek değil. Bir yapay zeka ajanı topluluğunuzun mekaniğini bugün iyi bir şekilde yürütebilir ve buna izin vermelisiniz. Henüz kimin çıkarılacağına, kime ödeme yapılacağına veya politikanızın ne olacağına karar veren şey olamaz — aptal olduğu için değil, her vakada tahmin edemeyeceğiniz bir şekilde güvenilmez olduğu için ve arkasına koyacağınız insan güvenlik ağı, kendi arıza modları olan bir yazılım parçası olduğu için. Her ikisinin de yanlış olduğu durum için tasarım yapın ve ne abartının ne de tepkinin size verebileceğinden daha iyi bir şey inşa etmiş olursunuz.