Bolehkah Ejen AI Benar-benar Mengendalikan Komuniti Anda?
Ya untuk mekanik, tidak untuk keputusan yang sukar diterbalikkan — dan 'kekalkan manusia dalam gelung' juga bukan penyelesaiannya. Pepijat 8,000 larangan Discord menunjukkan sebabnya.
Oleh Mathis Grosjean
Pada halaman ini
Jawapan ringkas: ejen AI boleh mengendalikan mekanik komuniti hari ini — merangka, menjadualkan, membaca, meringkaskan, menghalakan dan menjawab soalan yang sudah mempunyai jawapan terdokumen. Ia tidak sepatutnya diberi keputusan yang kegagalannya mahal dan sukar diterbalikkan, dan sebabnya bukan kerana model itu bodoh. Sebabnya ialah model tidak boleh diharap dalam cara tertentu yang telah diukur, dan langkah semakan manusia yang dijadikan jaring keselamatan itu sendiri ialah perisian yang boleh gagal. Bahagian ketiga ialah yang biasanya tertinggal: "sentiasa kekalkan manusia dalam gelung" juga bukan pembetulannya. Soalan yang praktikal ialah keputusan mana, pada keyakinan apa, dengan laluan rayuan apa.
Pendedahan: Zealy menerbitkan halaman ini dan Zealy menjual perkara yang dibincangkan. Zealy ialah platform komuniti dan quest, Zealy menyediakan pelayan MCP yang membolehkan ejen AI mentadbir komuniti Zealy, dan Zealy menyediakan penyemak AI yang memutuskan tuntutan quest. Ketiga-tiganya muncul di bawah, termasuk tempat dua daripadanya tidak bersetuju antara satu sama lain dan dua tempat reka bentuk pesaing lebih baik daripada kami.
Kali terakhir disahkan: 18 Ogos 2026.
Apakah yang sebenarnya boleh dilakukan oleh ejen AI dalam komuniti hari ini?
Ejen AI boleh melakukan kerja mekanikal dengan pasti: merangka siaran dan balasan, menjadualkannya, membaca saluran dan meringkaskannya, menghantar laporan kepada orang yang betul, dan menjawab soalan yang sudah mempunyai jawapan terdokumen. Itu ialah tugasan yang output salahnya mudah dilihat, murah dan mudah dibetulkan sebelum sesiapa terjejas.
Senarai itu bukan perkara kecil. Kebanyakan kerja komuniti bersifat mekanikal, dan kebanyakan pasukan komuniti ketinggalan dalam hal itu. Jika ejen merangka ringkasan mingguan anda dan seseorang mengambil masa empat minit untuk membetulkannya berbanding empat puluh minit untuk menulisnya, itu satu kejayaan sebenar dengan risiko yang terbatas.
Kami menulis catatan ini kerana soalan itu dijawab dengan teruk. Mencari can ai run my community pada 18 Ogos 2026, setiap hasil yang kami peroleh ialah blog vendor atau halaman produk vendor — heightsplatform.com, mightynetworks.com, social.plus, circle.so, socialglow.com, aismartventures.com. Tiada satu pun hasil yang kami peroleh menjawab soalan itu dengan "tidak" atau "sebahagiannya". Setiap satu menyatakannya semula sebagai senarai ciri. Itu ialah pemerhatian tentang hasil yang kami tarik pada satu hari, bukan dakwaan tentang semua yang pernah ditulis.
Vendor dalam kategori ini sendiri lebih jujur daripada yang digambarkan oleh halaman pendaratan mereka. Panduan Sprout Social untuk membina ejen AI bagi media sosial, oleh McCall Lanman, diterbitkan pada 16 April 2026, mentakrifkan kategori oleh ketiadaan manusia: "Ejen AI ialah program perisian yang menggunakan model bahasa besar (LLM) sebagai otaknya untuk menyelesaikan tugasan secara autonomi, membuat keputusan dan berinteraksi dengan alat luaran—tanpa manusia mengarahkan setiap langkah." Lebih jauh di halaman yang sama, ia memberitahu anda untuk meletakkan manusia semula: "Aliran kerja kelulusan: Hala tuju respons sensitif kepada pengurus manusia sebelum dihantar—ini dipanggil human-in-the-loop." Dan dengan jelas: "Tanpa pagar keselamatan, walaupun ejen yang dibina dengan baik menghasilkan output yang tidak selari dengan jenama atau berbahaya."
Itu bukan kemunafikan. Itulah kesukaran sebenar kategori tersebut yang terserlah melalui halaman pemasaran, dan ia wajar dinyatakan dengan baik. Jika anda mahu istilah itu sendiri ditakrifkan dengan betul, kami tunjang pemasaran agen menilainya berdasarkan jentera dan bukan cita-cita.
Mengapa had sebenar ialah ketidakbolehpercayaan, bukan keupayaan
Masalah dengan menyerahkan keputusan pertimbangan kepada ejen bukanlah kerana model itu bodoh. Masalahnya ialah model tidak konsisten, dan ketidakonsistenan lebih sukar diurus daripada kelemahan yang diketahui. Kajian tentang perbualan berbilang pusingan meletakkan sebahagian besar kemerosotan pada varians dan bukan pada keupayaan asas.
Kertas itu ialah "LLMs Get Lost In Multi-Turn Conversation" oleh Philippe Laban, Hiroaki Hayashi, Yingbo Zhou dan Jennifer Neville, arXiv:2505.06120, dihantar pada 9 Mei 2025. Abstraknya melaporkan bahawa "semua LLM pemberat terbuka dan tertutup teratas yang kami uji menunjukkan prestasi jauh lebih rendah dalam perbualan berbilang giliran berbanding satu giliran, dengan penurunan purata 39% merentas enam tugas penjanaan."
Ayat yang lebih penting ialah ayat seterusnya: "Analisis lebih 200,000 perbualan simulasi menguraikan kemerosotan prestasi kepada dua komponen: kehilangan kecil dalam keupayaan dan peningkatan ketara dalam ketidakbolehpercayaan." Dan mod kegagalan itu mempunyai bentuk — "apabila LLM tersalah langkah dalam perbualan, mereka tersesat dan tidak pulih".
Baca kaveat sebelum anda menggunakan 39% itu di mana-mana. Ini ialah perbualan simulasi merentas enam tugas penjanaan, diukur pada model 2025, dan 39% ialah purata merentas tugas tersebut dan bukan sifat mana-mana produk yang mungkin anda beli hari ini. Model telah bertambah baik sejak itu. Penemuan yang kekal bukanlah angka itu, tetapi penguraiannya.
Inilah sebabnya penguraian adalah keseluruhan hujah. Alat yang belum cukup baik ialah masalah penjadualan: anda menunggu, atau anda menyempitkan tugasan. Alat yang tepat secara purata tetapi salah secara tidak dapat dijangka ialah masalah pengurusan, dan ia masalah yang berbeza. Anda tidak boleh menampungnya dengan menyemak kes-kes sukar, kerana anda tidak tahu terlebih dahulu kes mana yang sukar. Kerja komuniti secara semula jadi melibatkan banyak giliran — seorang ahli bertanya, menjelaskan, membantah, menambah konteks tiga mesej kemudian — iaitu tepat keadaan yang diukur oleh kertas itu.
Manusia dalam gelung Discord ialah sekeping perisian, dan ia mempunyai pepijat
Discord menyiarkan, dalam bentuk masa kini, bahawa seorang ahli pasukan Kepercayaan & Keselamatannya sentiasa menyemak kandungan yang ditandakan sebelum sebarang tindakan diambil. Namun pepijat telah mengharamkan lebih 8,000 akaun. Manusia dalam gelung itu ialah laluan kod, dan laluan kod gagal seperti perisian, bukan seperti manusia.
TechCrunch melaporkannya pada 7 Julai 2026, dalam artikel oleh Lauren Forristal bertajuk "Discord mengaku pepijat penyederhanaan AI tersilap mengharamkan pengguna atas imej tidak berbahaya". Inti patinya: "Discord telah mengakui bahawa pepijat dalam sistem penyederhanaan AI-nya tersilap mengharamkan lebih 8,000 pengguna dalam tempoh dua bulan lalu, selepas imej tidak berbahaya—termasuk hamparan, papan catur, tekstur permainan, serta latar belakang lutsinar putih dan kelabu—disalah tandakan sebagai kandungan berbahaya."
Skala itu wajar dibaca dengan tepat dan bukan dibundarkan. "Syarikat itu mengesahkan bahawa isu tersebut telah menjejaskan akaun sejak Mei, dengan tambahan 200 pengguna diharamkan pada hujung minggu sebelum pasukannya mengenal pasti dan membaiki masalah itu. Semua akaun yang terjejas kini sedang dipulihkan."
Kini bahagian yang mengubah cara anda patut memikirkan perkara ini. Akaun sokongan Discord sendiri, yang dipetik oleh TechCrunch daripada urutannya pada 7 Julai 2026, menerangkan reka bentuknya: "Sistem kami menandakan kandungan dengan memadankannya dengan bahan berbahaya yang diketahui. Pemadanan keserupaan sebegini boleh menghasilkan positif palsu, sebab itulah seorang ahli pasukan Kepercayaan & Keselamatan kami sentiasa menyemak kandungan yang ditandakan sebelum sebarang tindakan diambil."
Dan ringkasan TechCrunch sendiri tentang apa yang berlaku: "Seorang moderator manusia menyemak kandungan itu, tetapi pepijat menyebabkan sistem serta-merta mengharamkan akaun yang terjejas."
Kedua-duanya benar serentak. Langkah semakan itu direka bentuk, didokumenkan dan diterangkan secara terbuka dalam bentuk masa kini — dan ia tidak dijalankan. Discord tidak berbohong, dan catatan ini bukan hujah bahawa ia berbohong. Intinya lebih sempit dan lebih tidak selesa: manusia dalam gelung ialah sekeping perisian dan gagal seperti perisian. Ia ialah syarat, baris gilir, panggilan perkhidmatan, bendera ciri. Setiap satunya boleh salah, dan apabila satu salah, sifat keselamatan yang anda harapkan diam-diam berhenti wujud sementara rajah seni bina masih memaparkannya.
Perhatikan juga apakah input yang gagal. Hamparan. Papan catur. Latar belakang kelabu telus. Tiada apa-apa dalam senarai itu kelihatan seperti kes tepi yang akan ditulis oleh sesiapa untuk ujian, iaitu keadaan biasa sistem padanan keserupaan yang bertemu dunia sebenar.
Jika keseluruhan jaminan anda kepada ahli anda ialah "seorang menyemak", anda belum membuat dakwaan tentang manusia. Anda telah membuat dakwaan tentang laluan kod, dan anda sepatutnya boleh menyatakan bila ia kali terakhir dijalankan.
Mengapa "sentiasa kekalkan manusia dalam gelung" juga bukan pengajarannya
Pembetulan kemas terhadap gembar-gembur vendor ialah dengan mengatakan seseorang mesti meluluskan segala-galanya. Digital Trust & Safety Partnership, yang menulis untuk syarikat yang melakukannya secara besar-besaran, tidak berkata demikian. Ia melaporkan bahawa penguatkuasaan automatik tanpa semakan manusia adalah biasa apabila keyakinan tinggi, dan semakan manusia tidak sempurna.
Sumbernya ialah "Amalan Terbaik untuk AI dan Automasi dalam Kepercayaan & Keselamatan", Digital Trust & Safety Partnership, September 2024. Ia merupakan dokumen paling berwibawa dalam bidang ini yang boleh dimuat turun oleh sesiapa sahaja, dan ia lebih selesa dengan automasi daripada jangkaan kebanyakan orang.
Mengenai sama ada anda boleh mengelakkan automasi sama sekali: "AI dan automasi bukan penawar segala-galanya—ia datang dengan beberapa cabaran dan batasan serta penglibatan manusia masih diperlukan. Walau bagaimanapun, menangani penyalahgunaan berkaitan kandungan dan tingkah laku secara besar-besaran tidak mungkin dilakukan oleh banyak produk dan perkhidmatan digital tanpa sedikit sebanyak AI dan automasi." Perhatikan skop dalam ayat itu — "bagi banyak produk dan perkhidmatan digital", bukan untuk semua orang. Komuniti seramai empat ratus orang tidak berada dalam kedudukan yang sama seperti platform seramai empat ratus juta.
Mengenai apa yang sebenarnya dilakukan oleh syarikat ahli: "semua syarikat rakan kongsi DTSP yang ditemu bual untuk laporan ini terus bergantung pada kedua-dua alat automatik dan semakan serta pengawasan manusia untuk mengambil tindakan yang sewajarnya, terutamanya apabila pendekatan yang lebih halus diperlukan untuk menilai kandungan atau tingkah laku."
Dan kemudian dua ayat yang menghalang artikel ini daripada menggantikan gembar-gembur vendor dengan penyederhanaan yang lebih kemas:
- "Adalah biasa bagi pasukan kepercayaan dan keselamatan untuk membolehkan tindakan penguatkuasaan automatik tanpa semakan manusia apabila sistem sangat yakin dengan penilaiannya."
- "Sering kali diandaikan bahawa penyemak manusia akan lebih tepat dan boleh dipercayai daripada sistem AI; walau bagaimanapun, semakan manusia tidak sempurna."
Laporan itu juga menamakan bentuk pertukaran yang sebenarnya anda buat apabila anda menala mana-mana perkara ini: "Mengoptimumkan untuk recall (menangkap lebih banyak potensi pelanggaran) boleh meningkatkan kedua-dua positif benar dan positif palsu, berpotensi membawa kepada tindakan berlebihan. Sebaliknya, mengoptimumkan untuk precision (pengesanan pelanggaran yang lebih tepat) boleh mengurangkan positif palsu tetapi mungkin juga meningkatkan negatif palsu (tindakan kurang)."
Jadi reka bentuk yang diterangkan oleh laporan itu bukanlah "biarkan ejen membuat keputusan" dan bukan juga "seseorang meluluskan segala-galanya". Ia berlapis mengikut keyakinan: "Apabila tahap keyakinan lebih rendah, sistem automatik boleh mengambil tindakan penguatkuasaan sementara (contohnya, menurunkan kedudukan kandungan buat sementara waktu atau mengurangkan kebolehcarian akaun), dan menghantar kes itu untuk semakan manusia bagi meluluskan atau mengubah tindakan tersebut."
Itu ialah model mental yang benar-benar berbeza daripada yang biasa dibawa oleh kebanyakan pemilik komuniti, dan ia lebih baik. Laluan keyakinan rendah tidak berhenti dan menunggu. Ia mengambil tindakan terkecil yang boleh diterbalikkan dan kemudian bertanya kepada seseorang. Menurunkan kedudukan bukan mengharamkan. Tuntutan quest yang ditahan untuk semakan bukan tuntutan yang ditolak. Jika anda boleh mencipta tindakan pertengahan, anda tidak lagi perlu memilih antara kelajuan dan keselamatan pada setiap kes.
Keputusan mana yang boleh anda serahkan kepada mesin hari ini
Susun keputusan mengikut apa yang berlaku apabila mesin tersilap, bukan mengikut betapa sukarnya ia kelihatan. Draf yang salah akan disunting. Ringkasan yang buruk akan dibaca semula. Larangan yang salah merugikan ahli akaun mereka, dan merugikan anda satu urutan sokongan, reputasi, dan mungkin keputusan. Kebolehbalikan ialah paksi yang penting.
Jadual ini ialah penilaian Zealy, bukan penemuan daripada mana-mana sumber di atas. Ia adalah apa yang kami akan beritahu kepada pemilik komuniti yang bertanya kepada kami pada 18 Ogos 2026.
| Keputusan | Jawapan kami hari ini | Apa yang perlu benar sebelum anda mengautomasikannya |
|---|---|---|
| Menggubal siaran, penerangan quest atau balasan | Ya | Seseorang membacanya sebelum ia dihantar. Tiada apa-apa lagi diperlukan. |
| Meringkaskan saluran, seminggu atau baris gilir penyerahan | Ya | Bahan mentah kekal boleh diakses, supaya pembaca boleh menyemak ringkasan terhadapnya. |
| Menghalakan laporan, soalan atau tuntutan kepada orang yang betul | Ya | Penghalaan salah murah dan mudah dilihat, dan baris gilir bukan lubang hitam. |
| Menjawab soalan yang mempunyai jawapan terdokumen | Ya, dengan berhati-hati | Jawapan itu wujud secara bertulis di tempat yang anda kawal, dan jawapan yang salah boleh dibetulkan secara terbuka dan pantas. |
| Menandakan, menyusun kedudukan atau menyusun baris gilir untuk manusia | Ya | Manusia masih melihat item yang disusun terakhir oleh model. Penyusunan bukan penapisan. |
| Meluluskan atau menolak penyerahan yang membayar | Hanya dengan laluan rayuan | Ahli diberitahu sebabnya, seseorang boleh membatalkan keputusan itu, dan ada yang memantau kadar pembatalan. |
| Membuang kandungan atau menyekat akaun | Hanya dengan tindakan pertengahan yang boleh diterbalikkan | Terdapat laluan keyakinan rendah yang melakukan sesuatu yang lebih kecil daripada tindakan penuh, seperti yang diterangkan dalam laporan DTSP. |
| Mengharamkan ahli secara terus | Tidak | Kami tidak boleh menyatakan tahap keyakinan yang menjadikannya selamat tanpa manusia, dan insiden Discord itu sebabnya. |
| Membelanjakan wang atau memindahkan ganjaran | Tidak | Tiada apa-apa dalam artikel ini menyokong automasinya, dan kegagalan itu tidak boleh dipulihkan dengan meminta maaf. |
Corak di lajur tengah itu bukanlah "perkara sukar adalah untuk manusia". Menyusun kedudukan baris gilir ialah tugas kognitif yang lebih sukar daripada mengharamkan seseorang. Ia berada di atas senarai kerana tersilap menyusun kedudukan tidak merugikan anda apa-apa yang tidak boleh dibatalkan dalam satu saat, dan tersilap mengharamkan merugikan seseorang.
Satu nota praktikal yang tidak sesuai dimasukkan dalam jadual. Hampir setiap komuniti yang mengautomasikan keputusan terlupa untuk mengukur kadar pembalikan selepas itu, bermakna laluan rayuan wujud tetapi tiada siapa yang membaca hasilnya. Jika anda membina satu perkara daripada artikel ini, binakan pembilangnya. Jika anda sedang menganggar bahagian manusia dalam kerja itu, cara menurunkan tugas komuniti merangkumi kos buruh yang tidak pernah terpapar pada halaman harga.
Zealy menggunakan dua laluan AI, dan kedua-duanya menjawab soalan ini secara berbeza
Melalui pelayan MCP Zealy, tiada perubahan oleh ejen berkuat kuasa sehingga seseorang menyatakannya. Dalam produk Zealy, semakan AI Zealy memutuskan tuntutan quest secara terus: ia menandakan tuntutan itu berjaya atau gagal dan menyiarkan alasannya kepada ahli. Dua laluan AI dalam satu syarikat, jawapan bertentangan untuk soalan yang sama.
Ambil yang kedua dahulu, kerana itulah yang berhujah menentang kita. Pada pelan Plus dan Enterprise anda boleh menghidupkan semakan AI untuk sesuatu quest dan menulis prompt yang menerangkan rupa penyerahan yang sah. Dokumentasi Zealy sendiri menyatakan akibatnya tanpa melembutkannya: AI memutuskan tuntutan itu. Ia tidak meninggalkan cadangan untuk disahkan oleh manusia. Ia menandakan tuntutan itu berjaya atau gagal, dan alasan yang diberikannya disiarkan sebagai komen semakan yang dibaca ahli dalam peti masuk mereka. Keputusannya dikaitkan dengan penyemak AI Zealy yang muncul bersama pasukan anda dalam analitik penyemak teratas. Jika anda mahu seseorang membuat keputusan muktamad, biarkan semakan AI dimatikan untuk quest itu. Itu semua ada pada dokumentasi semakan Zealy, dan ia telah diterbitkan di sana sepanjang masa.
Diukur berdasarkan jadual di atas, itu ialah kelulusan atau penolakan automatik bagi keputusan yang memberikan ganjaran XP dan peranan — dan, memandangkan dokumentasi Zealy menyatakan bahawa menjadi tanggungjawab komuniti untuk mengagihkan apa-apa jenis ganjaran lain, bagi keputusan yang menentukan siapa yang kemudiannya dihutangi oleh komuniti itu juga. Mitigasinya nyata — penyemak boleh membatalkan mana-mana keputusan, yang menetapkan semula tuntutan kepada belum selesai, dan ahli diberitahu alasannya dan bukannya digagalkan secara senyap — tetapi keputusan itu dibuat oleh model, dan rayuan bermula apabila ahli menyedarinya.
Laluan AI Zealy yang lain mengambil pendirian bertentangan. Sepanjang pelayan MCP Zealy, ejen boleh membaca dengan bebas dan tidak boleh mengubah apa-apa tanpa seseorang meluluskan perubahan tepat itu terlebih dahulu. Mekanisme pintu itu, alat demi alat, terdapat dalam cara mengaudit akses ejen AI ke komuniti anda, yang menyenaraikan permukaan itu dan bukannya menerangkannya.
Kami tidak akan menyelesaikan percanggahan itu dalam satu catatan blog, dan berpura-pura ia adalah satu falsafah yang koheren adalah lebih buruk daripada mencetaknya. Dua pasukan, dua model ancaman, dua jawapan. Apa yang boleh kami katakan ialah perpecahan itu bukan rawak: laluan MCP ialah ejen luar yang bertindak dengan kuasa pentadbir merentas seluruh komuniti, dan laluan semakan ialah pertimbangan berskop terhadap satu penyerahan berbanding gesaan yang ditulis oleh komuniti itu sendiri. Itu adalah risiko yang berbeza. Sama ada ia berbeza cukup untuk mewajarkan lalai yang bertentangan ialah soalan wajar untuk diajukan kepada kami, dan jika anda menilai Zealy anda patut mengajukannya.
Pandangan umum ini tetap relevan di luar produk kami sendiri. Apabila vendor memberitahu anda bahawa AI mereka mengekalkan manusia dalam gelung, tanyakan ciri AI yang mana yang mereka maksudkan. Syarikat tidak mempunyai satu dasar. Mereka mempunyai satu dasar bagi setiap pasukan yang telah melancarkan sesuatu.
Di mana Discord dan Cove melakukannya dengan lebih baik daripada Zealy
AutoMod Discord berjalan di dalam Discord sendiri dan menyekat mesej sebelum sesiapa melihatnya; Zealy tidak berada dalam laluan mesej Discord dan tidak boleh menghentikan apa-apa sebelum ia disiarkan. Cove menyediakan Moderator Console yang dibina atas premis bahawa automasinya sendiri akan terlepas pandang. Zealy tiada yang setara.
Itu dua kelebihan yang berbeza dan kedua-duanya wajar difahami.
Kelebihan Discord bersifat kedudukan. Dokumentasi Auto Moderation menerangkan ciri itu sebagai satu "yang membolehkan setiap guild menyediakan peraturan yang dicetuskan berdasarkan beberapa kriteria", dan BLOCK_MESSAGE tindakannya sebagai satu yang "menyekat mesej ahli dan menghalangnya daripada disiarkan". Itulah keseluruhan kelebihan dalam satu klausa: campur tangan berlaku sebelum penerbitan dan bukan selepasnya. Zealy menyambung ke Discord, memberikan peranan dan mengesahkan tugasan; ia bukan pelayan sembang, dan tiada jumlah AI di pihak kami mengubah kedudukan kami. Jika masalah anda ialah "mesej buruk tidak boleh muncul sama sekali", alat yang menyelesaikannya ialah alat yang sudah berada dalam saluran paip. tinjauan alat penglibatan Discord merangkumi apa lagi yang tergolong dalam lapisan itu.
Pendekatan Cove bersifat seni bina, dan itulah yang lebih menarik. Cove menggambarkan dirinya dalam dokumentasinya sendiri sebagai "Cove ialah platform tanpa kod untuk Kepercayaan & Keselamatan", dan kemudian menulis ini tentang automasinya sendiri: "Sesetengah kandungan berbahaya pasti akan terlepas melalui Peraturan Automatik anda, dan ia akan dilaporkan/ditandakan oleh pengguna anda. Dengan Konsol Moderator kami, moderator anda boleh menyemak laporan tersebut dan mengambil tindakan ke atasnya secara terus dalam UI kami."
Baca semula perkataan "pasti" itu, dalam dokumentasi produkpenjual itu sendiri, tentang produk yang mereka jual kepada anda. Cove mereka bentuk antara muka yang seluruh sebab kewujudannya ialah lapisan automatik akan tersilap, dan membina aliran kerja untuk menangkap perkara itu sebagai bahagian kelas pertama produk dan bukannya tiket sokongan.
Zealy mempunyai fungsi buat asal pada semakan, yang bukan perkara yang sama. Buat asal ialah kawalan untuk seseorang yang sudah tahu keputusan itu salah. Apa yang Cove ada ialah tempat di mana kesilapan itu tiba. Jika anda memilih platform sebahagiannya berdasarkan cara ia mengendalikan kegagalannya sendiri, perbezaan itulah yang perlu diuji, dan anda juga patut mengujinya pada kami. Kami telah menulis perbandingan yang lebih luas tentang perisian pengurusan komuniti jika anda lebih awal dalam keputusan itu, dan apa itu Zealy jika anda mahukan penerangan ringkas tentang skop kami sendiri.
Siapa yang bertanggungjawab apabila ejen itu salah
Anda. Pada Februari 2024, sebuah tribunal Kanada memerintahkan Air Canada membayar ganti rugi selepas chatbot laman webnya memberikan maklumat salah kepada seorang penumpang yang sedang berkabung. Air Canada berhujah, menurut tribunal, bahawa chatbot itu ialah entiti undang-undang berasingan yang bertanggungjawab atas tindakannya sendiri. Tribunal mengawardkan CA$812.02 secara keseluruhan, dengan CA$650.88 daripadanya sebagai ganti rugi.
The Register melaporkannya pada 15 Februari 2024, dalam artikel oleh Katyanna Quach bertajuk "Air Canada must pay damages after chatbot lies to grieving passenger about discount". Anggota tribunal yang memutuskan kes itu ialah Christopher Rivers, dan The Register memetik keputusan tersebut yang mencirikan pendirian syarikat penerbangan itu: "In effect, Air Canada suggests the chatbot is a separate legal entity that is responsible for its own actions."
Dan penemuan itu, iaitu ayat yang setiap pemilik komuniti yang menggunakan ejen sepatutnya boleh lihat di suatu tempat: "Ia sepatutnya jelas kepada Air Canada bahawa ia bertanggungjawab atas semua maklumat di laman webnya. Tidak ada bezanya sama ada maklumat itu datang dari halaman statik atau chatbot."
Satu kaveat tentang cara kami memetik ini. Kami memetik laporan The Register dan bukan keputusan itu sendiri, yang tidak kami baca, dan kami tidak mencetak petikan kes.
Jumlahnya kecil tetapi prinsipnya tidak. Ejen yang bercakap dalam komuniti anda ialah anda bercakap dalam komuniti anda. Ahli akan meminta anda bertanggungjawab atas apa yang dikatakannya, dan sekurang-kurangnya satu tribunal juga berbuat demikian. Ini terpakai kepada dasar bayaran balik yang direka-rekanya, peraturan yang dinyatakannya yang tidak pernah anda tulis, dan larangan yang dikenakannya. "AI yang buat" telah diuji sebagai pembelaan dan ia gagal.
Cara menetapkan sempadan untuk komuniti anda sendiri
Tuliskan keputusan yang akan dibuat oleh ejen anda, kemudian tuliskan apa yang berlaku apabila setiap satu daripadanya salah dan siapa yang membetulkannya. Jika anda tidak dapat menamakan orang yang membetulkannya, keputusan itu belum bersedia untuk diautomasikan. Latihan tunggal itu lebih bernilai daripada mana-mana ambang keyakinan yang anda akan pilih secara membuta tuli.
Versi ringkas tentang apa yang disokong oleh bukti di atas, mengikut urutan yang akan kami lakukan:
- Automasikan mekanik dengan segera. Menyediakan draf, penjadualan, meringkaskan, penghalaan, penandaan. Kelemahannya ialah draf yang buruk, dan anda sudah tahu cara mengendalikan draf yang buruk.
- Bagi apa-apa yang mempunyai akibat, cipta tindakan pertengahan sebelum anda mencipta ambang. Laluan keyakinan rendah laporan DTSP mengambil langkah kecil yang boleh diterbalikkan dan menghalakan kes itu seterusnya. Tuntutan yang ditahan, siaran yang diturunkan pangkat, akaun yang disekat tetapi tidak dibuang. Jika dua pilihan anda hanya "bertindak" dan "tunggu", setiap ambang yang anda pilih akan salah dalam satu arah.
- Anggap langkah semakan manusia anda sebagai perisian, dan ujinya seperti perisian. Discord wujud di atas kertas dan tidak berjalan. Tanya bila milik anda kali terakhir benar-benar dicetuskan, dan apa yang akan memberitahu anda jika ia berhenti.
- Kira pembalikan. Laluan rayuan yang tiada siapa ukur hanyalah borang aduan. Kadar pembalikan ialah satu-satunya bacaan jujur tentang sama ada keputusan automatik itu cukup baik, dan kos merekodnya hampir tiada.
- Anggap anda memiliki semua yang dinyatakannya. Air Canada mencuba pendirian sebaliknya di hadapan tribunal.
Soalan dalam tajuk mempunyai jawapan sebenar dan ia bukan sekadar angkat bahu. Ejen AI boleh menjalankan mekanik komuniti anda hari ini dengan baik, dan anda patut membenarkannya. Ia belum boleh menjadi pihak yang memutuskan siapa dibuang, siapa dibayar, atau apa dasar anda — bukan kerana ia bodoh, tetapi kerana ia tidak boleh diharap dengan cara yang tidak dapat anda ramalkan bagi setiap kes, dan kerana jaring keselamatan manusia yang anda letakkan di belakangnya ialah perisian yang mempunyai mod kegagalan tersendiri. Reka bentuk untuk kes apabila kedua-duanya salah, dan anda akan membina sesuatu yang lebih baik daripada apa yang diberikan oleh gembar-gembur atau tindak balas negatif.