Bisakah Agen AI Benar-Benar Menjalankan Komunitas Anda?
Ya untuk mekanika, tidak untuk keputusan yang sulit dibalik — dan 'jaga manusia dalam lingkaran' juga bukan solusinya. Bug 8.000 larangan Discord menunjukkan alasannya.
Oleh Mathis Grosjean

Di halaman ini
Jawaban singkat: agen AI hari ini dapat menjalankan mekanika komunitas — menyusun draf, menjadwalkan, membaca, merangkum, merutekan, dan menjawab pertanyaan yang sudah punya jawaban terdokumentasi. Agen tidak boleh diberi keputusan yang kegagalannya mahal dan sulit dibalik, dan alasannya bukan karena model itu bodoh. Alasannya adalah model tidak dapat diandalkan dengan cara terukur yang spesifik, dan langkah tinjauan manusia yang diandalkan orang sebagai jaring pengaman itu sendiri adalah perangkat lunak yang bisa gagal. Bagian ketiga itulah yang biasanya terlewat: "selalu jaga manusia dalam lingkaran" juga bukan koreksinya. Pertanyaan yang bisa dikerjakan adalah keputusan mana, pada tingkat keyakinan apa, dengan jalur banding apa.
Pengungkapan: Zealy menerbitkan halaman ini dan Zealy menjual hal yang dibahas. Zealy adalah platform komunitas dan quest, Zealy menyediakan server MCP yang memungkinkan agen AI mengelola komunitas Zealy, dan Zealy menyediakan peninjau AI yang memutuskan klaim quest. Ketiganya muncul di bawah, termasuk bagian di mana dua di antaranya saling bertentangan dan dua bagian di mana desain pesaing lebih baik daripada kami.
Terakhir diverifikasi: 18 Agustus 2026.
Apa yang sebenarnya bisa dilakukan agen AI di komunitas hari ini?
Agen AI dapat secara andal melakukan mekanika: menyusun draf postingan dan balasan, menjadwalkannya, membaca kanal dan merangkumnya, merutekan laporan ke orang yang tepat, dan menjawab pertanyaan yang sudah punya jawaban terdokumentasi. Itu pekerjaan di mana keluaran yang salah terlihat, murah, dan mudah diperbaiki sebelum ada yang dirugikan.
Daftar itu bukan hal kecil. Sebagian besar pekerjaan komunitas bersifat mekanis, dan sebagian besar tim komunitas tertinggal dalam hal ini. Jika agen menyusun draf rekap mingguan Anda dan seseorang menghabiskan empat menit memperbaikinya alih-alih empat puluh menit menulisnya, itu kemenangan nyata dengan risiko yang terbatas.
Kami menulis artikel ini karena pertanyaannya dijawab dengan buruk. Mencari can ai run my community pada 18 Agustus 2026, setiap hasil yang kami peroleh adalah blog vendor atau halaman produk vendor — heightsplatform.com, mightynetworks.com, social.plus, circle.so, socialglow.com, aismartventures.com. Tidak satu pun hasil yang kami peroleh menjawab pertanyaan dengan "tidak" atau "sebagian". Semuanya mengulanginya sebagai daftar fitur. Itu adalah pengamatan atas hasil yang kami tarik pada satu hari, bukan klaim tentang semua yang pernah ditulis.
Vendor di kategori ini sendiri lebih jujur daripada yang disiratkan halaman landing mereka. Panduan Sprout Social untuk membangun agen AI bagi media sosial, oleh McCall Lanman, terbit 16 April 2026, mendefinisikan kategori ini melalui ketiadaan manusia: "Agen AI adalah program perangkat lunak yang menggunakan model bahasa besar (LLM) sebagai otaknya untuk menyelesaikan tugas secara otonom, membuat keputusan, dan berinteraksi dengan alat eksternal—tanpa manusia mengarahkan setiap langkah." Lebih jauh di halaman yang sama, panduan itu menyuruh Anda mengembalikan manusia: "Alur persetujuan: Rutekan respons sensitif ke manajer manusia sebelum dikirim—ini disebut human-in-the-loop." Dan dengan jelas: "Tanpa guardrail, bahkan agen yang dibangun dengan baik menghasilkan keluaran yang tidak sesuai merek atau berbahaya."
Itu bukan kemunafikan. Itu adalah kesulitan nyata kategori ini yang tampak melalui halaman pemasaran, dan layak dikatakan dengan baik. Jika Anda ingin istilahnya sendiri dipastikan dengan tepat, pilar kami tentang pemasaran agentic menilainya berdasarkan mesinnya, bukan ambisinya.
Mengapa batas sebenarnya adalah ketidakandalan, bukan kemampuan
Masalah memberikan penilaian kepada agen bukan karena model itu bodoh. Masalahnya adalah model tidak konsisten, dan ketidakkonsistenan lebih sulit dikelola daripada kelemahan yang diketahui. Penelitian tentang percakapan multi-giliran menempatkan sebagian besar penurunan pada varians, bukan pada kemampuan mentah.
Makalahnya adalah "LLMs Get Lost In Multi-Turn Conversation" oleh Philippe Laban, Hiroaki Hayashi, Yingbo Zhou, dan Jennifer Neville, arXiv:2505.06120, dikirim 9 Mei 2025. Abstraknya melaporkan bahwa "semua LLM open- dan closed-weight teratas yang kami uji menunjukkan performa yang jauh lebih rendah dalam percakapan multi-giliran dibandingkan satu giliran, dengan penurunan rata-rata 39% di enam tugas generasi."
Kalimat yang lebih penting adalah kalimat berikutnya: "Analisis atas 200.000+ percakapan simulasi menguraikan penurunan performa menjadi dua komponen: kehilangan kecil dalam aptitude dan peningkatan signifikan dalam ketidakandalan." Dan mode kegagalannya punya bentuk — "ketika LLM salah langkah dalam percakapan, mereka tersesat dan tidak pulih".
Baca peringatannya sebelum Anda menggunakan angka 39% itu di mana pun. Itu adalah percakapan simulasi di enam tugas generasi, diukur pada model 2025, dan 39% adalah rata-rata di seluruh tugas tersebut, bukan sifat produk apa pun yang mungkin Anda beli hari ini. Model telah meningkat sejak itu. Temuan yang bertahan bukanlah angkanya, melainkan penguraiannya.
Inilah sebabnya penguraian adalah keseluruhan argumennya. Alat yang sekadar belum cukup baik adalah masalah penjadwalan: Anda menunggu, atau mempersempit tugas. Alat yang benar secara rata-rata tetapi salah secara tak terduga adalah masalah manajemen, dan itu masalah yang berbeda. Anda tidak bisa mengatasinya dengan memeriksa kasus-kasus sulit, karena Anda tidak tahu sebelumnya kasus mana yang sulit. Pekerjaan komunitas secara alami bersifat multi-giliran — seorang anggota bertanya, mengklarifikasi, membantah, menambahkan konteks tiga pesan kemudian — yang persis merupakan pengaturan yang diukur dalam makalah tersebut.
Human in the loop Discord adalah sebuah perangkat lunak, dan perangkat lunak itu memiliki bug
Discord menerbitkan, dalam bentuk present tense, bahwa seorang anggota tim Trust & Safety-nya selalu meninjau konten yang ditandai sebelum tindakan apa pun diambil. Sebuah bug tetap memblokir lebih dari 8.000 akun. Human in the loop adalah sebuah jalur kode, dan jalur kode gagal seperti perangkat lunak, bukan seperti manusia.
TechCrunch melaporkannya pada 7 Juli 2026, dalam artikel karya Lauren Forristal berjudul "Discord mengakui bug moderasi AI salah melarang pengguna karena gambar tak berbahaya". Intinya: "Discord telah mengakui bahwa bug pada sistem moderasi AI-nya secara keliru melarang lebih dari 8.000 pengguna selama dua bulan terakhir, setelah gambar tak berbahaya—termasuk spreadsheet, papan catur, tekstur game, serta latar belakang transparan putih dan abu-abu—salah ditandai sebagai konten berbahaya."
Skalanya perlu dibaca secara tepat, bukan dibulatkan. "Perusahaan mengonfirmasi bahwa masalah ini telah memengaruhi akun sejak Mei, dengan tambahan 200 pengguna dilarang selama akhir pekan sebelum timnya mengidentifikasi dan memperbaiki masalah tersebut. Semua akun yang terdampak saat ini sedang dalam proses pemulihan."
Kini bagian yang mengubah cara Anda memandang hal ini. Akun dukungan resmi Discord, yang dikutip TechCrunch dari utasnya pada 7 Juli 2026, menjelaskan desainnya: "Sistem kami menandai konten dengan mencocokkannya terhadap materi berbahaya yang diketahui. Pencocokan kemiripan semacam ini dapat menghasilkan positif palsu, itulah sebabnya anggota tim Trust & Safety kami selalu meninjau konten yang ditandai sebelum tindakan apa pun diambil."
Dan ringkasan TechCrunch sendiri tentang apa yang terjadi: "Seorang moderator manusia meninjau konten tersebut, tetapi bug menyebabkan sistem langsung memblokir akun yang terdampak."
Keduanya benar sekaligus. Langkah peninjauan dirancang, didokumentasikan, dan dijelaskan secara publik dalam bentuk present tense — dan langkah itu tidak berjalan. Discord tidak berbohong, dan tulisan ini bukan argumen bahwa Discord berbohong. Poinnya lebih sempit dan lebih tidak nyaman: human-in-the-loop adalah bagian dari perangkat lunak dan gagal seperti perangkat lunak. Itu adalah conditional, antrean, panggilan layanan, feature flag. Semuanya bisa salah, dan ketika salah satu salah, properti keamanan yang Anda andalkan diam-diam berhenti ada sementara diagram arsitektur masih menampilkannya.
Perhatikan juga input yang gagal. Spreadsheet. Papan catur. Latar belakang transparan abu-abu. Tidak ada dalam daftar itu yang tampak seperti edge case yang akan dituliskan tesnya oleh siapa pun, yang merupakan kondisi biasa ketika sistem pencocokan kemiripan bertemu dunia nyata.
Jika seluruh jaminan Anda kepada anggota adalah "seseorang memeriksa", Anda belum membuat klaim tentang orang. Anda membuat klaim tentang jalur kode, dan Anda seharusnya bisa menyebutkan kapan jalur itu terakhir berjalan.
Mengapa "selalu pertahankan human in the loop" juga bukan pelajarannya
Koreksi rapi terhadap hype vendor adalah dengan mengatakan bahwa seseorang harus menyetujui semuanya. Digital Trust & Safety Partnership, yang menulis untuk perusahaan yang melakukannya dalam skala besar, tidak mengatakan itu. Laporan mereka menyebutkan bahwa penegakan otomatis tanpa peninjauan manusia adalah hal umum ketika tingkat keyakinan tinggi, dan bahwa peninjauan manusia tidak selalu sempurna.
Sumbernya adalah "Praktik Terbaik untuk AI dan Otomasi dalam Kepercayaan & Keselamatan", Digital Trust & Safety Partnership, September 2024. Ini adalah dokumen paling otoritatif di bidang ini yang dapat diunduh siapa saja, dan dokumen ini lebih nyaman dengan otomasi daripada yang diperkirakan kebanyakan orang.
Tentang apakah Anda bisa menghindari otomasi sama sekali: "AI dan otomasi bukan obat mujarab—keduanya datang dengan sejumlah tantangan dan keterbatasan dan keterlibatan manusia tetap diperlukan. Namun, menangani penyalahgunaan terkait konten dan perilaku dalam skala besar tidak mungkin dilakukan oleh banyak produk dan layanan digital tanpa tingkat AI dan otomasi tertentu." Perhatikan cakupan dalam kalimat itu — "bagi banyak produk dan layanan digital", bukan untuk semua orang. Komunitas berisi empat ratus orang tidak berada dalam posisi yang sama dengan platform berisi empat ratus juta orang.
Tentang apa yang sebenarnya dilakukan perusahaan anggota: "semua perusahaan mitra DTSP yang diwawancarai untuk laporan ini terus mengandalkan alat otomatis sekaligus tinjauan dan pengawasan manusia untuk mengambil tindakan yang tepat, terutama ketika diperlukan pendekatan yang lebih bernuansa untuk menilai konten atau perilaku."
Lalu dua kalimat yang mencegah artikel ini menggantikan hype vendor dengan penyederhanaan yang lebih rapi:
- "Adalah hal umum bagi tim kepercayaan dan keselamatan untuk mengaktifkan tindakan penegakan otomatis tanpa tinjauan manusia ketika suatu sistem sangat yakin dengan penilaiannya."
- "Sering diasumsikan bahwa peninjau manusia akan lebih akurat dan andal daripada sistem AI; namun, tinjauan manusia tidak luput dari kesalahan."
Laporan tersebut juga menyebutkan bentuk tradeoff yang sebenarnya Anda ambil saat menyetel salah satu dari ini: "Mengoptimalkan untuk recall (menangkap lebih banyak potensi pelanggaran) dapat meningkatkan true positive dan false positive, yang berpotensi menyebabkan over-action. Sebaliknya, mengoptimalkan untuk precision (deteksi pelanggaran yang lebih akurat) dapat mengurangi false positive tetapi mungkin juga meningkatkan false negative (under-action)."
Jadi desain yang dijelaskan laporan tersebut bukanlah "biarkan agen memutuskan" maupun "seseorang menyetujui semuanya". Desain itu bertingkat berdasarkan keyakinan: "Ketika tingkat keyakinan lebih rendah, sistem otomatis dapat mengambil tindakan penegakan sementara (misalnya, sementara menurunkan peringkat konten atau mengurangi kemudahan penemuan akun), dan mengarahkan kasus tersebut untuk ditinjau manusia guna menyetujui atau mengubah tindakan tersebut."
Itu adalah model mental yang benar-benar berbeda dari yang biasa dibawa sebagian besar pemilik komunitas, dan itu lebih baik. Jalur keyakinan rendah tidak berhenti dan menunggu. Jalur itu mengambil tindakan terkecil yang dapat dibalik yang tersedia lalu meminta seseorang. Menurunkan peringkat bukanlah melarang. Klaim quest yang ditahan untuk ditinjau bukanlah klaim yang ditolak. Jika Anda dapat menciptakan tindakan tengah, Anda tidak lagi harus memilih antara kecepatan dan keamanan pada setiap kasus.
Keputusan mana yang dapat Anda serahkan ke mesin hari ini
Urutkan keputusan berdasarkan apa yang terjadi ketika mesin salah, bukan berdasarkan seberapa sulit tampilannya. Draf yang salah akan diedit. Ringkasan yang buruk akan dibaca ulang. Larangan yang salah membuat seorang anggota kehilangan akunnya, dan membuat Anda kehilangan thread dukungan, reputasi, dan mungkin sebuah putusan. Reversibilitas adalah sumbu yang penting.
Tabel ini adalah penilaian Zealy, bukan temuan dari salah satu sumber di atas. Inilah yang akan kami sampaikan kepada pemilik komunitas yang bertanya kepada kami pada 18 Agustus 2026.
| Keputusan | Jawaban kami hari ini | Apa yang harus benar sebelum Anda mengotomatiskannya |
|---|---|---|
| Menyusun draf postingan, deskripsi quest, atau balasan | Ya | Seseorang membacanya sebelum dikirim. Tidak ada hal lain yang diperlukan. |
| Merangkum sebuah kanal, satu minggu, atau antrean pengiriman | Ya | Bahan mentahnya tetap dapat diakses, sehingga pembaca dapat memeriksa ringkasan terhadapnya. |
| Mengarahkan laporan, pertanyaan, atau klaim ke orang yang tepat | Ya | Salah mengarahkan itu murah dan terlihat, dan antreannya bukan lubang hitam. |
| Menjawab pertanyaan yang jawabannya terdokumentasi | Ya, dengan hati-hati | Jawabannya ada secara tertulis di suatu tempat yang Anda kendalikan, dan jawaban yang salah dapat dikoreksi secara publik dan cepat. |
| Memberi tag, memberi peringkat, atau mengurutkan antrean untuk manusia | Ya | Manusia tetap melihat item yang diberi peringkat terakhir oleh model. Pengurutan bukan penyaringan. |
| Menyetujui atau menolak pengiriman yang membayar | Hanya dengan jalur banding | Anggota diberi tahu alasannya, seseorang dapat membalik putusan, dan ada yang memantau tingkat pembalikannya. |
| Menghapus konten atau membatasi akun | Hanya dengan tindakan tengah yang dapat dibalik | Ada jalur keyakinan rendah yang melakukan sesuatu yang lebih kecil daripada tindakan penuh, seperti yang dijelaskan laporan DTSP. |
| Melarang anggota secara langsung | Tidak | Kami tidak dapat menyebutkan tingkat keyakinan yang membuat ini aman tanpa manusia, dan insiden Discord adalah alasannya. |
| Membelanjakan uang atau memindahkan hadiah | Tidak | Tidak ada dalam artikel ini yang mendukung pengotomatisannya, dan kegagalannya tidak dapat dibalik dengan permintaan maaf. |
Pola di kolom tengah itu bukanlah "hal-hal sulit untuk manusia". Memberi peringkat antrean adalah tugas kognitif yang lebih sulit daripada melarang seseorang. Itu ada di puncak daftar karena salah memberi peringkat tidak merugikan Anda apa pun yang tidak dapat dibatalkan dalam sekejap, dan salah melarang merugikan seseorang.
Satu catatan praktis yang tidak muat dalam tabel. Hampir setiap komunitas yang mengotomatiskan suatu keputusan lupa mengukur tingkat pembalikannya setelahnya, yang berarti jalur banding ada tetapi tidak ada yang membaca hasilnya. Jika Anda membangun satu hal dari artikel ini, bangunlah penghitungnya. Jika Anda memperkirakan sisi manusia dari pekerjaan itu, cara mendelegasikan tugas komunitas mencakup biaya tenaga kerja yang tidak pernah muncul di halaman harga.
Zealy menjalankan dua jalur AI, dan keduanya menjawab pertanyaan ini secara berbeda
Melalui server MCP Zealy, tidak ada yang diubah agen yang berlaku sampai seseorang menyetujuinya. Di dalam produk Zealy, tinjauan AI Zealy memutuskan klaim quest secara langsung: ia menandai klaim berhasil atau gagal dan memposting alasannya kepada anggota. Dua jalur AI dalam satu perusahaan, jawaban yang berlawanan untuk pertanyaan yang sama.
Ambil yang kedua lebih dulu, karena itulah yang berargumen menentang kami. Pada paket Plus dan Enterprise Anda dapat mengaktifkan tinjauan AI untuk sebuah quest dan menulis prompt yang menjelaskan seperti apa pengiriman yang valid. Dokumentasi Zealy sendiri menyatakan konsekuensinya tanpa melembutkannya: AI memutuskan klaim. Ia tidak meninggalkan rekomendasi untuk dikonfirmasi manusia. Ia menandai klaim berhasil atau gagal, dan alasan yang diberikannya diposting sebagai komentar tinjauan yang dibaca anggota di kotak masuk mereka. Putusannya diatribusikan ke peninjau AI Zealy yang muncul bersama tim Anda di analitik peninjau teratas. Jika Anda ingin seseorang membuat keputusan akhir, Anda membiarkan tinjauan AI nonaktif untuk quest tersebut. Itu semua ada di dokumentasi tinjauan Zealy, dan sudah dipublikasikan di sana selama ini.
Diukur terhadap tabel di atas, itu adalah persetujuan-atau-penolakan otomatis atas keputusan yang memberikan XP dan hadiah peran — dan, karena dokumentasi Zealy menyatakan bahwa mendistribusikan jenis hadiah lain adalah tanggung jawab komunitas, atas keputusan yang menentukan siapa yang kemudian juga berutang hadiah tersebut kepada komunitas. Mitigasinya nyata — peninjau dapat membatalkan putusan apa pun, yang mengembalikan klaim ke status tertunda, dan anggota diberi tahu alasannya alih-alih gagal secara diam-diam — tetapi keputusannya dibuat oleh model, dan bandingnya dimulai dengan anggota menyadarinya.
Jalur AI Zealy lainnya mengambil posisi sebaliknya. Melalui server MCP Zealy, sebuah agen bebas membaca dan tidak dapat mengubah apa pun tanpa seseorang menyetujui perubahan persis itu terlebih dahulu. Mekanisme gerbang itu, alat demi alat, ada di cara mengaudit akses agen AI ke komunitas Anda, yang menyebutkan permukaannya alih-alih mendeskripsikannya.
Kami tidak akan menyelesaikan kontradiksi itu di dalam sebuah pos blog, dan berpura-pura itu adalah satu filosofi yang koheren akan lebih buruk daripada mencetaknya. Dua tim, dua model ancaman, dua jawaban. Yang dapat kami katakan adalah bahwa perpecahan itu tidak acak: jalur MCP adalah agen luar yang bertindak dengan otoritas administrator di seluruh komunitas, dan jalur tinjauan adalah penilaian terbatas pada satu pengiriman terhadap prompt yang ditulis komunitas itu sendiri. Itu adalah risiko yang berbeda. Apakah itu berbeda cukup untuk membenarkan default yang berlawanan adalah pertanyaan yang wajar untuk diajukan kepada kami, dan jika Anda mengevaluasi Zealy, Anda harus mengajukannya.
Poin umumnya tetap berlaku di luar produk kami sendiri. Saat vendor mengatakan AI mereka tetap melibatkan manusia dalam prosesnya, tanyakan fitur AI mana yang mereka maksud. Perusahaan tidak punya satu kebijakan. Mereka punya satu kebijakan per tim yang merilis sesuatu.
Di mana Discord dan Cove melakukannya lebih baik daripada Zealy
AutoMod Discord berjalan di dalam Discord itu sendiri dan memblokir pesan sebelum ada yang melihatnya; Zealy tidak berada di jalur pesan Discord dan tidak dapat menghentikan apa pun sebelum diposting. Cove menyediakan Moderator Console yang dibangun atas premis bahwa otomasinya sendiri akan melewatkan beberapa hal. Zealy tidak memiliki padanannya.
Itu dua keunggulan yang berbeda dan keduanya layak dipahami.
Keunggulan Discord bersifat posisional. Dokumentasi Auto Moderation milik Discord mendeskripsikan fitur tersebut sebagai salah satu "which allows each guild to set up rules that trigger based on some criteria", dan BLOCK_MESSAGE aksinya sebagai salah satu yang "blocks a member's message and prevents it from being posted". Itulah seluruh keunggulannya dalam satu klausa: intervensi terjadi sebelum publikasi, bukan sesudahnya. Zealy terhubung ke Discord, memberikan role dan memverifikasi tugas; Zealy bukan server chat, dan seberapa pun AI di sisi kami tidak mengubah posisi kami. Jika masalah Anda adalah "pesan buruk tidak boleh pernah muncul", alat yang menyelesaikannya adalah yang sudah ada di dalam pipeline. survei alat keterlibatan Discord mencakup apa lagi yang termasuk dalam lapisan itu.
Pendekatan Cove bersifat arsitektural, dan itu yang lebih menarik. Cove mendeskripsikan dirinya dalam dokumentasinya sendiri sebagai "Cove is a no-code platform for Trust & Safety", lalu menulis ini tentang otomasinya sendiri: "Some harmful content will inevitably slip through your Automated Rules, and it'll get reported/flagged by your users. With our Moderator Console, your moderators can review those reports and take action on them directly in our UI."
Baca lagi kata "inevitably", dalam dokumentasi produk milik vendor itu sendiri, tentang produk yang mereka jual kepada Anda. Cove merancang sebuah permukaan yang seluruh alasan keberadaannya adalah bahwa lapisan otomatis akan salah, dan membangun alur kerja untuk menangkapnya sebagai bagian kelas satu dari produk, bukan sebagai tiket dukungan.
Zealy memiliki undo pada sebuah tinjauan, yang bukan hal yang sama. Undo adalah kontrol bagi orang yang sudah tahu bahwa suatu putusan salah. Yang dimiliki Cove adalah tempat di mana kesalahan itu tiba. Jika Anda memilih platform sebagian berdasarkan cara platform itu menangani kegagalannya sendiri, perbedaan itulah yang perlu diuji, dan Anda sebaiknya mengujinya pada kami juga. Kami telah menulis perbandingan yang lebih luas tentang perangkat lunak manajemen komunitas jika Anda lebih awal dalam keputusan itu, dan apa itu Zealy jika Anda menginginkan deskripsi sederhana tentang cakupan kami sendiri.
Siapa yang bertanggung jawab saat agen salah
Anda. Pada Februari 2024, tribunal Kanada memerintahkan Air Canada membayar ganti rugi setelah chatbot situs webnya memberikan informasi yang salah kepada penumpang yang sedang berduka. Air Canada berargumen, dalam kata-kata tribunal, bahwa chatbot tersebut adalah entitas hukum terpisah yang bertanggung jawab atas tindakannya sendiri. Tribunal memberikan total CA$812.02, dengan CA$650.88 di antaranya sebagai ganti rugi.
The Register melaporkannya pada 15 Februari 2024, dalam artikel karya Katyanna Quach berjudul "Air Canada harus membayar ganti rugi setelah chatbot berbohong kepada penumpang yang berduka tentang diskon". Anggota tribunal yang memutus perkara tersebut adalah Christopher Rivers, dan The Register mengutip putusan yang menggambarkan posisi maskapai: "Pada dasarnya, Air Canada menyarankan bahwa chatbot adalah entitas hukum terpisah yang bertanggung jawab atas tindakannya sendiri."
Dan temuan itu, kalimat yang seharusnya bisa dilihat di suatu tempat oleh setiap pemilik komunitas yang menerapkan agen: "Seharusnya sudah jelas bagi Air Canada bahwa mereka bertanggung jawab atas semua informasi di situs web mereka. Tidak ada bedanya apakah informasi itu berasal dari halaman statis atau chatbot."
Satu catatan tentang cara kami mengutip ini. Kami mengutip laporan The Register, bukan putusan itu sendiri, yang tidak kami baca, dan kami tidak mencantumkan sitasi kasus.
Nilainya kecil, tetapi prinsipnya tidak. Agen yang berbicara di komunitas Anda adalah Anda yang berbicara di komunitas Anda. Anggota akan menuntut Anda atas apa yang dikatakannya, dan setidaknya satu tribunal juga demikian. Itu berlaku untuk kebijakan pengembalian dana yang diciptakannya, aturan yang dinyatakannya padahal tidak pernah Anda tulis, dan larangan yang dikenakannya. "AI yang melakukannya" telah diuji sebagai pembelaan dan gagal.
Cara menetapkan batasan untuk komunitas Anda sendiri
Tuliskan keputusan yang akan diambil agen Anda, lalu tuliskan apa yang terjadi ketika masing-masing salah dan siapa yang memperbaikinya. Jika Anda tidak dapat menyebutkan orang yang memperbaikinya, keputusan itu belum siap diotomatiskan. Latihan tunggal itu bernilai lebih dari ambang keyakinan apa pun yang Anda pilih secara buta.
Versi singkat dari apa yang didukung bukti di atas, dalam urutan yang akan kami lakukan:
- Otomatiskan mekaniknya segera. Menyusun draf, menjadwalkan, merangkum, merutekan, memberi tag. Risikonya adalah draf yang buruk, dan Anda sudah tahu cara menangani draf yang buruk.
- Untuk apa pun yang memiliki konsekuensi, ciptakan tindakan tengah sebelum Anda menciptakan ambang. Jalur keyakinan rendah dalam laporan DTSP mengambil langkah kecil yang dapat dibalik dan meneruskan kasusnya. Klaim yang ditahan, pos yang diturunkan peringkatnya, akun yang dibatasi tetapi tidak dihapus. Jika satu-satunya dua opsi Anda adalah "bertindak" dan "menunggu", setiap ambang yang Anda pilih akan salah ke satu arah.
- Perlakukan langkah tinjauan manusia Anda sebagai perangkat lunak, dan ujilah seperti perangkat lunak. Langkah milik Discord ada di atas kertas dan tidak berjalan. Tanyakan kapan langkah Anda terakhir benar-benar berjalan, dan apa yang akan memberi tahu Anda jika langkah itu berhenti.
- Hitung pembalikannya. Jalur banding yang tidak diukur siapa pun hanyalah formulir keluhan. Tingkat pembalikan adalah satu-satunya bacaan jujur yang akan Anda dapatkan tentang apakah keputusan otomatis sudah cukup baik, dan mencatatnya hampir tidak memakan biaya.
- Anggap Anda memiliki tanggung jawab atas semua yang dikatakannya. Air Canada mencoba posisi sebaliknya di hadapan tribunal.
Pertanyaan dalam judul memiliki jawaban nyata dan bukan sekadar angkat bahu. Agen AI dapat menjalankan mekanik komunitas Anda hari ini, dengan baik, dan Anda sebaiknya membiarkannya. Agen itu belum bisa menjadi pihak yang memutuskan siapa yang dihapus, siapa yang dibayar, atau apa kebijakan Anda — bukan karena bodoh, tetapi karena tidak dapat diandalkan dengan cara yang tidak dapat Anda prediksi per kasus, dan karena jaring pengaman manusia yang akan Anda pasang di belakangnya adalah perangkat lunak dengan mode kegagalannya sendiri. Rancanglah untuk kasus ketika keduanya salah, dan Anda akan membangun sesuatu yang lebih baik daripada yang akan didapat dari hype maupun reaksi balik.