Bisakah AI yang Dapat Diaudit Meningkatkan Keadilan dalam Model?

– Menuju AI – Teknologi, Sains, dan Teknik Terbaik


Penulis: Tobi Olabode

Keadilan, Opini

Foto oleh Kelly Sikkema di Unsplash

Tidak unik tapi sangat berguna

Saya sedang membaca artikel di Wired tentang perlunya AI yang dapat diaudit. Perangkat lunak pihak ketiga yang mengevaluasi prejudice dalam sistem AI. Meskipun kedengarannya seperti ide yang bagus. Tapi saya tidak bisa tidak berpikir itu sudah pernah dilakukan sebelumnya. Dengan alat bagaimana jika Google.

Penulis menjelaskan bahwa information dapat diuji. Dengan memeriksa bagaimana AI merespons dengan mengubah beberapa variabel. Misalnya, jika AI menilai apakah seseorang harus mendapatkan pinjaman. Lalu apa yang akan dilakukan audit. Apakah cek yang melakukan efek balapan mendapatkan pinjaman. Atau jenis kelamin, dll. Jadi kalau seseorang dengan pendapatan yang sama tapi beda jenis kelamin. Pinjaman ditolak. Kemudian kita tahu bahwa AI memiliki beberapa prejudice.

Tetapi penulis membuatnya terdengar sangat unik atau belum pernah dilakukan sebelumnya. Tetapi alat ML Google sudah memiliki sesuatu seperti ini. Jadi pembuat AI sudah bisa mengaudit AI itu sendiri.

Tapi ada kekuatan dengan menggunakan pihak ketiga. Pihak ketiga tersebut dapat mempublikasikan laporan secara publik. Dan juga tidak akan menyembunyikan information yang tidak menguntungkan bagi AI. Jadi pihak ketiga dapat menjaga pembuat AI lebih bertanggung jawab. Kemudian lakukan audit sendiri.

Bagaimana cara kerjanya?

Pihak ketiga dengan AI yang dapat diaudit

Kami tahu bahwa tidak semua AI perlu diaudit. Kucing vs anjing Anda tidak perlu diaudit.

Penulis mengatakan ini untuk AI taruhan tinggi. Seperti keputusan medis. Atau keadilan dan kriminal. Mempekerjakan. Dll. Ini masuk akal.

Tetapi agar ini berhasil, sepertinya perusahaan perlu membeli. Misalnya, jika perusahaan AI memutuskan untuk melakukan audit dan mengetahui bahwa AI mereka memiliki kekurangan yang serius. Dan tidak ada yang menginginkan produk mereka karena itu. Kemudian perusahaan cenderung tidak melakukannya.

Mungkin pertama-tama perusahaan teknologi harus memiliki semacam regulator industri. Itu membuat standar tentang cara mengaudit AI. Dan tujuan yang ingin dicapai seseorang. Inisiatif pemerintah akan bagus. Tetapi saya tidak tahu apakah pemerintah memiliki pengetahuan saat ini. Untuk membuat regulasi seperti ini.

Mengaudit AI. Akan membutuhkan pengetahuan domainname.

Variabel yang diperlukan untuk mengubah aplikasi pinjaman. Berbeda untuk AI yang memutuskan apakah pasien harus mendapat obat. Orang atau tim yang melakukan audit. Akan perlu tahu apa yang mereka uji. Pengajuan pinjaman AI dapat diaudit untuk rasisme atau seksisme. Obat AI dapat diaudit untuk gejala tertentu atau penyakit sebelumnya. Tetapi pengetahuan domain name sangat dibutuhkan.

Untuk contoh obatnya. Seorang dokter sangat mungkin menjadi bagian dari tim audit.

Di sisi teknis, Anda mungkin ingin meminta pembuatnya untuk menambahkan kode tambahan agar audit lebih mudah. Seperti beberapa jenis API yang mengirimkan hasil ke AI yang dapat diaudit. Membuat AI yang dapat diaudit untuk setiap proyek terpisah. Akan cepat macet. Beberapa jenis standar formal akan dibutuhkan untuk membuat hidup lebih mudah bagi auditor dan pembuat AI.

Ide AI yang dapat diaudit ini terdengar seperti pengujian pena di dunia keamanan siber. Sebagai pengujian stres Anda (secara etis) sistem. Dalam konteks ini, kami menguji stres bagaimana AI membuat keputusan. Secara teknis Anda bisa menggunakan ide yang sama ini. Untuk menguji serangan permusuhan pada AI. Tapi itu adalah masalah yang sepenuhnya terpisah.

Dari sana dimungkinkan untuk membuat kerangka kerja standar. Tentang bagaimana seseorang akan menguji AI. Tetapi ini tergantung pada domain name AI. Seperti yang saya katakan di atas. Karena itu, mungkin tidak berskala juga. Atau kemungkinan standar perlu dibatasi. Jadi, ini dapat mencakup sebagian besar situasi AI yang dapat diaudit.

Pertanyaan umum saat mengaudit satu AI:

Bagaimana cara mengidentifikasi fitur penting yang berkaitan dengan keputusan tersebut?

Fitur apa yang dapat digolongkan sebagai diskriminasi jika keputusan didasarkan padanya?

yaitu Jenis kelamin, ras, usia

Bagaimana cara memastikan AI tidak mengandung prejudice tersembunyi?

Dan seterusnya.

Mungkin AI bisa diaudit. Dapat dilakukan oleh beberapa jenis dewan industri. Sehingga bisa bertindak sebagai pengaturnya. Jadi mereka dapat mengatur kerangka kerja mereka tentang cara membuat AI yang dapat diaudit. Dengan orang-orang yang memiliki pengetahuan domainname. Dan orang-orang yang merancang AI yang diaudit. Untuk mengingat ide dan metrik tersebut. Saat pertama kali mengembangkan AI.

AI yang terdengar oleh grup pihak ketiga. Bisa berfungsi sebagai semacam dewan pengawas. Atau regulator. Sebelum AI yang penting dirilis ke publik.

Merupakan ide yang bagus, untuk melakukan audit rutin pada AI. Setelah rilis. Karena information baru akan dimasukkan ke dalam AI. Yang dapat mempengaruhi keadilan AI.

AI yang dapat diaudit adalah langkah yang baik, tetapi bukan satu-satunya langkah

Saya pikir sebagian besar nilainya hadir dengan kerangka kerja baru yang mengawasi cara kami menerapkan AI. Di banyak bidang penting. AI yang dapat diaudit hanyalah sebuah alat. Untuk membantu masalah itu.

Di beberapa tempat, alat AI yang dapat diaudit kemungkinan besar bersifat internal. Saya tidak bisa membayangkan militer membuka alat AI mereka. Kepada publik. Tetapi akan berguna bagi tentara bahwa AI dapat membuat keputusan yang baik. Seperti mencari tahu apa yang memicu drone untuk melabeli objek dan goal musuh.

AI yang dapat diaudit mungkin hanya menjadi alat untuk men-debug AI. Yang merupakan hal yang hebat jangan salah paham. Sesuatu yang kita semua butuhkan. Tapi mungkin tidak menghancurkan bumi.

Dan apa yang banyak orang temukan. Tentang berurusan dengan perusahaan besar atau badan seperti pemerintah. Agar mereka membatalkan laporan Anda. Dan tetap melanjutkan apa yang mereka lakukan. Sebuah perusahaan mengatakan itu membuka AI-nya. Untuk pengawasan pihak ketiga sangat bagus. PR bijaksana. Tetapi apakah mereka bersedia membuat keputusan yang sulit? Saat AI yang dapat diaudit memberi tahu Anda. AI Anda memiliki prejudice yang besar. Dan memperbaikinya akan menyebabkan penurunan pendapatan yang serius.

Akankah perusahaan bertindak?

Tanya saja Mark.

AI yang dapat diaudit adalah alat hebat yang harus kita kembangkan dan perhatikan. Tapi itu tidak akan menyelesaikan semua masalah etika kita dengan AI.

Jika Anda ingin mempelajari lebih lanjut tentang persimpangan antara masyarakat dan teknologi. Lihat milis saya.

Bisakah AI yang Dapat Diaudit Meningkatkan Keadilan dalam Model? ) Awalnya diterbitkan di Limit AI on Moderate, di mana orang-orang melanjutkan percakapan dengan menyoroti dan menanggapi cerita ini.

Diterbitkan melalui Towards AI