Mendukung Penggunaan AI yang Bertanggung Jawab dalam Layanan Keuangan – Menuju AI – Teknologi, Sains, dan Teknik Terbaik

Penulis: Amit Paka

(Foto oleh Etienne Martin di Unsplash)

Kecerdasan buatan

Gubernur Lael Brainard dari Federal Reserve baru-baru ini berbicara di Simposium AI tentang penggunaan AI yang Bertanggung Jawab dalam Layanan Keuangan. Pidato tersebut memberikan wawasan penting yang dapat menjadi indikator awal tentang bagaimana pedoman Fed dapat mencari tata kelola AI. Perusahaan jasa keuangan yang sudah memanfaatkan AI untuk memberikan pengalaman pelanggan yang baru atau lebih baik dapat meninjau pernyataan ini untuk memulai dan memastikan operasi AI mereka lebih siap. Transkrip lengkap pidato dapat ditemukan di sini. Posting ini merangkum poin-poin penting dalam pidato ini dan bagaimana tim harus memikirkan tentang penerapannya pada praktik ML mereka, yaitu MLOps.

Manfaat AI untuk Layanan Keuangan

The Fed secara luas merangkul manfaat AI dalam memerangi penipuan dan memungkinkan ketersediaan kredit yang lebih baik. AI memungkinkan perusahaan untuk merespons lebih cepat dan lebih baik terhadap penipuan yang meningkat dengan peningkatan digitalisasi layanan keuangan. Model Machine Learning (ML) untuk risiko kredit dan keputusan kredit yang dibangun dengan information tradisional dan alternatif memberikan keputusan kredit yang lebih akurat dan adil kepada lebih banyak orang di luar kerangka kredit saat ini (Pernyataan Fed Bersama membuka information alternatif). Namun, Fed memperingatkan bahwa information historis dengan prejudice rasial dapat mengabadikan prejudice jika digunakan dalam version AI perlindungan buram tanpa pagar pembatas dan perlindungan yang tepat. Sistem AI perlu membuat dampak positif serta melindungi kelas yang sebelumnya terpinggirkan.

Masalah Kotak Hitam AI

Masalah utamanya adalah kurangnya transparansi version ML dan The Fed menguraikan alasan di baliknya:

Tidak seperti version statistik yang dirancang oleh manusia, model ML dilatih pada information secara otomatis oleh algoritme. Sebagai hasil dari pembuatan otomatis ini, model ML dapat menyerap interaksi nonlinier kompleks dari information yang tidak dapat dilihat manusia.

Kompleksitas ini mengaburkan cara version mengubah enter menjadi outputsignal, dan semakin buruk untuk model profound learning, sehingga sulit untuk dijelaskan dan dipikirkan.

Pentingnya Konteks

The Fed menguraikan bagaimana konteks adalah kunci dalam memahami dan menjelaskan version. Meskipun komunitas riset AI telah membuat kemajuan dalam menjelaskan version, penjelasannya bergantung pada orang yang memintanya dan jenis prediksi version. Misalnya, penjelasan yang diberikan kepada pengembang version teknis akan jauh lebih rinci daripada penjelasan yang diberikan kepada petugas kepatuhan. Selain itu, pengguna akhir perlu menerima penjelasan version yang mudah dipahami dan dapat ditindaklanjuti. Misalnya, jika pemohon pinjaman mendapat penolakan, memahami bagaimana keputusan dibuat bersama dengan saran tentang tindakan untuk meningkatkan peluang persetujuan mereka akan memungkinkan mereka untuk membuat perubahan dan mengajukan permohonan kembali.

Untuk tim layanan keuangan yang mengadopsi AI, hal ini menyoroti perlunya memiliki sistem ML yang melayani semua pemangku kepentingan AI, tidak hanya programmer version. Ini perlu menangani berbagai tingkat pemahaman ML dari pemangku kepentingan ini dan memungkinkan penjelasan version ditampilkan dengan benar kepada pengguna akhir.

Kasus penggunaan lender utama, terutama pinjaman kredit, diatur oleh sejumlah undang-undang termasuk Equal Credit Opportunity Act (ECOA), Fair Housing Act (FHA), Civil Rights Act, Immigration Reform Act, dll. Undang-undang mewajibkan AI version dan information yang memberdayakan mereka untuk dipahami dan dinilai untuk mengatasi prejudice yang tidak diinginkan. Bahkan jika atribut yang dilindungi seperti race tidak digunakan dalam pengembangan version, version tanpa sadar dapat menyerap hubungan dengan kelas yang dilindungi dari input information markup berkorelasi, yaitu prejudice proxy. Oleh karena itu, memungkinkan pengembangan version di bawah kendala ketat ini untuk mempromosikan hasil yang adil dengan inklusi keuangan merupakan topik studi yang aktif.

Layanan keuangan sudah disiapkan dengan baik untuk menilai version statistik untuk prejudice. Untuk memenuhi persyaratan yang sama untuk version ML, tim AI memerlukan proses pengujian prejudice yang diperbarui dengan alat untuk mengevaluasi dan mengurangi prejudice AI dalam konteks kasus penggunaan.

Manajemen lender membutuhkan keyakinan bahwa version mereka kuat, karena mereka membuat keputusan penting. Mereka perlu memastikan bahwa version akan berperilaku dengan benar saat dihadapkan dengan information dunia nyata yang dapat memiliki interaksi yang lebih kompleks. Penjelasan adalah alat penting dalam memberikan keyakinan ini kepada pengembangan version dan tim penilai. Namun, tidak semua sistem ML membutuhkan tingkat pemahaman yang sama. Misalnya, ambang bawah untuk transparansi sudah cukup untuk sistem penantang sekunder yang digunakan bersama dengan sistem AI utama.

Saat tim mengukur pengembangan ML mereka, proses tersebut perlu menyediakan kumpulan alat validasi dan pemantauan yang kuat untuk memungkinkan pengembang version dan TI memastikan kepatuhan terhadap peraturan dan persyaratan risiko dari pedoman seperti SR 11–7 dan OCC Bulletin 2011–12. Bank telah mulai memperkenalkan validator AI di lini pertahanan kedua mereka untuk memungkinkan validasi version.

Bentuk Penjelasan

Pidato tersebut menguraikan bagaimana penjelasan dapat berbeda berdasarkan kompleksitas dan struktur version. Bank disarankan untuk mempertimbangkan penggunaan jumlah transparansi yang sesuai ke dalam version berdasarkan kasus penggunaan. Beberapa version, misalnya, dapat dikembangkan sebagai sepenuhnya’dapat ditafsirkan’ tetapi berpotensi kurang akurat. Misalnya, keputusan version regresi logistik dapat dijelaskan dengan bobot input. Model lain lebih kompleks dan akurat tetapi tidak secara inheren dapat ditafsirkan. Dalam hal ini penjelasan diperoleh dengan menggunakan teknik model agnostic yang memberikan penjelasan dengan cara melakukan probing pada version dengan berbagai masukan dan mengamati perubahan keluarannya. Meskipun penjelasan’post-hoc’ ini dapat memungkinkan pemahaman dalam kasus penggunaan tertentu, penjelasan tersebut mungkin tidak dapat diandalkan seperti penjelasan dari version yang secara inheren dapat dijelaskan. Oleh karena itu, salah satu pertanyaan kunci yang akan dihadapi lender adalah apakah penjelasan version agnostik dapat diterima atau diperlukan version yang dapat ditafsirkan. Namun, penjelasan version yang akurat tidak menjamin version yang kuat dan adil yang hanya dapat dikembangkan dari waktu ke waktu dan dengan pengalaman.

AI yang dapat dijelaskan, sebuah kemajuan penelitian baru-baru ini, adalah teknologi yang membuka kotak hitam AI sehingga manusia dapat memahami apa yang terjadi di dalam version AI untuk memastikan keputusan yang didorong oleh AI transparan, dapat dipertanggungjawabkan, dan dapat dipercaya. Penjelasan ini memperkuat penjelasan keluaran version. Perusahaan jasa keuangan perlu memiliki stage untuk memungkinkan tim mereka menghasilkan penjelasan untuk berbagai version yang dapat digunakan di berbagai tim inner dan eksternal.

Harapan untuk Bank

Pidato Fed diakhiri dengan komitmen untuk mendukung pengembangan AI yang bertanggung jawab dan seruan untuk umpan balik tentang teknik transparansi dan implikasi risikonya dari para ahli di lapangan.

Saat The Fed mencari masukan, jelas bahwa tim layanan keuangan yang menerapkan version AI perlu mencari cara untuk mendukung pengembangan ML mereka dengan proses dan alat yang diperbarui untuk menghadirkan transparansi di seluruh pemahaman version, ketahanan, dan keadilan sehingga mereka lebih siap untuk menghadapi masa depan. pedoman.

Mendukung Penggunaan AI yang Bertanggung Jawab di Layanan Keuangan awalnya diterbitkan di Limit AI on Moderate, di mana orang-orang melanjutkan percakapan dengan menyoroti dan menanggapi cerita ini.

Diterbitkan melalui Towards AI