Seri Panduan Penerapan ML-OPS – 2 – Menuju AI — Teknologi, Sains, dan Teknik Terbaik

Pengarang: Rashmi Margani

Pembelajaran mesin

Konsep Drift, Data Drift & Pemantauan

Gambar: https://martinfowler.com/ Siklus hidup sistem ML

Momen paling menarik dari sistem pembelajaran mesin apa pun adalah ketika Anda dapat menerapkan model Anda, tetapi penerapan menjadi sulit karena masalah statistik seperti “ketika kinerja model masa lalu tidak lagi dijamin untuk masa depan dan kinerja model menurun selama periode waktu tertentu karena perubahan data ketika model dikerahkan di cloud dengan perubahan data yang sering” dan mesin sistem seperti sistem menuntut pemantauan sistem ML sering yang bersifat manual dan membosankan yang perlu ditangani melalui otomatisasi sebanyak mungkin.

Sekarang, Bagaimana mengatasi masalah statistik atau penurunan kinerja model?. Bagaimana menangani perubahan data setelah model dikerahkan?

Di situlah Konsep dan penyimpangan Data muncul.

Gambar: cloud.google.com Alur kerja Tfdv untuk deteksi penyimpangan dataGambar: cloud.google.com alur kerja TFDV untuk mendeteksi penyimpangan data

Konsep Drift mengacu pada jika pemetaan yang diinginkan dari x ke y berubah dan itu mengarah pada prediksi yang tidak akurat karena perubahan distribusi data yang sangat besar dalam model yang dihasilkan.

Misalnya, katakanlah untuk pengguna tertentu, banyak pembelian online yang mengejutkan, yang seharusnya menandai akun tersebut sebagai penipuan. Tetapi karena COVID-19 pembelian yang sama itu tidak akan menjadi alasan untuk khawatir dan sistem gagal diklasifikasikan sebagai penipuan karena jumlah pembelian online baru meningkat karena pandemi. Kartu kredit itu mungkin telah dicuri.

Contoh lain dari konsep drift, misalkan x adalah ukuran properti rumah, dan y adalah harga properti rumah, karena perubahan pasar, rumah bisa menjadi lebih mahal dari waktu ke waktu. Rumah dengan ukuran yang sama akan berakhir dengan harga yang lebih tinggi yaitu konsep drift.

ara: histogram distribusi data cloud.google.com memungkinkan Anda dengan cepat mengasah perubahan yang terjadi pada data, dan kemudian menentukan cara memperbaikinya

Data Drift mengacu pada jika distribusi x berubah, bahkan jika pemetaan dari x atau y tidak berubah. Selain mengelola perubahan pada data ini, yang mengarah ke rangkaian masalah mesin perangkat lunak kedua, Anda harus mengelola/mengotomatiskan proses pekerjaan untuk menerapkan sistem dengan sukses.

Sebagai contoh, mari kita ambil kasus penggunaan properti perumahan lagi. katakanlah, orang mulai membangun rumah yang lebih besar atau mulai membangun rumah yang lebih kecil dan dengan demikian distribusi input dari ukuran rumah sebenarnya berubah dari waktu ke waktu. Saat Anda menerapkan sistem pembelajaran mesin, salah satu tugas terpenting sering kali adalah memastikan Anda dapat mendeteksi dan mengelola perubahan apa pun. Anda menerapkan layanan prediksi yang tugasnya adalah mengambil kueri x dan menghasilkan prediksi y, Anda memiliki banyak pilihan desain tentang cara mengimplementasikan perangkat lunak ini.

Berikut adalah daftar pertanyaan, yang mungkin membantu Anda membuat keputusan yang tepat untuk menangani masalah rekayasa perangkat lunak.

Katakanlah pertanyaan/daftar periksa seperti,

Apakah Anda memerlukan prediksi waktu nyata atau prediksi batch? Misalnya, prediksi real-time termasuk mengambil satu urutan dan membuat prediksi katakanlah untuk pengenalan suara. Prediksi batch sebagian besar digunakan di rumah sakit, katakanlah Ambil catatan kesehatan elektronik dan jalankan proses batch semalam untuk melihat apakah ada sesuatu yang terkait dengan pasien, yang dapat kita temukan. Apakah layanan prediksi Anda mengalami cloud atau berjalan di tepi atau bahkan mungkin di browser Web? Berapa banyak sumber daya komputasi yang Anda miliki atau dapat alokasikan ke sistem ML tertentu? Jenis pengaturan keamanan dan privasi apa yang diperlukan untuk mendukung sistem ML dalam produksi? Berapa banyak kueri dan throughput yang perlu didukung dengan kueri yang diberikan per detik? Bagaimana jenis logging perlu diterapkan untuk melacak kembali kegagalan sistem ML dan untuk mendukung reproduktifitas?

Ada yang perlu Anda lakukan untuk memantau kinerja sistem dan terus mempertahankannya, terutama dalam menghadapi konsep drift serta data drift. Saat Anda membangun sistem pembelajaran mesin untuk penerapan pertama, akan sangat berbeda dibandingkan saat Anda memperbarui atau memelihara sistem yang sebelumnya telah diterapkan.

Karena sayangnya, sebagian besar penerapan pertama berarti Anda mungkin baru setengah jalan, dan paruh kedua pekerjaan Anda baru dimulai setelah penerapan pertama, karena bahkan setelah Anda menerapkan, ada banyak pekerjaan untuk memasukkan data kembali dan mungkin untuk memperbaharui model, untuk tetap mempertahankan model setiap ada perubahan data.

Gambar: https://research.google/pubs/pub46555/

Bagaimana cara mengotomatiskan proses pemantauan untuk sistem ML setelah diterapkan?.

Dengan beberapa pengecualian perintis, sebagian besar perusahaan teknologi baru melakukan ML/AI dalam skala besar selama beberapa tahun, dan banyak yang baru memulai perjalanan panjang. Ini berarti bahwa:

Tantangannya sering disalahpahami atau diabaikan sama sekali Kerangka kerja dan alatnya berubah dengan cepat (baik untuk ilmu data dan MLOp) Praktik terbaik seringkali abu-abu

Checklist/Strategi untuk menangani sistem monitoring ML meliputi seperti,

1. Apakah perubahan ketergantungan menghasilkan pemberitahuan?

2. Apakah invarian data berlaku dalam input pelatihan dan penyajian, yaitu monitor Training/Serving Skew?

3. Apakah fitur pelatihan dan penyajian selalu menghitung nilai yang sama?

4. Apakah model yang digunakan stabil secara numerik?

5. Apakah model tidak mengalami regresi dramatis atau kebocoran lambat dalam kecepatan pelatihan, latensi penyajian, throughput, atau penggunaan RAM?

6. Apakah model belum mengalami regresi kualitas prediksi pada data yang disajikan?

Pada seri berikutnya, akan melihat implementasi praktis dan berbagai teknik untuk menangani penyimpangan data dan penyimpangan konsep, Bagaimana mempraktikkannya dalam tahap pengembangan sehingga pemeliharaan menjadi lebih mudah pasca penerapan model ke dalam produksi.

Deployment ML-OPS Guide Series – 2 awalnya diterbitkan di Towards AI on Medium, di mana orang-orang melanjutkan percakapan dengan menyoroti dan menanggapi cerita ini.

Diterbitkan melalui Menuju AI