MLOps — Dasar-dasar Aturan dan Beberapa Kasus Penggunaan Praktis – Menuju AI — Teknologi, Sains, dan Teknik Terbaik

Pengarang: Supriya Ghosh

Pembelajaran mesin

MLOps — Dasar-dasar Aturan dan beberapa Kasus Penggunaan Praktis

Alur Kerja MLOps

Gambar oleh Penulis

Sebelum saya beralih ke Kasus Penggunaan Praktis MLOps secara langsung, izinkan saya menuliskan beberapa dasar MLOps.

Mengapa MLOps muncul?

Insinyur dan Peneliti di seluruh dunia sedang mengembangkan banyak model tingkat tinggi dengan menggabungkan pembelajaran mesin dan pengetahuan dan teknik kecerdasan buatan, tetapi penerapan model-model ini dan memperoleh manfaat maksimal darinya dalam skala besar menjadi semakin kompleks dan menantang. Maka, untuk mencari solusi atas semua ini, muncullah MLOps.

MLOps adalah pendekatan Super atau serangkaian praktik yang mengelola penerapan model pembelajaran mendalam dan pembelajaran mesin di lingkungan produksi skala besar dan memastikan perputaran cepat dari pengembangan ke penerapan dan penerapan kembali seperti yang dipersyaratkan oleh Bisnis.

Seiring hari demi hari, popularitasnya meningkat, ini menarik perhatian semakin banyak organisasi yang ingin memanfaatkan manfaat pembelajaran mesin dalam operasi mereka.

Apa itu MLOps?

Gambar oleh Penulis

MLOps dianggap sebagai anak dari DevOps dan telah menikah dengan Operasi, dengan dukungan penuh dari rekayasa Data maka istilah yang diciptakan bersama adalah

MLOps = ML(Pembelajaran Mesin) + Ops(Operasi)

MLOps mengotomatiskan proses pengembangan model, penerapan, pemantauan dan kontrol kualitas, tata kelola model, pelatihan ulang model, dan pipeline ke dalam satu platform.

Dengan cara lain, ini menyatukan ilmuwan data, insinyur pembelajaran mesin, pengembang, dan profesional Operasi dan membuat kolaborasi dan komunikasi mereka lebih mudah untuk mengotomatisasi dan mengelola model ML dan AI dan siklus hidup mereka secara efisien dengan pemantauan dan tata kelola bawaan.

Apa yang dilakukan MLOps?

Saya ulangi sekali lagi bahwa model pembelajaran mesin harus mampu berjalan dalam produksi yang meningkatkan efisiensi dan pengambilan keputusan yang lebih baik dalam aplikasi bisnis. Oleh karena itu, organisasi menggunakan MLOps untuk menskalakan jumlah operasi dan aplikasi ML dengan mengotomatiskan proses, memvalidasi, menguji, dan membuat proses berulang untuk mengelola ML di lingkungan yang dinamis.

Selain itu, MLOps memberdayakan para insinyur dan pengembang untuk mengambil tanggung jawab penuh dan kepemilikan pembelajaran mesin dalam produksi sambil membebaskan ilmuwan data untuk melakukan penelitian dan menangani tugas-tugas lain yang relevan.

Gambar oleh Penulis

Sama seperti DevOps tradisional, yang tujuannya adalah untuk merampingkan pengiriman perangkat lunak ke dalam produksi, MLOps juga bertujuan untuk merampingkan pengiriman model dan perangkat lunak dengan sentuhan tambahan membuat prediksi berdasarkan pola yang dipelajari mesin dari data.

Oleh karena itu, MLOps mendorong otomatisasi dan penerapan berkelanjutan seperti DevOps dan juga menambahkan kemampuan ML unik seperti validasi model untuk memungkinkan prediksi berkualitas tinggi dibuat di lingkungan. Tanpa jalur penyebaran yang efisien seperti itu, solusi ini akan tetap berada di lab penelitian dan mati sebelum digunakan dalam bisnis.

Ini memberikan landasan bagi organisasi dengan kemampuan ML dan AI untuk memaksimalkan investasi dengan solusi mereka yang layak dan mendapatkan dampak dan nilai yang luar biasa.

Hal ini dicapai dengan mempercepat produksi berkelanjutan model ML dalam skala besar, secara signifikan mengurangi waktu untuk menerapkan aplikasi cerdas tersebut dalam hitungan hari atau terkadang bahkan berjam-jam.

MLOps juga memasukkan pengulangan dan audibilitas ke dalam alur penerapan, yang dapat bermanfaat jika model ML berkinerja buruk, atau perlu diaudit setelah penerapan. Memiliki pipeline penerapan yang tepat memudahkan untuk membuat ulang model dan menelusuri kembali langkah-langkah jika perlu.

Apa yang seharusnya menjadi pendekatan MLOps oleh Organisasi?

1. Langkah pertama adalah menciptakan budaya kolaboratif dengan tim lintas fungsi yang bekerja untuk memenuhi tujuan bisnis organisasi mereka.

2. Harus didukung dengan teknologi dasar yang tepat untuk membantu anggota tim bekerja sama dan mencapai tujuan tersebut.

3. Setiap anggota tim harus memiliki peran yang pasti untuk dimainkan dalam jalur produksi. Misalnya, ilmuwan data menyiapkan data, menerapkan algoritme ML, dan menyetel model agar lebih berperforma. Pengembang menggunakan model tersebut sebagai bagian dari aplikasi mereka, dan operasi memastikan bahwa model disetujui dan dipantau dalam produksi.

4. Tim harus bekerja menuju tujuan bersama yang selaras dengan tujuan utama organisasi mereka.

5. Tergantung pada organisasinya, tujuannya dapat dipusatkan pada use case mereka.

6. Tujuannya tidak boleh mengoptimalkan metrik teknik tertentu, tetapi tujuan organisasi strategis yang dianggap terpenuhi oleh tim MLOps.

7. Platform yang ideal harus mendukung berbagi informasi antar tim dan memungkinkan proses pengembangan yang gesit.

8. Terakhir, manajemen puncak Organisasi harus mendukung inisiatif budaya dan strategis ini dengan teknologi yang membantu tim MLOps untuk dengan mudah membangun dan menerapkan aplikasi berbasis ML dan AI.

Kasus penggunaan MLOps

1. Proyek Percontohan/Proyek Penelitian

Setiap kali kami menguji bukti konsep atau melakukan penelitian atau proyek percontohan untuk ML, fokus kami terutama pada persiapan data, rekayasa fitur, pembuatan prototipe model, dan validasi. Tetapi semua tugas ini dilakukan dalam beberapa iterasi untuk sampai pada model yang andal. Ilmuwan data sering ingin melacak dan membandingkan iterasi ini dan menyiapkan eksperimen dengan cepat dan mudah untuk sampai pada solusi akhir.

Di sini MLOps memperluas dukungannya dengan membuat saluran untuk penyimpanan metadata ML, kemampuan pelacakan artefak untuk melakukan debug, menyediakan matriks keterlacakan, berbagi, dan melacak konfigurasi eksperimen, dan untuk mengelola semua artefak ML terkait melalui manajemen konfigurasi dan sistem kontrol versi yang terintegrasi dengan aplikasi.

2. Sistem Pengenalan Suara atau Suara

Pendekatan MLOps dapat diterapkan pada aplikasi Speech atau Voice recognition.

Secara umum, aplikasi pengenalan suara berfungsi dengan memanfaatkan konteks dalam mengenali emosi dan nada bagaimana individu berbicara dan melatih model yang sesuai. Namun seiring waktu, itu mungkin salah, terutama ketika individu saat berbicara memperkenalkan frasa baru dan mengubah gaya mereka yang biasa. Hal ini dapat menyebabkan kerusakan model dan harus diidentifikasi oleh tim melalui pemantauan manual berkelanjutan yang terkadang melelahkan dan menguras tenaga.

Bagaimana MLOps dapat membantu dengan ini adalah dengan mengotomatisasi proses pemantauan terus menerus dari kinerja prediktif model pengenalan suara dan setiap kali kinerja turun di bawah atau mendekati ambang batas yang ditentukan, sistem memicu peringatan. Ini segera menarik perhatian tim yang bertanggung jawab untuk melatih model baru menggunakan data baru dan kemudian menerapkannya untuk menggantikan model produksi lama.

3. Mesin Pengemasan / Robot

Seringkali, perusahaan manufaktur menggunakan mesin atau robot di akhir jalur perakitan mereka untuk mengemas produk mereka. Robot ini menggunakan visi komputer yang didukung oleh pembelajaran mesin untuk analisis dan pengemasan produk. Misalnya, jika model ML dilatih untuk mengenali kotak segitiga dan lingkaran dengan dimensi tertentu tetapi untuk memenuhi permintaan di masa mendatang, perusahaan memutuskan untuk memperkenalkan dimensi dan bentuk kemasan baru, maka ini mengarah pada masalah yang perlu ditangani secepatnya. mungkin sebelum sistem pengemasan rusak.

Di sini MLOps membantu para engineer dan ilmuwan untuk berkolaborasi menggunakan continuous integration dan continuous deployment (CI/CD) untuk membuat dan menerapkan model ML baru dalam waktu sesingkat mungkin menggunakan pipeline ML yang ditentukan sebelum dimensi atau bentuk pengemasan baru diperkenalkan ke dalam perakitan garis.

4. Sistem rekomendasi

Sistem rekomendasi sering mengikuti prediksi batch karena tidak perlu mencetak skor secara real-time. Skor dapat dihitung sebelumnya dan disimpan untuk konsumsi nanti, sehingga latensi tidak terlalu menjadi perhatian. Namun, karena pemrosesan sejumlah besar data pada suatu waktu berlangsung, maka throughput menjadi penting.

MLOps mendukung hal ini dengan teknik kemampuan pemrosesan data yang mapan dan jalur ML bersama dengan model registry untuk menyediakan proses penyajian batch tersebut dengan model tervalidasi terbaru untuk digunakan untuk penilaian daripada versi yang lebih lama karena kesalahan manusia yang tidak diinginkan.

5. Pencilan mendadak di pasar saham

Mengambil contoh perdagangan saham, misalkan model ML dilatih untuk membuat prediksi berdasarkan produk farmasi, tetapi hanya dengan harga positif yaitu kenaikan harga. Dan tiba-tiba dicatat bahwa produk farmasi mulai mengikuti tren negatif, yaitu penurunan harga. Jelas, model tidak akan tampil sempurna saat menghadapi tren harga/turun negatif yang tiba-tiba. Yang perlu dilakukan dalam hal ini adalah tim pengembang dan ilmuwan data harus segera mengambil tindakan untuk melatih dan menerapkan kembali model ML baru.

Di sini MLOps datang untuk menyelamatkan dengan banyak jalur untuk pelatihan dan penerapan model baru yang sudah otomatis. Dalam kasus seperti itu, para insinyur dan ilmuwan bahkan mungkin tidak memerlukan bantuan pengembang untuk menangani jalur pipa. Mereka dapat dengan mudah menggunakan sistem yang sudah otomatis untuk memperbarui, melatih, dan menerapkan model baru segera untuk menghindari efek negatif lebih lanjut.

6. Model deteksi penipuan yang dilatih setiap hari atau setiap minggu untuk menangkap pola penipuan terbaru.

Model deteksi penipuan adalah sejenis sistem pelatihan ulang yang sering dilakukan di mana kinerja model sangat bergantung pada perubahan dalam data pelatihan. Pelatihan ulang tersebut mungkin didasarkan pada interval waktu (misalnya, harian atau mingguan), atau dapat dipicu berdasarkan kejadian ketika data pelatihan baru tersedia.

Sistem seperti itu membutuhkan MLOps dengan pipeline ML yang disiapkan dengan baik untuk menghubungkan beberapa langkah seperti ekstraksi data, prapemrosesan, pelatihan model, dan kemampuan evaluasi model untuk memastikan bahwa akurasi model yang baru dilatih memenuhi persyaratan bisnis. Seiring bertambahnya jumlah model yang dilatih, registri model, metadata, dan pelacakan artefak menjadi sangat penting untuk melacak aktivitas pelatihan dan versi model.

7. Model promosi untuk memaksimalkan tingkat konversi

Sistem seperti itu sering membutuhkan pembaruan implementasi yang sering yang mungkin melibatkan perubahan pada kerangka kerja ML itu sendiri yang dapat menyebabkan perubahan dalam arsitektur model atau perubahan dalam langkah pemrosesan data dalam alur pelatihan. Perubahan tersebut menyebabkan perubahan alur kerja ML dan memerlukan kontrol untuk memastikan bahwa kode baru berfungsi dan model baru berfungsi sebagaimana dimaksud.

Di sini MLOps mendukung dengan proses CI/CD (continuous integration/ continuous deployment) yang efisien dan utuh dengan mempercepat laju eksperimen ML ke produksi dan mengurangi kemungkinan kesalahan manusia. Karena perubahannya signifikan, eksperimen online dan evaluasi model mendukung untuk memastikan bahwa rilis baru berjalan seperti yang diharapkan. Selain itu, registri model, metadata, dan pelacakan artefak mengoperasionalkan dan melacak pembaruan implementasi yang sering dilakukan.

Gambar oleh Penulis

Pikiran Akhir

MLO yang terencana dengan baik dalam organisasi dapat mengarah pada peningkatan efisiensi dan produktivitas yang mengarah pada ROI yang lebih optimal untuk bisnis. Selain itu, mereka adalah cara yang bagus untuk menyatukan tim pengembang dan ilmuwan data lintas fungsi untuk kolaborasi dan komunikasi. Yang diperlukan hanyalah merangkul potensi pelepasannya secara sistematis dan sejalan dengan lingkungan produksi.

Terima kasih sudah membaca !!!

Saya berencana untuk menulis artikel lain untuk membagikan beberapa informasi menarik lainnya tentang MLOps.

Anda dapat mengikuti saya di media juga

LinkedIn: Supriya Ghosh

Dan Twitter: @isupriyaghosh

MLOps — Ruling Fundamentals dan beberapa Kasus Penggunaan Praktis awalnya diterbitkan di Towards AI on Medium, di mana orang-orang melanjutkan percakapan dengan menyoroti dan menanggapi cerita ini.

Diterbitkan melalui Menuju AI