Pengantar Lembut untuk Petunjuk Pembelajaran & Penyulingan Pengetahuan – Menuju AI — Teknologi, Sains, dan Teknik Terbaik

Pengarang: LA Tran

Pembelajaran Mendalam

Membimbing seorang siswa untuk mempelajari perilaku seorang guru.

Penyulingan pengetahuan adalah metode untuk menyaring pengetahuan dalam ansambel model yang rumit dan mengompresnya menjadi satu model untuk memungkinkan penerapan ke aplikasi kehidupan nyata. Penyulingan pengetahuan diperkenalkan oleh Godfather of AI, Geoffrey Hinton, dan dua rekan kerjanya di Google, Oriol Vinyals dan Jeff Dean pada tahun 2015.

Gambar dari postingan Prakhar [source]

Penyulingan pengetahuan mengacu pada transfer perilaku belajar dari model rumit (guru) ke yang lebih kecil (siswa), di mana output yang dihasilkan oleh guru digunakan sebagai “target lunak” untuk melatih siswa. Dengan menerapkan metode ini, penulis mengungkapkan bahwa mereka mencapai hasil yang mengejutkan pada dataset MNIST dan menunjukkan bahwa peningkatan yang signifikan dapat diperoleh dengan menyaring pengetahuan dalam ansambel model menjadi satu model.

Penyulingan Pengetahuan untuk Klasifikasi Gambar

Hinton dan dua rekan penulisnya pertama kali memperkenalkan distilasi pengetahuan mereka untuk tugas klasifikasi gambar di makalah: Distilling the Knowledge in a Neural Network. Seperti disebutkan dalam makalah, bentuk paling sederhana dari distilasi pengetahuan adalah bahwa model suling dilatih pada set transfer dengan distribusi target lunak. Sejauh ini kita harus tahu bahwa ada dua target yang digunakan untuk melatih model siswa. Salah satunya adalah label yang benar (hard target) dan yang lainnya adalah label lunak (soft target) yang dihasilkan dari jaringan guru. Oleh karena itu, fungsi tujuan adalah rata-rata tertimbang dari dua fungsi tujuan yang berbeda. Fungsi tujuan pertama adalah kehilangan entropi silang antara prediksi siswa dan target lunak, dan fungsi tujuan kedua adalah kehilangan entropi silang antara keluaran siswa dan label yang benar. Penulis juga menyebutkan bahwa hasil terbaik umumnya diperoleh dengan menggunakan bobot yang lebih rendah pada fungsi tujuan kedua.

Beberapa hasil mengejutkan yang diperoleh dari makalah tersebut ditunjukkan di bawah ini, untuk lebih jelasnya, silakan merujuk pada makalah asli di sini:

Gambar dari kertas [source]
Gambar dari kertas [source]

Penyulingan Pengetahuan untuk Deteksi Objek

Di NeurIPS 2017, Guobin Chen dan rekan penulisnya menerbitkan penelitian mereka tentang distilasi pengetahuan yang dikombinasikan dengan pembelajaran petunjuk untuk deteksi objek dalam makalah: Learning Efficient Object Detection Models with Knowledge Distillation. Dalam metode mereka, mereka lebih lanjut menggunakan petunjuk yang merupakan peta fitur yang diperoleh dari lapisan menengah guru untuk membimbing siswa mempelajari perilaku guru sedekat mungkin. Selanjutnya, lapisan adaptasi diperlukan untuk kinerja terbaik dari pengetahuan penyulingan, lapisan adaptasi ini akan dibahas nanti. Faster-RCNN adalah jaringan pendeteksi objek yang digunakan untuk percobaan dalam makalah. Skema pembelajaran mereka dapat divisualisasikan seperti gambar di bawah ini:

Gambar dari kertas. [source]

Fungsi tujuan pembelajaran dituliskan sebagai berikut:

di mana RCN dan RPN masing-masing mewakili jaringan regresi dan klasifikasi dan jaringan proposal wilayah; N dan M masing-masing adalah ukuran batch RCN dan RPN; L_RCN, L_RPN, dan L_Hint masing-masing adalah kerugian RCN, RPN, dan petunjuk; (biasanya 1) dan (biasanya diatur ke 0,5) adalah parameter hiper untuk mengendalikan kerugian akhir.

Petunjuk Belajar

Adriana Romero dalam makalah FitNets: Petunjuk untuk Thin Deep Nets telah menunjukkan bahwa kinerja jaringan siswa dapat ditingkatkan ketika representasi perantara dari jaringan guru digunakan sebagai petunjuk untuk membantu proses pelatihan siswa. Dalam hal ini, kerugian antara fitur petunjuk Z (peta fitur yang diperoleh dari lapisan perantara guru) dan fitur terpandu V (peta fitur lapisan menengah siswa) dihitung menggunakan jarak L1,

atau jarak L2,

Gambar berikut menunjukkan peta fitur yang diekstraksi dari model YOLOv4 pra-terlatih yang dilatih pada dataset WAYMO yang merupakan salah satu proyek saya mengenai deteksi objek dengan distilasi pengetahuan. Dalam contoh ini, gambar input diubah ukurannya menjadi 800×800.

Gambar oleh Penulis.
Gambar oleh Penulis.

Penyulingan Pengetahuan + Pembelajaran Petunjuk

Penggunaan pembelajaran petunjuk mengharuskan fitur petunjuk dan fitur terpandu harus memiliki bentuk yang sama (Tinggi x Lebar x Saluran). Selain itu, fitur petunjuk dan fitur terpandu tidak akan selalu berada dalam ruang fitur yang sama, oleh karena itu, lapisan adaptasi (biasanya adalah lapisan konvolusi 1×1) digunakan untuk membantu meningkatkan transfer pengetahuan dari guru ke siswa.

Gambar diadaptasi dari postingan Prakhar [source]

Gambar di bawah menjelaskan skema pembelajaran yang sedang saya kerjakan dalam proyek deteksi objek saya, di mana, saya menggunakan jaringan kecil dengan tiga tingkat deteksi untuk menyaring pengetahuan dari YOLOv4 yang telah dilatih sebelumnya.

Gambar oleh Penulis.

Guobin Chen menunjukkan hasil yang sangat baik saat menggabungkan distilasi pengetahuan dengan pembelajaran petunjuk untuk deteksi objek. Untuk detail lebih lanjut, silakan temukan di makalah asli Learning Efficient Object Detection Models with Knowledge Distillation.

Gambar dari kertas. [source]

Kesimpulan

Dalam posting ini, saya telah memperkenalkan secara singkat distilasi pengetahuan dan pembelajaran petunjuk. Penyulingan pengetahuan dianggap sebagai metode yang efisien untuk mentransfer pengetahuan dari ansambel model rumit menjadi yang lebih kecil dan suling. Kombinasi pembelajaran petunjuk dan penyulingan pengetahuan adalah skema yang sangat kuat untuk meningkatkan kinerja jaringan saraf.

Pembaca dipersilakan untuk mengunjungi halaman penggemar Facebook saya yang untuk berbagi hal-hal tentang Pembelajaran Mesin: Menyelam ke Pembelajaran Mesin.

Terima kasih telah meluangkan waktu!

A Gentle Introduction to Hint Learning & Knowledge Distillation awalnya diterbitkan di Towards AI on Medium, di mana orang-orang melanjutkan percakapan dengan menyoroti dan menanggapi cerita ini.

Diterbitkan melalui Menuju AI