Bagaimana Pembelajaran Aktif, Suatu Bentuk Pembelajaran Mesin, Membantu Secara Dramatis Mengurangi Tinjauan Sistematis…

Pengarang: Gaugarin Oliver

Kecerdasan buatan

Bagaimana Pembelajaran Aktif, Suatu Bentuk Pembelajaran Mesin, Membantu Secara Dramatis Mengurangi Beban Kerja Tinjauan Sistematis

Penciptaan dan penyebaran tepat waktu tinjauan literatur sistematis (SLR) yang akurat dan diteliti secara mendalam adalah landasan kedokteran berbasis bukti (EBM). Tetapi seperti yang telah kita bahas dalam posting blog sebelumnya, SLR membutuhkan waktu yang sangat lama untuk diproduksi — dan bagian yang paling memakan waktu dari semuanya biasanya melibatkan pencarian dan identifikasi studi yang relevan untuk dimasukkan.

Berapa lama, tepatnya, yang dibutuhkan SLR? Laporan ini menunjukkan sekitar 67 minggu per ulasan. Perkiraan ini mengatakan antara enam dan 18 bulan, sedangkan yang ini mengatakan minimal sembilan hingga 12 bulan. Sebagian dari itu adalah karena pertumbuhan eksponensial literatur uji coba terkontrol secara acak (RCT) (ada peningkatan hampir 3.000 persen dalam output RCT tahunan antara tahun 1970 dan 2000, menurut Catalá-López et al).

Intinya: SLR membutuhkan waktu lama. Karena mereka biasanya membutuhkan tim ahli materi pelajaran, peninjau independen, spesialis informasi, dan ahli statistik — antara lain — mereka juga bisa sangat mahal (hingga US$250.000 per ulasan, menurut perkiraan ini).

Cara apa pun untuk mengurangi waktu yang dihabiskan untuk SLR dapat menghemat puluhan ribu dolar per proyek bagi organisasi penelitian. Dan itulah tepatnya yang dapat dicapai oleh pembelajaran aktif saat diterapkan selama fase penyaringan artikel.

Pembelajaran aktif untuk tinjauan literatur sistematis

Pembelajaran mesin (ML) dan pemrosesan bahasa alami (NLP) dapat, secara umum, memberikan peningkatan produktivitas yang besar selama pembuatan SLR dengan mengotomatisasi atau semi-otomatis beberapa proses manual (dan, sampai sekarang, glasial). Proses ini termasuk ekstraksi data (yang dapat ditingkatkan dengan menggunakan teknik pengenalan entitas bernama), atau penyaringan dan pemilihan artikel melalui pembelajaran aktif.

Seperti disebutkan di atas, tidak semua teknik ML cocok untuk setiap tugas SLR tertentu. Dalam hal penyaringan artikel, El-Gayar et al. mengatakan teknik pembelajaran yang diawasi “sangat sedikit menjanjikan” sebagian karena kelangkaan data pelatihan awal (para peneliti mengatakan, bagaimanapun, bahwa jenis pembelajaran mesin ini bekerja dengan baik selama pembaruan SLR yang ada).

Peneliti yang sama mengatakan pembelajaran aktif dapat “secara signifikan mengurangi” waktu yang dihabiskan untuk penyaringan artikel untuk tinjauan literatur sistematis baru – bahkan dengan set data pelatihan awal yang kecil.

Itu karena algoritme pembelajaran aktif sangat baik dalam memilih data tak berlabel terbaik untuk dipelajari. Sistem pembelajaran aktif bekerja dengan memilih artikel pelatihan mereka sendiri untuk disajikan kepada annotator manusia, yang kemudian mengkonfirmasi relevansi catatan tersebut.

Berkat alur kerja yang unik ini, sistem pembelajaran aktif dapat secara khusus mahir dalam mengidentifikasi teks yang relevan dalam judul dan abstrak dengan tingkat ingatan 95 persen atau lebih (pengukuran juga dikenal sebagai [email protected]. Sembilan puluh lima persen tingkat ingatan adalah tujuan realistis dari sebagian besar proyek pembelajaran mesin karena tingkat 100 persen hampir tidak mungkin, bahkan untuk peninjau manusia).

Siklus belajar aktif

Pembelajaran aktif bukanlah produk yang bekerja pada tingkat efisiensi di luar kotak. Meskipun setiap algoritma klasifikasi berbeda setidaknya sedikit, ada juga serangkaian langkah yang harus diikuti oleh peneliti untuk sistem pembelajaran aktif untuk mencapai tugasnya:

Lakukan pencarian kata kunci dan kumpulkan satu set data yang tidak berlabel (abstrak dan judul) Peninjau kemudian memberi label pada subset kecil dari kumpulan data di atas, yang menjadi data pelatihan sistem pembelajaran aktif Anda Model pembelajaran aktif yang dipilih belajar dari catatan berlabel ini berdasarkan peninjau keputusan, menetapkan skor relevansi untuk semua dokumen yang tidak berlabel dan memilih catatan baru yang tidak berlabel untuk disajikan kepada peninjau. Peninjau kemudian menilai relevansi setiap dokumen yang disarankan, selanjutnya menyempurnakan algoritme dengan setiap catatan Dokumen yang disarankan diberi label dan ditambahkan ke kumpulan data pelatihan. Ulangi langkah 3 hingga 5 hingga jumlah dokumen yang diperlukan telah dievaluasi

Gambar milik ASReview.

Namun, seperti yang ditunjukkan oleh alur kerja di atas, model pembelajaran aktif bukanlah alat yang bisa diatur dan dilupakan. Sebaliknya, teknologi bekerja bahu-membahu dengan para peneliti sebagai pengganda kekuatan, mempercepat tugas triase artikel melalui saran yang terinformasi dengan baik dan pembelajaran terus-menerus berdasarkan saran algoritme dan konfirmasi peneliti.

Hal di atas berlaku untuk SLR, juga dikenal sebagai Researcher-in-the-Loop, harus dilakukan secara sistematis dan harus mengikuti pedoman PRISMA.

Contoh pembelajaran aktif dalam tinjauan sistematis

Beberapa penelitian terbaru telah menunjukkan nilai penghematan waktu dari pembelajaran aktif untuk SLR. Berikut adalah beberapa di antaranya:

van Haastrecht dkk. mengembangkan metodologi tinjauan sistematis yang disebut SYMBALS (Systematic Review Methodology Blending Active Learning and Snowballing), yang menggabungkan pembelajaran aktif dan teknik bola salju mundur. Para peneliti menunjukkan metodologi mereka mempercepat penyaringan judul dan abstrak dengan faktor enam. Singh dkk. mengusulkan model pembelajaran aktif berbasis kebaruan “yang bekerja untuk mengeksplorasi topik yang berbeda selama fase awal proses pembelajaran aktif dan kemudian melanjutkan berdasarkan relevansi pada fase selanjutnya,” menambahkan bahwa model ini mengungguli model pembelajaran aktif naif dalam hal [email protected] pengukuran. Wallace dkk. mengembangkan model pembelajaran aktif baru yang mengeksploitasi pengetahuan domain apriori yang diberikan oleh seorang ahli manusia, menambahkan bahwa pendekatan ini mengungguli strategi pembelajaran aktif lainnya pada tiga kumpulan data dunia nyata.

Pakar pembelajaran mesin CapeStart

Ilmuwan data dan insinyur pembelajaran mesin di CapeStart bekerja dengan organisasi penelitian tingkat atas setiap hari untuk meningkatkan proses SLR melalui pembelajaran aktif dan alat berbasis AI lainnya. Pakar kami dalam NLP dan teknik pembelajaran mesin lainnya dapat membantu Anda dengan cepat mengembangkan protokol pencarian efektif yang sesuai dengan MEDDEV 2.7.1 (Rev. 4) dari sumber yang dipublikasikan seperti Pubmed, Embase, dan Cochrane.

Hubungi kami hari ini untuk mengatur panggilan penemuan singkat dengan para ahli kami.

Bagaimana Pembelajaran Aktif, Suatu Bentuk Pembelajaran Mesin, Membantu Secara Dramatis Mengurangi Tinjauan Sistematis… awalnya diterbitkan di Towards AI on Medium, di mana orang-orang melanjutkan percakapan dengan menyoroti dan menanggapi cerita ini.

Diterbitkan melalui Menuju AI