Manfaat Pembelajaran Mesin dan Pemrosesan Bahasa Alami untuk Evaluasi Bias dalam Sistem…

Pengarang: Gaugarin Oliver

Pemrosesan Bahasa Alami

Manfaat Pembelajaran Mesin dan Pemrosesan Bahasa Alami untuk Evaluasi Bias dalam Tinjauan Sastra Sistematis

Tinjauan literatur sistematis (SLR) merupakan bagian dari landasan kedokteran berbasis bukti (EBD), yang menggabungkan evaluasi objektif dari bukti terkini, pengalaman dokter, dan spesifikasi pasien untuk menentukan perawatan atau intervensi medis yang paling efektif.

Bukti ini, bagaimanapun, biasanya ditemukan dalam literatur klinis yang tidak terstruktur – sebuah tantangan tersendiri, tetapi ditambah dengan peningkatan besar dalam volume literatur selama beberapa tahun terakhir. Menurut Nature, pengiriman kesehatan dan medis ke penerbit Elsevier naik 92 persen, dari tahun ke tahun, antara Februari dan Mei 2020 – dan volume data sudah naik sebelum tahun lalu.

Sifat data yang tidak terstruktur, dikombinasikan dengan peningkatan volume data, membuat evaluasi bias tradisional dalam literatur medis menjadi proses yang semakin memakan waktu: Sebagian besar penilaian bias memakan waktu sekitar 20 menit per artikel. Penilaian bias dilakukan oleh dua peninjau independen, menambah lebih banyak waktu untuk prosesnya, dan sebagian besar ulasan mencakup ratusan bahkan ribuan artikel.

Selama beberapa tahun terakhir, para peneliti telah menggunakan model pembelajaran mesin (ML) dan pemrosesan bahasa alami (NLP) untuk mengidentifikasi uji coba terkontrol secara acak (RCT) dan menentukan bias dalam literatur medis. Hasilnya telah meningkatkan efisiensi evaluasi — bonus besar bagi para peneliti yang sudah terbengkalai karena langkah-langkah SLR lain yang memakan waktu.

ML dan NLP meningkatkan deteksi bias dalam bukti klinis

Beberapa penelitian terbaru menunjukkan bagaimana model ML dan NLP dapat menjadi alat yang sangat diperlukan untuk peninjau manusia yang menentukan bias di antara ratusan artikel ilmiah yang kompleks, ditulis dengan padat, dan tidak terstruktur:

1. Soboczenski dkk. (2019) menggunakan sistem ML open-source (RobotReviewer, atau disingkat RR) untuk semi-otomatisasi penilaian bias dan mengevaluasi waktu yang dihemat melalui pendekatan manual. Alat Risiko Bias Cochrane diterapkan pada empat artikel RCT yang dipilih secara acak untuk menentukan potensi bias di setiap artikel, bersama dengan menyoroti teks relevan yang mendukung keputusan mereka.

Dua dari artikel ini dievaluasi menggunakan RR untuk menyarankan penilaian bias dan memberikan sorotan teks pendukung. Tidak hanya pendekatan semi-otomatis ini lebih cepat daripada metode manual, peninjau juga menerima lebih dari 90 persen penilaian Risk of Bias (RoB) RR dan sorotan teks pendukung. Saran yang dibuat oleh sistem ML memiliki recall 0,90 dan presisi 0,87 — membuat para peneliti menyimpulkan bahwa semi-otomatisasi menggunakan ML “dapat meningkatkan efisiensi sintesis bukti.”

2. Wang dkk. (2021) melakukan penilaian serupa dengan menerapkan beberapa jenis model yang berbeda, termasuk garis dasar (seperti mesin vektor dukungan dan hutan acak), model saraf (seperti jaringan saraf hierarkis), dan model BERT (termasuk ekstraksi kalimat), hingga hampir 8.000 penuh. -dokumen teks. Para peneliti menentukan bahwa menurut skor F-1, model saraf dan BERT secara signifikan mengungguli ekspresi reguler. Kedua jenis model tersebut berkinerja lebih baik untuk aplikasi yang berbeda (model saraf paling efektif dalam mengidentifikasi konflik kepentingan, misalnya).

3. Beberapa tahun sebelum studi terbaru ini, Millard et al. (2015) menggunakan teknik penambangan teks dan pembelajaran yang diawasi untuk mengotomatiskan penilaian risiko bias dalam dokumen klinis. Para peneliti mengidentifikasi kalimat yang relevan untuk melatih dua model yang berbeda: Yang pertama untuk memprediksi relevansi artikel dan kalimat, dan yang kedua untuk menerapkan nilai risiko bias untuk setiap artikel menggunakan regresi logistik. Para peneliti menentukan bahwa artikel memang berhasil diperingkatkan untuk risiko bias menggunakan pendekatan ini. Sekitar sepertiga penilaian artikel yang dibantu ML hanya membutuhkan satu peninjau (berlawanan dengan dua peninjau biasa).

Yang mengatakan, manusia bukan satu-satunya entitas yang mampu bias. Model ML dan NLP juga dapat mengandung bias yang melekat, dan seluruh subbidang — dijuluki “model keadilan” — telah bermunculan untuk mengatasi masalah terkait ini.

Model pembelajaran mesin CapeStart dan deteksi bias

Tim CapeStart yang terintegrasi dan berpengalaman yang terdiri dari insinyur pembelajaran mesin, ilmuwan data, dan pakar bidang medis membantu organisasi menghasilkan SLR mutakhir dalam setengah waktu yang biasanya ditentukan — memastikan semua kerja keras itu tidak ketinggalan zaman pada saat Anda menerbitkan sistematik Anda tinjauan. Kami dapat menerapkan model ML dan NLP khusus atau yang telah dilatih sebelumnya untuk membantu menjalankan SLR kompleks dengan lebih cepat dan lebih akurat. Model neural, BERT, dan ML lainnya kami yang canggih memungkinkan organisasi penelitian meluncur melalui pegunungan data ilmiah, semi-otomatisasi proses SLR, termasuk evaluasi risiko bias.

Untuk mempelajari lebih lanjut tentang bagaimana kapabilitas pembelajaran mesin CapeStart dapat meningkatkan proses SLR di organisasi Anda, hubungi kami hari ini dan mulai uji coba gratis Anda.

Manfaat Pembelajaran Mesin dan Pemrosesan Bahasa Alami untuk Evaluasi Bias dalam Sistematis… awalnya diterbitkan di Towards AI on Medium, di mana orang-orang melanjutkan percakapan dengan menyoroti dan menanggapi cerita ini.

Diterbitkan melalui Menuju AI