Meringkas Berita dengan Pendekatan Abstraktif – Menuju AI – Teknologi, Sains, dan Teknik Terbaik

Penulis: Edward Ma

Pemrosesan Bahasa Alami

Peringkasan Abstraktif

Di NLP, ada dua pendekatan untuk melakukan peringkasan teks. Yang pertama, pendekatan ekstraktif, adalah pendekatan sederhana yang mengekstraksi kata kunci atau kalimat dari sebuah artikel. Ada beberapa batasan dan terbukti kinerjanya tidak terlalu baik. Pendekatan ini mengalami ketidakrelevanan dan redundansi. Yang kedua, pendekatan abstraktif, menghasilkan kalimat baru berdasarkan artikel tertentu. Ini membutuhkan teknik yang lebih maju tetapi mencapai hasil yang lebih baik.

Foto oleh Kelly Sikkema di Unsplash

Ini telah diterapkan terutama untuk teks. Metode abstrak membangun representasi semantik internal dari konten asli, dan kemudian menggunakan representasi ini untuk membuat ringkasan yang lebih mendekati apa yang mungkin diungkapkan oleh manusia. Abstraksi dapat mengubah konten yang diekstrak dengan memparafrasakan bagian dokumen sumber, untuk memadatkan teks lebih kuat daripada ekstraksi. Namun, transformasi seperti itu secara komputasi jauh lebih menantang daripada ekstraksi, yang melibatkan pemrosesan bahasa alami dan seringkali pemahaman mendalam tentang domain teks asli dalam kasus di mana dokumen asli berkaitan dengan bidang pengetahuan khusus.

Penggunaan Harian

Kami memiliki banyak kasus penggunaan untuk memanfaatkan ringkasan teks dalam kehidupan sehari-hari. Salah satu kegunaan yang valid adalah peringkasan berita. Berita terperinci dapat mencakup beberapa paragraf dan lebih dari 1000 kata. Dibutuhkan sekitar beberapa menit untuk membaca seluruh berita. Sulit bagi orang untuk mencerna sejumlah besar berita lokal dan internasional yang mencakup banyak topik seperti keuangan, olahraga, dll. Oleh karena itu, ringkasan berita membantu orang untuk memiliki pemahaman tingkat tinggi tentangnya dengan cepat. Daripada menghabiskan 5 menit membaca berita yang mungkin tidak relevan dengan diri kita sendiri, kita mungkin hanya 30 detik mendapatkan gambaran kasar dari ringkasan berita.

Foto oleh Obi Onyeador di Unsplash

Penggunaan lain adalah menemukan makalah penelitian yang relevan. Bagian abstrak membantu kita mendapatkan gambaran kasar tentang masalah apa yang ingin dipecahkan oleh praktisi dan apa solusinya. Jika tidak, kami mungkin perlu membaca 10 halaman untuk memutuskan apakah makalah ini relevan.

Bisakah kita meringkas berita melalui model pembelajaran mesin?

Memanfaatkan teknologi baru di NLP, merangkum berita sangat mungkin dilakukan. Kita dapat memanfaatkan arsitektur NLP yang canggih seperti sequence-to-sequence dan transformator. Selain itu, Anda memerlukan kumpulan data yang mencakup artikel berita abstrak dan terperinci. Terakhir, Anda memerlukan mesin yang kuat untuk melatih model peringkasan berita.

Cara lain adalah memanfaatkan API untuk mendapatkan berita yang dirangkum. Anda hanya perlu menyediakan konten berita dan Anda bisa mendapatkan abstraksi tanpa kode pembelajaran mesin.

Jam kerja selama pandemi

Berikut adalah ringkasan yang dihasilkan dari API saya tentang berita ini

Etalase API

di Inggris, Austria, Kanada dan Amerika Serikat telah mengalami peningkatan jam kerja sejak pandemi melanda Eropa minggu lalu. Menurut penelitian baru, karyawan yang bekerja rumahan sekarang lebih mungkin bekerja lebih banyak daripada sebelumnya.

Pertumbuhan bisnis milik orang Latin

Berikut adalah ringkasan lain yang dihasilkan dari API saya tentang berita ini

Etalase API

tantangan yang dihadapi orang Latin untuk mengamankan modal dari bank nasional, menurut sebuah studi baru. Bisnis milik orang Latin tumbuh lebih cepat daripada rata-rata nasional di beberapa industri, tumbuh 34 persen selama 10 tahun terakhir dibandingkan dengan hanya 1 persen untuk semua bisnis kecil lainnya.

Bawa pulang

Saya melatih model pembelajaran mendalam peringkasan berita dan membuat server web untuk menyediakan layanan ini. Kirimkan saya email atau pesan jika Anda ingin mencoba layanan API ini.

Ingin belajar?

Saya Ilmuwan Data di Bay Area. Berfokus pada state-of-the-art dalam Data Science, Artificial Intelligence, terutama di NLP dan platform terkait. Jangan ragu untuk terhubung dengan saya di LinkedIn atau Github.

Membaca Ekstensi

Summarizing News by Abstractive Approach awalnya diterbitkan di Towards AI on Medium, di mana orang-orang melanjutkan percakapan dengan menyoroti dan menanggapi cerita ini.

Diterbitkan melalui Towards AI