GPT-3 Dijelaskan kepada anak berusia 5 tahun – Menuju AI – Teknologi, Sains, dan Teknik Terbaik

Penulis: Daksh Trehan

Pemrosesan Bahasa Alami

Jika Anda belum memperhatikan keajaiban AI, Anda sama sekali tidak memperhatikan!

Web menjadi gila karena alat interaktif GPT-3. Kasus penggunaan dan kemungkinan masa depannya luar biasa. (G) enerative (P) retained (M) odel adalah versi ketiga dari prosesor bahasa natural. Anda dapat mengharapkannya untuk berperilaku seperti teman Anda Donald, berikan prompt dan itu akan melakukan seperti yang diarahkan.

Jika Anda ingin mengintip di masa mendatang, lihat bagaimana pengembang menggunakan GPT-3. Tanpa ragu, kita dapat mengatakan bahwa dunia kita penuh dengan kasus penggunaan AI. Mulai dari menyarankan Anda sesuatu ke Amazon hingga mobil tanpa pengemudi, AI membuat Anda semua tertutup. Bahkan, ada kemungkinan besar AI menyarankan artikel ini kepada Anda, atau alat AI yang menulisnya. Ya, Anda tidak salah dengar, hanya itu tentang GPT3.

GPT-3 adalah jaringan besar yang dapat melakukan tugas pemrosesan bahasa seperti manusia. Itu bisa bertindak sebagai penulis, jurnalis, penyair, penulis, peneliti, atau bot menulis. Ini juga dianggap sebagai langkah pertama menuju Artificial General Intelligence (AGI). AGI adalah kemampuan mesin untuk belajar dan melakukan tugas yang mirip dengan manusia.

Ada suatu masa ketika teknologi dianggap samar. Tapi saat kita maju, itu harus diperkenalkan dengan amass. Untuk memahami dasar-dasar cara kerja GPT-3, kita harus mempelajari dasar-dasar Pembelajaran Mesin yang menjadi bahan bakar. Pembelajaran Mesin merupakan bagian integral dari Kecerdasan Buatan. Ini memberi mesin kemampuan untuk memperbaiki diri dengan pengalaman.

Ada dua jenis algoritme Pembelajaran Mesin: Diawasi dan Tidak Diawasi.

Pembelajaran yang diawasi mencakup semua algoritme yang harus membutuhkan data berlabel. Dengan kata lain, asumsikan mesin Anda adalah anak berusia 5 tahun. Anda ingin mengajari dia sebuah buku dan kemudian mengikuti tes untuk mengetahui apakah dia telah belajar sesuatu atau tidak. Dalam pembelajaran yang diawasi, kami memberi makan mesin dengan data berlabel. Kami kemudian mengujinya untuk mengetahui apakah ia telah mempelajari sesuatu atau tidak.

Pembelajaran yang diawasi bukanlah sesuatu yang mengumpulkan kecerdasan manusia. Sebaliknya, sebagian besar waktu, kami mengumpulkan pengetahuan berdasarkan pengalaman, atau intuisi kami. Itulah yang secara kasar dapat Anda anggap sebagai pembelajaran tanpa pengawasan.

Pembelajaran yang diawasi vs Pembelajaran yang tidak diawasi, Sumber

GPT-3 menggunakan pembelajaran tanpa pengawasan. Ia mampu meta-learning yaitu belajar tanpa pelatihan apapun. Korpus pembelajaran GPT-3 terdiri dari set data crawl umum. Dataset mencakup 45TB data tekstual atau sebagian besar internet. GPT-3 adalah 175 Miliar model parameter dibandingkan dengan 10–100 Triliun parameter di otak manusia.

Jawaban untuk kehidupan, alam semesta, dan segala sesuatu diasumsikan sebagai 4,398 triliun parameter. Cara keluarga GPT berkembang yaitu kira-kira 100x kali per tahun adalah hal yang luar biasa dan menimbulkan kekhawatiran.

Sumber

Kami selalu mengharapkan model pembelajaran Mesin menghasilkan akurasi yang baik. Tetapi mengerjakan bahasa alami bukanlah sesuatu yang mampu mereka lakukan. Untuk mengatasi masalah ini, kami mengonversi teks menjadi angka menggunakan penyematan dan meneruskannya ke model kami. Model menggunakan encoder dan decoder dengan bantuan mekanisme perhatian.

Recurrent Neural Networks (RNN), adalah teknik yang memungkinkan kita mengerjakan Natural Language. Tetapi karena ukuran data tekstual yang sangat besar, kita tidak dapat mengharapkannya untuk mempelajari segalanya. Untuk memanfaatkan data kami dengan lebih baik, kami menggunakan mekanisme perhatian. Mekanisme perhatian bekerja persis seperti otak kita. Saat kita memasukkan informasi ke otak kita, itu menyaring data penting dan membuang sisanya. Mekanisme perhatian membantu menjaga skor setiap embedding. Skor tersebut memungkinkan model kami memfilter embeddings yang tidak relevan.

Alur kerja RNN

Saat kita memasukkan data tekstual kita ke model kita, itu melewati encoder dan menghasilkan vektor. Vektor yang dihasilkan selanjutnya dimasukkan ke dalam mekanisme perhatian. Alur kerja gabungan membantu menghasilkan prediksi kata berikutnya. Dengan kata sederhana, ini adalah “isi yang kosong” berdasarkan seberapa yakin Anda dengan jawaban Anda. Saat kita menguasai bahasa, kita menjadi lebih baik dalam hal itu dan begitu pula kepercayaan diri kita. Dengan lebih banyak pelatihan dan pengalaman, model kami berperforma lebih baik dalam prediksi. Akhirnya, kami memasukkan kata masukan berikutnya dengan prediksi keluaran sebelumnya ke decoder. Siklus ini terus berlanjut, membantu kami menghasilkan kalimat dan menjadi lebih baik di AGI.

Sorotan utama GPT-3 adalah korpus datanya yang besar dan pelatihannya. Pelatihan ini tidak khusus domain, namun memungkinkannya untuk menguasai tugas khusus domain apa pun. Pemrograman ulang itu mudah karena telah belajar terlalu banyak dari kumpulan data yang sekarang mulai dihafalnya. Minta untuk menulis kueri SQL, itu akan berhasil. Memintanya untuk membantu dalam penulisan olahraga, itu akan kembali melakukannya.

Sumber: Kertas GPT-3

GPT-3 bekerja lebih baik dengan pembelajaran beberapa kesempatan, yaitu ketika Anda memberikannya dengan prompt dan beberapa contoh. Seperti itulah, Anda memberikan beberapa buku kepada mahasiswa baru dan memintanya untuk menjawab pertanyaan. Terkadang dia melakukannya dan di lain waktu dia gagal. Jadi, Anda terus memberinya lebih banyak buku dan pertanyaan yang membuatnya lebih baik dalam hal itu. Terkadang dengan belajar lagi dan terkadang dengan melihat contoh serupa.

GPT-3 adalah mesin lain dan kami tidak dapat mengharapkan mesin untuk belajar dengan banyak contoh. Ketika kita belajar mengemudi, kita memilih terlalu banyak tempat untuk mengasah keterampilan kita. Kami mulai dari jalan raya dengan lalu lintas yang jauh lebih sedikit, setelah kami mendapatkan kepercayaan diri. Lalu kami pindah ke pinggiran kota dengan sedikit lebih banyak lalu lintas. Dan akhirnya, temukan jalan menuju jalan tersibuk untuk menjadi lebih baik. Jika Anda belajar mengemudi hanya di jalan raya, Anda tidak bisa mengemudi lebih baik di pinggiran kota atau jalanan. Demikian pula, jika kita menginginkan model yang lebih baik, kita perlu menyediakannya keadaan yang berbeda untuk belajar.

GPT-3 belajar dari kami dan merupakan kesempatan terbaik kami di AI. Tapi itu tidak bisa berperilaku seperti kita, lagipula anak-anak tidak perlu melihat jutaan contoh untuk mempelajari sesuatu yang baru. Ia belajar dari internet dan terkadang juga mencerna hal-hal negatifnya. GPT-3 dapat meniru bahasa alami tetapi dalam hal pemikiran alami, AI masih perlu meningkatkan permainannya. Ada garis tipis antara bahasa Alami dan pikiran Alami. GPT-3 telah menunjukkan kepada kami bahwa meningkatkan model bahasa dapat meningkatkan akurasi. Dan, untuk menghasilkan bahasa yang mirip manusia, kita tidak membutuhkan jiwa tetapi banyak data.

Dulu ketika saya masih kecil, guru kami akan memberi kami skenario dan meminta kami untuk menulis tentang itu. Sebagai seorang anak saya menghabiskan waktu berjam-jam membayangkan plot palsu dan memberikannya kepada guru kami, dia akan mengembalikan saya dengan nilai rendah.

Selama bertahun-tahun, saya terus melakukan ini dan tidak pernah dapat menemukan alasan yang sama. Kemudian suatu hari saya menyadari bahwa saya melakukan semuanya dengan salah. Saya terlalu sibuk berfokus pada skenario imajinatif, tetapi yang dibutuhkan untuk mendapatkan nilai bagus hanyalah “tata bahasa”. Rupanya, dia mengajari kami bagaimana “menulis” dan bukan bagaimana berpikir “kreatif”. Dalam pembelaan saya, mungkin imajinasi saya adalah kekuatan saya tetapi tata bahasa saya tidak.

Itulah tepatnya yang dilakukan GPT-3, berharap itu menjadi bot penulisan. Sebagian besar keluarannya berasal dari tulisan orang-orang sebelumnya. Dan yang dipedulikannya hanyalah menghasilkan sesuatu yang tampak seperti buatan manusia. Ini berfokus pada “gaya” daripada “kreativitas atau pemahaman”. Tata bahasa adalah bahasa pemrogramannya, jelas dan Anda mendapatkan akurasi yang bagus.

Tanpa penyangkalan, itu bagus dalam prediksi. Tapi itu tidak dirancang untuk menyimpan fakta atau mengambilnya kembali seperti otak manusia. Ini lebih merupakan algoritma pencocokan pola kata kunci lebih seperti SEO.

Ini adalah mesin asap bahasa karena tidak ada eksposur ke dunia praktis yang tidak memiliki sifat manusia. Bahkan setelah mengetahui segalanya tentang umat manusia. Ini adalah algoritme dan tidak adil mengharapkannya untuk mengeluarkan alasan apa pun. Itu kekurangan IQ yang membedakan manusia dari mesin dan saya berharap itu tetap benar setidaknya untuk sementara waktu.

Referensi:

https://medium.datadriveninvestor.com/gpt-3-ai-overruling-started-15fd603470f2
https://pub.towardsai.net/ai-copy-assistant-powered-by-gpt-3-d5b175a025e1
https://theconversation.com/gpt-3-new-ai-can-write-like-a-human-but-dont-mistake-that-for-thinking-neuroscientist-146082
https://pub.towardsai.net/email-assistant-powered-by-gpt-3-ba39dfe999d3
https://dev.to/ben/explain-gpt-3-like-im-five-477b
https://in.springboard.com/blog/openai-gpt-3/
https://arxiv.org/pdf/2005.14165.pdf

Jangan ragu untuk terhubung:

Portofolio ~ https://www.dakshtrehan.com

LinkedIn ~ https://www.linkedin.com/in/dakshtrehan

Ikuti untuk blog Machine Learning / Deep Learning lebih lanjut.

Sedang ~ https://medium.com/@dakshtrehan

Ingin mempelajari lebih lanjut?

Apakah Anda Siap Menyembah Dewa AI?
Mendeteksi COVID-19 Menggunakan Deep Learning
Algoritma AI yang Tak Terelakkan: TikTok
GPT-3: Pembatalan AI dimulai?
Tinder + AI: Jodoh yang sempurna?
Panduan orang dalam untuk Kartunisasi menggunakan Machine Learning
Memperkuat Ilmu Dibalik Pembelajaran Penguatan
Ilmu decoding di balik Generative Adversarial Networks
Memahami LSTM dan GRU
Jaringan Neural Berulang untuk Dummies
Convolution Neural Network for Dummies

Bersulang

GPT-3 Dijelaskan kepada anak berusia 5 tahun awalnya diterbitkan di Towards AI on Medium, di mana orang-orang melanjutkan percakapan dengan menyoroti dan menanggapi cerita ini.

Diterbitkan melalui Towards AI