LDA vs. PCA – Menuju AI – Teknologi, Sains, dan Teknik Terbaik

Penulis: Pranavi Duvva

Foto oleh Robert Katzki di Unsplash

Ilmu Data

Tinjauan yang tepat tentang seberapa mirip atau tidak kesamaan teknik pengurangan dimensi Analisis Diskriminan Linier dari Analisis Komponen Utama

Ini adalah bagian kedua dari artikel saya sebelumnya yaitu Kekuatan Vektor Eigen dan Nilai Eigen dalam teknik reduksi dimensionalitas seperti PCA.

Pada artikel ini, saya akan memulai dengan penjelasan singkat tentang perbedaan antara LDA dan PCA. Mari selami lebih dalam cara kerja analisis diskriminan Linear dan mengungkap misteri, Bagaimana cara mencapai klasifikasi data bersama dengan pengurangan dimensionalitas.

pengantar

LDA vs. PCA

Analisis diskriminan linier sangat mirip dengan PCA, keduanya mencari kombinasi linier dari fitur-fitur yang paling menjelaskan data.

Perbedaan utamanya adalah bahwa analisis diskriminan linier adalah teknik reduksi dimensi terbimbing yang juga mencapai klasifikasi data secara bersamaan.

LDA berfokus pada menemukan subruang fitur yang memaksimalkan pemisahan antara grup.

Sementara analisis komponen utama adalah teknik pengurangan Dimensi tanpa pengawasan, ia mengabaikan label kelas.

PCA berfokus pada menangkap arah variasi maksimum dalam kumpulan data.

LDA dan PCA keduanya membentuk satu set komponen baru.

PC1 komponen utama pertama yang dibentuk oleh PCA akan menjelaskan variasi maksimum dalam data. PC2 melakukan pekerjaan terbaik kedua dalam menangkap variasi maksimum dan seterusnya.

LD1 sumbu baru pertama yang dibuat oleh Analisis Diskriminan Linier akan memperhitungkan sebagian besar variasi antara kelompok atau kategori dan kemudian LD2 dan seterusnya.

Catatan: Dalam, LDA Variabel dependen target dapat memiliki label biner atau multikelas.

Cara Kerja Analisis Diskriminan Linier

Mari kita pahami cara kerja Analisis Diskriminan Linier dengan bantuan sebuah contoh.

Bayangkan Anda memiliki kumpulan data pinjaman kartu kredit dengan label target yang terdiri dari dua kelas yang mangkir dan non-mangkir.

Kelas ‘1’ adalah yang mangkir dan kelas ‘0’ adalah non-mangkir.

Memahami grafik dasar 1-D dan 2-D sebelum melanjutkan ke proyeksi LDA

Bila Anda hanya memiliki satu atribut, katakanlah skor kredit, grafiknya adalah grafik 1-D yang merupakan garis bilangan.

Sumber: Gambar oleh Penulis

Dengan hanya satu atribut, meskipun kami dapat memisahkan kategori poin tertentu telah bertumpuk karena tidak ada titik potong tertentu. Pada kenyataannya, mungkin ada banyak titik data yang tumpang tindih jika ada banyak pengamatan dalam kumpulan data.

Mari kita lihat apa yang terjadi jika kita memiliki dua atribut, apakah kita dapat mengklasifikasikan dengan lebih baik?

Mempertimbangkan atribut pendapatan tahunan lainnya bersama dengan skor kredit.

Sumber: Gambar oleh penulis

Menambahkan fitur lain, kami dapat mengurangi tumpang tindih dari kasus sebelumnya dengan satu atribut. Namun saat kami mengerjakan kumpulan data besar dengan banyak fitur dan pengamatan, masih banyak titik tumpang tindih yang tersisa.

Sesuatu yang menarik, kami perhatikan adalah menambahkan fitur yang kami dapat mengurangi jumlah titik yang tumpang tindih dan membedakan dengan lebih baik. Tapi ini menjadi sangat sulit untuk divisualisasikan ketika kita memiliki dataset berdimensi tinggi.

Di sinilah implementasi LDA memainkan peran penting.

Bagaimana LDA memproyeksikan data?

Analisis Diskriminan Linear memproyeksikan titik data ke sumbu baru sehingga komponen baru ini memaksimalkan keterpisahan di antara kategori sambil menjaga variasi dalam setiap kategori pada nilai minimum.

Mari kita sekarang memahami secara detail bagaimana LDA memproyeksikan titik data.

Sumber: Gambar oleh penulis

1. LDA menggunakan informasi dari atribut dan memproyeksikan data ke sumbu baru.

2. Ini memproyeksikan poin data sedemikian rupa sehingga memenuhi kriteria pemisahan maksimum antara kelompok dan variasi minimum dalam kelompok secara bersamaan.

Langkah 1:

Poin yang diproyeksikan dan sumbu baru

Sumber: Gambar oleh Penulis

Langkah 2

Kriteria LDA berlaku untuk poin yang diproyeksikan adalah sebagai berikut.

1. Ini memaksimalkan jarak antara sarana setiap kategori.

2. Meminimalkan variasi atau penyebaran dalam setiap kategori yang diwakili oleh s²

Sumber: Gambar oleh PenulisSumber: Gambar oleh Penulis

Misalkan mean dari kategori 1 yang gagal menjadi mean 1 dan mean 2 menjadi mean dari kategori non-defaulter.

Demikian pula,

S1² menjadi pencar dari kategori pertama dan

S2² menjadi pencar dari kategori kedua.

Sekarang menghitung rumus.

(mean1-mean2) ² / (S1² + S2²)

Catatan: Pembilang dikuadratkan untuk menghindari nilai negatif.

Misalkan mean1-mean2 diwakili oleh d.

Rumusnya sekarang adalah.

d² / (S1² + S2²)

Catatan: Idealnya, semakin besar, semakin besar pembilangnya, pemisahan antar kelompok. Sedangkan penyebut yang lebih kecil kurangi varians dalam kelompok.

Bagaimana cara kerja LDA jika ada lebih dari dua kategori?

Sumber: Gambar oleh Penulis

Jika ada lebih dari dua kategori, LDA menghitung titik pusat semua kategori dan jarak antara titik pusat setiap kategori ke titik tersebut.

Kemudian memproyeksikan data ke sumbu baru sedemikian rupa sehingga ada pemisahan maksimum antara kelompok dan variasi minimum dalam kelompok.

Rumusnya sekarang adalah.

(d1² + d2² + d3²) / (s1² + S2² + S3²)

dan sekarang bagian yang membuat penasaran…

Bagaimana LDA membuat prediksi?

Analisis Diskriminan Linier menggunakan teorema Baye untuk memperkirakan probabilitas.

Ini pertama kali menghitung probabilitas sebelumnya dari kumpulan data yang diberikan. Dengan bantuan probabilitas sebelumnya, ini menghitung probabilitas posterior menggunakan teorema Baye.

Dari Teorema Bayes kita tahu itu.

P (A | B) = P (B | A) * P (A) / P (B)

dimana A, B adalah kejadian dan P (B) tidak sama dengan nol

Asumsikan kita memiliki tiga kelas kelas 0, kelas 1, kelas 2 dalam kumpulan data.

Langkah 1

LDA menghitung probabilitas sebelumnya dari masing-masing kelas P (y = 0), P (y = 1), P (y = 2) dari kumpulan data.

Selanjutnya, ini menghitung probabilitas bersyarat dari pengamatan.

Langkah 2

mari kita perhatikan pengamatan x.

P (x | y = 0), P (x | y = 1), P (x | y = 2) mewakili fungsi kemungkinan.

langkah 3

LDA sekarang menghitung probabilitas Posterior untuk membuat prediksi.

P (y = 0 | x) = P (x | y = 0) * P (y = 0) / P (x)

P (y = 1 | x) = P (x | y = 1) * P (y = 1) / P (x)

P (y = 2 | x) = P (x | y = 2) * P (y = 2) / P (x)

Persamaan umum untuk satu set kelas ‘c’

Misalkan y1, y2, .., yc adalah himpunan kelas ‘c’ dan pertimbangkan i = 1,2, .., c.

P (x | yi) akan mewakili fungsi kemungkinan atau probabilitas bersyarat.

P (yi) akan menjadi probabilitas prior dari setiap kelas dalam kumpulan data. Yang tidak lain adalah rasio jumlah observasi di kelas tertentu dengan total jumlah observasi di semua kelas.

Probabilitas posterior adalah Kemungkinan * Sebelum / Bukti.

P (y = yi | x) = P (x | y = yi) * P (yi) / P (x)

Asumsi Analisis Diskriminan Linier

Ada beberapa asumsi yang dibuat oleh Analisis Diskriminan Linear pada kumpulan data tersebut.

Asumsi 1

LDA mengasumsikan bahwa variabel independen terdistribusi normal untuk setiap kategori.

Asumsi 2

Homoscedascity

Plot dengan data yang menunjukkan Homogenitas varian yaitu untuk setiap nilai x nilai y memiliki varian yang sama. Sumber: Creative Commons oleh Wikimedia

LDA mengasumsikan variabel independen memiliki varian dan kovarian yang sama di semua kategori. Ini dapat diuji dengan statistik M Box.

Dengan kata sederhana, Asumsi menyatakan bahwa varians di semua variabel untuk kategori dalam kumpulan data mengatakan ketika y = 0, y = 1 harus sama, dan juga kovarian antara variabel harus sama.

Asumsi ini membantu Analisis Diskriminan Linier untuk membuat batas keputusan linier antara kategori.

Asumsi 3

Multikolinieritas

Kinerja prediksi dapat menurun dengan meningkatnya korelasi antar variabel bebas.

Catatan: Studi menunjukkan bahwa LDA kuat untuk pelanggaran ringan atas asumsi ini.

Apa yang terjadi jika asumsi kedua gagal?

Sumber: Gambar oleh Penulis

Ketika asumsi ini gagal, ada variasi yang sangat besar antara kelas-kelas dalam kumpulan data dan varian lain dari analisis Diskriminan digunakan yaitu Analisis Diskriminan Kuadratik (QDA).

Dalam Analisis Diskriminan Kuadrat, Fungsi matematika yang memisahkan kategori sekarang akan menjadi kuadrat dan tidak linier untuk mencapai klasifikasi.

Penerapan LDA

LDA paling banyak digunakan dalam tugas pengenalan pola. Misalnya, menganalisis pola perilaku pelanggan berdasarkan atribut. Pengenalan gambar, LDA dapat membedakan antar kategori. Misalnya Wajah dan bukan wajah, objek dan bukan objek. Di bidang medis, Untuk mengklasifikasikan pasien ke dalam kelompok yang berbeda berdasarkan gejala penyakit tertentu.

Kesimpulan

Artikel ini telah menjelaskan perbedaan antara dua teknik reduksi dimensi yang umum digunakan Analisis Komponen Utama dan Analisis Diskriminan Linier. Ini kemudian membahas prinsip kerja analisis Diskriminan Linear dan bagaimana ia mencapai klasifikasi bersama dengan pengurangan dimensi.

Semoga Anda menikmati membaca artikel ini!

Silakan periksa artikel saya yang lain tentang pranaviduvva di medium.

Terima kasih sudah membaca!

Referensi

https://scikit-learn.org/stable/modules/lda_qda.html https://en.wikipedia.org/wiki/Bayes%27_theorem https://en.wikipedia.org/wiki/Linear_discriminant_analysis Statquest video di LDA.

LDA vs. PCA awalnya diterbitkan di Towards AI on Medium, di mana orang-orang melanjutkan percakapan dengan menyoroti dan menanggapi cerita ini.

Diterbitkan melalui Towards AI