Pengujian Data Menggunakan Confusion Matrix
MATERI 4. CONFUSION MATRIX
Dari materi sebelumnya kita telah membahas tentang supervised learning dan machine learning. Dimana proses-proses yang dilakukan data mining juga dibutuhkan tingkat performansi dari suatu model yang telah dihasilkan.
Klasifikasi juga merupakan metode supervised learning yang mana memiliki ground truh label yang dapat dijadikan sebagai acuan dalam mengukur performansi sebuah model. Untuk klasifikasi du akelas/ label, ukuran atau metode yang popular dugunakan adalah dengan menggunakan confusion matrix yang diliutrasikan pada tabel dibawah ini.
Dari tabel tersebut, ada empat macam kejadian yang bisa dijelaskan sebagai berikut ;
TP (True Positive) = Jumlah data aktual yang sebenarnya True diprediksi True
TN (True Negative) = Jumlah data aktual yang sebenarnya False diprediksi False
FP (False Positive) = Jumlah data aktual yang sebenarnya True diprediksi False
FN (False Negative) = Jumlah data aktual yang sebenarnya Fasle diprediksi True
Dan dari empat macam kejadian tersebut, nantinya akan digunakan sebagai acuan untuk metrik evaluasi sebagai berikut ;
- Akurasi/accuracy
- TP+TN / Jumlah Set Data
- Error Rate
- (FP + FN) / Jumlah Set Data
- Precission
- TP / (TP + FP)
- Recall
- TP / (TP + FN)
- Spesifisitas
- TN / (TN + FP)
- F-Measure
- 2*Precission*Recall / Precission + Recall
- GMEAN
- akar(recall * spesifisitas)
Setelah kita bisa memahami penjelasn diatas, selanjutnya kita akan mencoba menghitung nilai performansi sebagai berikut ;
Baca juga : Tentang Tugas – Tugas Data Mining
Hasil dari evaluasi metrik dari penjabaran tabel diatas dapat kita ukur nilai performansinya sebagai berikut ;
Accuracy =(23+17) / (23+0+17+2) = 0,95 = 95 %
Error Rate =(17+2) / (23+0+17+2) = 0,05 = 5 %
Precision =23 / (23+2) = 0,92 = 92 %
Recall =23 / (23+0) = 1 = 100 %
Spesifisitas =17 / (17+2) = 0.8947 = 89.47 %
Confusion Matrix diatas hanya bisa dihitung dengan menggunakan data set yang memiliki dua kelas.
Dengan menggunakan confusion matrix, maka kita dapat mengukur suatu kinerja dari algoritma yang sudah dipilih. Sebagai catatan, metode evaluasi ini hanya bisa dilakukan oleh algoritma-algoritma yang termasuk dalam pembelajaran supervised learning. Contoh algoritmanya adalah seperti Naive Bayes, Decision Tree, k-NN, Artificial Neural Network, Logistic Regression, Support Vector Machine (yang termasuk golongan Suppor Vector Regression) dan Linear Regression.
Selain itu dengan 7 metode evaluasi seperti yang tertulis diatas, Yang paling populer dan sering digunakan untuk pengukuran nilai performansi dari kinerja algoritma adalah Accuracy, Precission, dan Recall. Hal itu bukan semata-mata menurut pendapat saya pribadi, karena dalam beberapa jurnal atau paper yang saya baca adalah hanya menggunakan ketiga metode evaluasi tersebut.
Untuk kasus multi kelas, confusion matrix dapat dibuat denga cara membandingkan satu-lawan-semua (one-vs-rest) untuk masing-masing kelasnya. Akan tetapi, secara umum yang digunakan sebagai ukuran performansi model klasifikasi atau supervised learning adalah langsung dengan nilai akurasi dan error ratenya saja.
Untuk cara perhitungan confusion matrix pada kasus multi kelas atau lebih dari dua kelas, kalian juga bisa.
Sumber Referensi :
Ulhaq, Z. and T. B. Adji. “Integrasi Synthetic Minority Over-Sampling Technique (SMOTE) dengan Correlated Naïve Bayes Classifier (C-NBC).” (2017).
Satu Kata " Jangan Lupa Bernafas dan Tetap Bersyukur "
See You