The Euclidean Distance Classifier

Oleh: Muryan Awaludin 

A. The Euclidean Distance Classifier

Di bidang computer vision, perhitungan jarak yang paling sering digunakan adalah Euclidean Distance, yang mengkonversi gambar menjadi vektor kedalam gray levels pada setiap pikselnya kemudian dikompresi intensitasnya piksel dengan piksel (Li & Lu, 2009).

Teknik Clustering dan klasifikasi, merupakan teknik yang banyak digunakan dalam menganalisa high-throughput data (Nasibov & Kandemir-Cavas, 2009).

 Bayesian classifier dikatakan optimal secara signifikan disederhanakan berdasarkan asumsi berikut (Sergios Theodoridis, 2009): 

• Kelas yang equiprobable
• Data disemua kelas mengikuti Gaussian distributions
• Kovarians matrik disemua kelas sama
• Kovarians matrik merupakan diagonal dan seluruh elemen diagonal sama. Bahwa S = σ ² I, dimana I adalah matriks identitas.

Berdasarkan asumsi ini, ternyata bahwa optimal Bayesian classifier ekivalen dengan minimum Euclidean distance classifier. Hal ini menunjukan bahwa x tidak diketahui, menentukan pada kelas ωi   jika

Hal ini dikatakan bahwa Euclidean classifier sering digunakan, bahkan jika sebelumnya sudah diketahui asumsi tersebut ternyata tidak valid, karena kesederhanaannya. Hal itu memberikan sebuah pola untuk kelas yang rata-ratanya paling mendekati berkaitan dengan Euclidean norm.

B. The Mahalanobis Distance Classifier

Jika salah satu asumsunya dibutuhkan oleh Euclidean classifier dan menghapus yang terakhir, salah satunya yang membutuhkan kovarian matrik menjadi diagonal dan dengan elemen yang sama, Bayesian classifier yang optimal menjadi ekivalen pada Mahalanobis distance classifier yang minimal. Artinya, diberikan x yang belum diketahui untuk digunakan pada kelas ωi   jika

Dimana S adalah kovarian matrik yang sama. Dengan adanya matriks kovarians memberikan bentuk Gaussians (Theo, 2009)

Contoh:

Ada 2 kelas klasifikasi dalam ruang 3 dimensi, dimana dua kelas ω1 dan ω1, dimodelkan dengan Gaussian distributions dengan cara masing-masing m1 = [0,0,0]^T dan m2 = [0.5, 0.5, 0.5]^T . Asumsikan dua kelas menjadi equiprobable. Kovarian matrik dari kedua distribusi tersebut adalah 

diketahui  sudut x = [0.1,0.5,0.1]^T
Klasifikasikanlah x, kedalam
(1) Euclidean distance classifier dan
(2) Mahalanobis distance classifier

Penyelesaian:

Langkah pertama --> gunakan fungsi "euclidean_classifier" dengan mengetikan:

x=[0.1 0.5 0.1]';
m1=[0 0 0]';
m2=[0.5 0.5 0.5]';
m=[m1 m2];
z=euclidean_classifier(m,x)

Jawabannya adalah z=1, adalah sudut yang diklasifikasikan untuk kelas ω1.

Langkah kedua --> gunakan fungsi "mahalanobis_classifier" dengan mengetikan:

x=[0.1 0.5 0.1]';
m1=[0 0 0]';
m2=[0.5 0.5 0.5]';
m=[m1 m2];
S=[0.8 0.01 0.01;0.01 0.2 0.01; 0.01 0.01 0.2];
z=mahalanobis_classifier(m,S,x);

Pada waktu yang sama jawabanya adalah z=2, yang artiya sudut yang diklasifikasikan untuk kelas ω2.
Untuk kasus ini Bayesian classifier yang baik adalah menggunakan Mahalanobis distance classifier. Sudut yang ditetapkan untuk kelas ω2 terlepas dari faktor yang terletak lebih dekat dari m1 menurut Euclidean norm.

 

Referensi:

Li,J., & Lu, B.-L. (2009). An adaptive image Euclidean distance. Pattern Recognition, 42(3), 349–357. 
Nasibov,E., & Kandemir-Cavas, C. (2009). Efficiency analysis of KNN and minimum distance-based classifiers in enzyme family prediction. Computational Biology and Chemistry, 33(6), 461–464.
Sergios Theodoridis (2009), Introduction to pattern recognition: a MATLAB approach,cademic Press