Analisis Pengaruh Label Smoothing terhadap Ketahanan Model CNN–BiLSTM pada Klasifikasi Sentimen Ulasan Aplikasi Berbahasa Indonesia

Abstract

Abstrak.

Tujuan : Penelitian ini bertujuan menganalisis pengaruh label smoothing terhadap ketahanan model CNN–BiLSTM dalam klasifikasi sentimen ulasan aplikasi berbahasa Indonesia pada berbagai tingkat korupsi label (label noise).

Metode/Design/Pendekatan: Penelitian menggunakan pendekatan eksperimen kuantitatif dengan 2.428 ulasan dari aplikasi MyTelkomsel, DANA, dan Shopee. Label sentimen ditentukan berdasarkan rating pengguna, dengan pembagian data training, validasi, dan test sebesar 70:15:15. Eksperimen melibatkan empat tingkat label noise (0%, 10%, 20%, dan 30%) serta empat nilai label smoothing (0,00; 0,05; 0,10; dan 0,20), sehingga menghasilkan 16 konfigurasi. Evaluasi dilakukan menggunakan accuracy, Macro-F1, Matthews Correlation Coefficient (MCC), dan kurva pembelajaran.

Hasil/Temuan: Nilai label smoothing 0,10 menghasilkan Macro-F1 sebesar 0,5831 dan MCC sebesar 0,7253 pada noise 0%, serta Macro-F1 sebesar 0,5493 dan MCC sebesar 0,6311 pada noise 20%. Namun, pada noise 10% dan 30%, konfigurasi tanpa smoothing menghasilkan Macro-F1 lebih tinggi. Kurva pembelajaran menunjukkan indikasi overfitting, dengan validation loss terendah pada epoch kedua pada konfigurasi yang dianalisis.

Kebaharuan/Originalitas/Nilai: Penelitian ini menyajikan analisis komparatif pengaruh label smoothing pada berbagai tingkat korupsi label dalam klasifikasi sentimen ulasan aplikasi berbahasa Indonesia. Hasil menunjukkan bahwa manfaat label smoothing bergantung pada tingkat label noise dan belum konsisten pada seluruh skenario yang diuji.