Di era digital, aplikasi mobile menjadi bagian penting dalam kehidupan sehari-hari, mulai dari hiburan, belanja online, hingga transaksi keuangan. Dengan meningkatnya jumlah pengguna aplikasi, ulasan (review) di platform seperti Google Play Store menjadi sumber informasi berharga bagi pengembang dan pelaku bisnis.
Ulasan membantu mereka memahami apa yang disukai maupun yang dikeluhkan pengguna, sehingga dapat menjadi dasar untuk peningkatan produk dan layanan. Memahami opini pelanggan dengan cepat dan akurat kini menjadi aset strategis bagi perusahaan.
Salah satu teknik yang banyak digunakan untuk memahami opini ini adalah analisis sentimen, proses mengklasifikasikan ulasan menjadi sentimen positif atau negatif. Pendekatan ini memanfaatkan berbagai algoritma, mulai dari metode klasik seperti Naive Bayes dan K-Nearest Neighbors (KNN), hingga model modern berbasis Deep Learning seperti BERT atau Large Language Models (LLM).
Pertanyaan yang muncul adalah:
Apakah model modern seperti LLM benar-benar lebih unggul dibanding model tradisional yang sederhana dan hemat biaya?
Tujuan Penelitian
Penelitian oleh Galih Setiawan Nurohim bertujuan membandingkan efektivitas dan efisiensi beberapa model machine learning untuk analisis sentimen ulasan produk berbahasa Indonesia.
Dataset yang digunakan terdiri dari 5.400 ulasan dari berbagai kategori produk di marketplace Indonesia. Model yang diuji terbagi menjadi dua kelompok:
- Model Transformer-based (LLM)
- agufsamudra/indo-sentiment-analysis
- ayameRushia/bert-base-indonesian-1.5G-sentiment-analysis-smsa
- Model Machine Learning Tradisional
- Naive Bayes
- K-Nearest Neighbors (KNN)
Evaluasi dilakukan menggunakan metrik Akurasi, Precision, Recall, dan F1-Score.
Hasil Penelitian
Temuan utama:
- Naive Bayes dan agufsamudra/indo-sentiment-analysis sama-sama menghasilkan akurasi ±95% dengan F1-Score yang hampir identik.
- Perbedaan mencolok ada pada kecepatan dan biaya komputasi
| Model | Akurasi | F1-Score | Waktu Prediksi | Catatan |
| Naive Bayes | ±95% | Hampir identik dengan LLM | 0.0018 detik | Sangat cepat dan hemat |
| LLM (agufsamudra/…) | ±95% | Hampir identik dengan Naive Bayes | ±49 detik | Akurasi tinggi, minim false positive |
| KNN | 47% | Rendah | – | Gagal menangani data dengan baik |
Analisis Perbandingan
- Naive Bayes
- Kecepatan: 27.000x lebih cepat dari LLM.
- Kelebihan: efisien, murah, cocok untuk real-time dan UMKM/startup.
- Kekurangan: sedikit lebih banyak false positive.
- LLM (agufsamudra/indo-sentiment-analysis)
- Kelebihan: minim false positive, sangat akurat dalam menangkap keluhan pelanggan.
- Kekurangan: biaya dan waktu komputasi tinggi.
- Cocok untuk: perusahaan besar di sektor berisiko tinggi seperti finansial dan kesehatan.
Kesimpulan
Penelitian ini membuktikan bahwa model sederhana seperti Naive Bayes masih mampu bersaing dengan model canggih seperti LLM dalam analisis sentimen, bahkan dengan efisiensi yang jauh lebih tinggi.
Model canggih tidak selalu menjadi pilihan terbaik; dalam banyak kasus, solusi sederhana justru memberikan ROI lebih tinggi. Namun, untuk sektor dengan prioritas mitigasi risiko, LLM tetap menjadi pilihan unggul meski mahal dan lambat.
