Analisis Sentimen IFEST 2021: E-Wallet dan Kebijakan PPKM

Karya tim pemenang kompetisi analisis data nasional: CNN-LSTM untuk ulasan e-wallet di babak seleksi, lalu IndoBERTweet untuk tweet kebijakan PPKM di babak final.

1st place
IFEST 2021 Data Analysis Competition, babak final
84.8%
Akurasi validasi IndoBERTweet di final
9,810
Tweet PPKM berlabel dalam tiga kelas

Peran: Anggota tim berempat
Periode: Agu 2021 hingga Okt 2021
Jenis proyek: Pilihan
Ruang di HQ 3D: L3:ifest-2021-sentiment-analysis

Hasil

1st place
IFEST 2021 Data Analysis Competition, babak final
Diselenggarakan oleh Universitas Padjadjaran; juri menyatakan akurasi uji tim sebesar 0,79 sebagai yang tertinggi dari semua tim (README repositori).
84.8%
Akurasi validasi IndoBERTweet di final
Pada 1.962 tweet validasi setelah tiga epoch (output notebook fine-tuning).
9,810
Tweet PPKM berlabel dalam tiga kelas
Data latih kompetisi setelah dibersihkan (file training tidak seimbang di repository).
82.8%
Akurasi validasi CNN-LSTM di babak seleksi
Pada 1.108 teks validasi, F1 0,83 (log training di notebook CNN-LSTM).

Masalah

IFEST 2021 Data Analysis Competition meminta tim mengolah opini publik Indonesia menjadi insight: pertama ulasan app store empat e-wallet, lalu dalam final lima jam, model sentimen untuk tweet tentang kebijakan PPKM COVID-19 pemerintah, yang dinilai dengan data uji tersembunyi.

Kontribusi

Di babak seleksi, tim mengumpulkan ulasan Google Play empat e-wallet, mengelompokkannya ke topik dengan aturan kata kunci, dan melatih model sentimen CNN-LSTM dengan data berlabel publik ditambah 201 ulasan yang dilabeli manual.
Tim menyajikan hasilnya di aplikasi Streamlit dengan grafik Plotly, lalu menuliskannya sebagai paper konferensi IEEE.
Di final, tim membandingkan tujuh varian pembersihan data pada data seimbang dan tidak seimbang dengan IndoBERTweet, IndoBERT, LSTM, BiLSTM, SVM, dan Naive Bayes, lalu mengirim prediksi IndoBERTweet.