IMPLEMENTASI TEKNIK SMOTE UNTUK MENGATASI IMBALANCE CLASS DALAM KLASIFIKASI SENTIMEN MENGENAI CHATGPT
Abstract
ChatGPT is a chatbot or computer program in the form of a virtual robot that can simulate human-like conversations. ChatGPT is widely used in various fields in academia. The impact of the use of ChatGPT on academia and public perception of this technology is significant. Sentiment analysis can be used to determine the polarity of a text or opinion that is positive or negative. In this research, social media is used as a data source to collect public opinion regarding ChatGPT instantly. The methods used in this reserach are the KNN algorithm and Naive Bayes algorithm. The aim of this research is to find the best algorithm model for sentiment classification in terms of public opinion for ChatGPT which contains English text. Before testing the algorithm model, a text processing stage was carried out which included the processes of case folding, tokenizing, stopword removal, and stemming. Word weighting using TF-IDF was carried out before the data was ready to be processed. Splitting data used in this research includes 80% of the dataset as training data and 20% of the dataset as testing data. The application of the SMOTE technique to the KNN and Naive Bayes algorithms to overcome the imbalance class of the public opinion dataset regarding ChatGPT. The research results show that combining SMOTE and Naive Bayes algorithm gives the best results with an accuracy value of 85.00%, a precision value of 87.64%, a recall value of 84.78% and an f1-score of 86.18%.
Downloads
References
Chinonso, O. E., Theresa, A. M.-E., & Aduke, T. C. (2023). ChatGPT for Teaching, Learning and Research: Prospects and Challenges. Global Academic Journal of Humanities and Social Sciences, 5(02), 33–40. https://doi.org/10.36348/gajhss.2023.v05i02.001
Dempere, J., Modugu, K., Hesham, A., & Ramasamy, L. K. (2023). The impact of ChatGPT on higher education. Frontiers in Education, 8(September). https://doi.org/10.3389/feduc.2023.1206936
Fitria, T. N. (2023). Artificial intelligence (AI) technology in OpenAI ChatGPT application: A review of ChatGPT in writing English essay. ELT Forum: Journal of English Language Teaching, 12(1), 44–58. https://doi.org/10.15294/elt.v12i1.64069
Hidayatullah, H., Purwantoro, P., & Umaidah, Y. (2023). Penerapan Naïve Bayes Dengan Optimasi Information Gain Dan Smote Untuk Analisis Sentimen Pengguna Aplikasi Chatgpt. JATI (Jurnal Mahasiswa Teknik Informatika), 7(3), 1546–1553. https://doi.org/10.36040/jati.v7i3.6887
Ikhsani, R. N., & Abdulloh, F. F. (2023). Optimasi SVM dan Decision Tree Menggunakan SMOTE Untuk Mengklasifikasi Sentimen Masyarakat Mengenai Pinjaman Online. Jurnal Media Informatika Budidarma, 7, 1667–1677. https://doi.org/10.30865/mib.v7i4.6809
Indrayuni, E., Nurhadi, A., & Kristiyanti, D. A. (2021). Implementasi Algoritma Naive Bayes, Support Vector Machine, dan K-Nearest Neighbors untuk Analisa Sentimen Aplikasi Halodoc. Faktor Exacta, 14(2), 64. https://doi.org/10.30998/faktorexacta.v14i2.9697
Kurniawan, I., Hananto, A. L., Hilabi, S. S., Hananto, A., Priyatna, B., & Rahman, A. Y. (2023). Perbandingan Algoritma Naive Bayes Dan SVM Dalam Sentimen Analisis Marketplace Pada Twitter. JATISI (Jurnal Tek. Inform. Dan Sist. Informasi), 10(1), 731–740. https://doi.org/10.35957/jatisi.v10i1.3582
Legiawati, N., Hermanto, T. I., & Ramadhan, Y. R. (2022). Analisis Sentimen Opini Pengguna Twitter Terhadap Perusahaan Jasa Ekspedisi Menggunakan Algoritma Naïve Bayes Berbasis PSO. JURIKOM (Jurnal Riset Komputer), 9(4), 930. https://doi.org/10.30865/jurikom.v9i4.4629
Pajri, D., Umaidah, Y., & Padilah, T. N. (2020). K-Nearest Neighbor Berbasis Particle Swarm Optimization untuk Analisis Sentimen Terhadap Tokopedia. Jurnal Teknik Informatika Dan Sistem Informasi, 6(2), 242–253. https://doi.org/10.28932/jutisi.v6i2.2658
Pramayasa, K., Maysanjaya, I. M. D., & Indradewi, I. G. A. A. D. (2023). Analisis Sentimen Program Mbkm Pada Media Sosial Twitter Menggunakan KNN Dan SMOTE. SINTECH (Science and Information Technology) Journal, 6(2), 89–98. https://doi.org/10.31598/sintechjournal.v6i2.1372
Rasenda, R., Lubis, H., & Ridwan, R. (2020). Implementasi K-NN Dalam Analisa Sentimen Riba Pada Bunga Bank Berdasarkan Data Twitter. Jurnal Media Informatika Budidarma, 4(2), 369. https://doi.org/10.30865/mib.v4i2.2051
Sabilla, W. I., & Bella Vista, C. (2021). Implementasi SMOTE dan Under Sampling pada Imbalanced Dataset untuk Prediksi Kebangkrutan Perusahaan. Jurnal Komputer Terapan, 7(2), 329–339. https://doi.org/10.35143/jkt.v7i2.5027
Wijayanti, N. P. Y. T., Kencana, E. N., & Sumarjaya, I. W. (2021). SMOTE: Potensi dan Kekurangannya Pada Survei. Mat, E-Jurnal, 10(4), 235. https://doi.org/10.24843/mtk.2021.v10.i04.p348.
Yusuf, L., & Masripah, S. (2023). Sentimen Analisis Chatgpt Dengan Algoritma Naïve Bayes Dan Optimasi Pso. INTI Nusa Mandiri, 18(1), 59–64. https://doi.org/10.33480/inti.v18i1.4230
Zein, A. (2023). Dampak Penggunaan ChatGPT pada Dunia Pendidikan. JITU: Jurnal Informatika Utama, 1(2), 19–24. https://jurnal.astinamandiri.com/index.php/jitu/article/view/151
Copyright (c) 2024 Elly Indrayuni, Acmad Nurhadi
This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License.
Penulis yang menerbitkan jurnal ini menyetujui ketentuan berikut:
1. Penulis memegang hak cipta dan memberikan hak jurnal mengenai publikasi pertama dengan karya yang dilisensikan secara bersamaan di bawah Creative Commons Attribution 4.0 International License. yang memungkinkan orang lain untuk berbagi karya dengan pengakuan atas karya penulis dan publikasi awal pada jurnal.
2. Penulis dapat memasukkan pengaturan kontrak tambahan yang terpisah untuk distribusi non-eksklusif dari versi jurnal yang diterbitkan (misalnya, mengirimkannya ke repositori institusional atau menerbitkannya dalam sebuah buku), dengan pengakuan atas publikasi awalnya pada Jurnal.
3. Penulis diizinkan dan didorong untuk memposting karya mereka secara online (misalnya, dalam penyimpanan institusional atau di situs web mereka) sebelum dan selama proses pengiriman, karena hal itu dapat menghasilkan pertukaran yang produktif, serta kutipan dari karya yang diterbitkan sebelumnya.
