Pengklasifikasian Tiket Komplain Pelanggan Secara Otomatis dengan Machine Learning

• RINI NOVI AMBARWATI
• 14207079

---

ABSTRAK

ABSTRAK

Nama               : Rini Novi Ambarwati

NIM                  : 14207079

Program Studi : Ilmu Komputer

Jenjang           : Strata Dua (S2)

Konsentrasi     : Data Mining

Judul            : "Pengklasifikasian Tiket Komplain Pelanggan Secara Otomatis dengan Machine Learning”

Persaingan untuk meraih pelanggan merupakan salah satu tantangan yang harus dihadapi oleh setiap perusahaan teknologi saat ini. Berbagai cara diterapkan sebagai upaya untuk meningkatkan daya saing, salah satunya melalui media elektronik yang nantinya pelanggan bisa melakukan keluhan setiap produk yang telah mereka beli bermasalah dan menjadi prioritas utama dalam bisnis karena perusahaan mengidentifikasi area penting di mana produk-produk atau layanan dapat ditingkatkan. Tujuan dari penelitian ini akan melakukan prediksi modeling data tiketing keluhan pelanggan dalam pembelian suatu produk dengan model klasifikasi Machine Learning. Dataset di dapatkan melalui kaggle yaitu di dalamnya terdapat berbagai macam komplainan produk-produk elektronik sampai teknologi. Dalam memprediksi model manakah yang lebih baik terkait data tiket keluhan pelanggan yang diterima oleh perusahaan, penelitian ini dilakukan uji coba analisis dan prediksi dari enam model klasifikasi yaitu model SVM, Random Forest, XGBoost, Naïve Bayes, Decision Tree, dan Logistic Regression dengan hyper-parameter tuning. Skor akurasi, presisi, recall, dan f- measure masing-masing mendapatkan 0.96, 0.95, 0.96, 0.86, 0.94 dan 0.97.

KATA KUNCI

Klasifikasi Keluhan Pelanggan,Tiketing,Hyper-parameter Tuning,machine learning

---

DAFTAR PUSTAKA

DAFTAR PUSTAKA

[1] . N., A. Ibrahim, and A. Ambarita, “Sistem Informasi Pengaduan Pelanggan Air Berbasis Website Pada Pdam Kota Ternate,” IJIS - Indones. J. Inf. Syst., vol. 3, no. 1, p. 10, 2018, doi: 10.36549/ijis.v3i1.37.

[2] Ardiyansyah, P. A. Rahayuningsih, and R. Maulana, “Analisis Perbandingan Algoritma Klasifikasi Data Mining Untuk Dataset Blogger Dengan Rapid Miner,” J. Khatulistiwa Inform., vol. VI, no. 1, pp. 20–28, 2018.

[3] C. Algoritma, A. Carolina, K. Ade, and K. Kunci, “Penerapan Data Mining Dengan Menggunakan Algoritma C4.5 Pada Klasifikasi Fasilitas Kesehatan Provinsi Di Indonesia,” J. Ilm. Komputasi, vol. 19, no. 1, pp. 27–38, 2020, doi: 10.32409/jikstik.19.1.153.

[4] A. Deolika, K. Kusrini, and E. T. Luthfi, “Analisis Pembobotan Kata Pada Klasifikasi Text Mining,” J. Teknol. Inf., vol. 3, no. 2, p. 179, 2019, doi: 10.36294/jurti.v3i2.1077.

[5] A. Ahmad and W. Gata, “Sentimen Analisis Masyarakat Indonesia di Twitter Terkait Metaverse dengan Algoritma Support Vector Machine,” J. JTIK (Jurnal Teknol. Inf. dan Komunikasi), vol. 6, no. 4, pp. 548–555, 2022, doi: 10.35870/jtik.v6i4.569.

[6] F. F. Irfani, “Analisis Sentimen Review Aplikasi Ruangguru Menggunakan Algoritma Support Vector Machine,” JBMI (Jurnal Bisnis, Manajemen, dan Inform., vol. 16, no. 3, pp. 258–266, 2020, doi: 10.26487/jbmi.v16i3.8607.

[7] G. Abdurrahman, H. Oktavianto, and M. Sintawati, “Optimasi Algoritma XGBoost Classifier Menggunakan Hyperparameter Gridesearch dan Random Search Pada Klasifikasi Penyakit Diabetes,” INFORMAL Informatics J., vol. 7, no. 3, p. 193, 2022, doi: 10.19184/isj.v7i3.35441.

[8] 2012 Bustami, D. I. Teknik, and N. Bayes, “‘Penerapan Algoritma Naive Bayes Untuk Mengklasifikasi Data Nasabah,’” J. Penelit. Tek. Inform. Univ. Malikussaleh, vol. 146, no. Klasifikasi, pp. 128–146, 2018.

[9] Y. Partogi and A. Pasaribu, “Perancangan Metode Decision Tree Terhadap Sistem Perpustakaan STMIK Kuwera,” J. Sist. Inf. dan Teknol., vol. 1, no. 2, pp. 20–25, 2022, doi: 10.56995/sintek.v1i2.4.

[10] H. Rianto and R. S. Wahono, “Resampling Logistic Regression untuk Penanganan Ketidakseimbangan Class pada Prediksi Cacat Software,” J. Softw. Eng., vol. 1, no. 1, pp. 46–53, 2015. [11] R. Febryansyah, S. I. Akutansi, S. Informasi, R. Isnain, S. Perez, and S. Puspaningrum, “Klasifikasi persetujuan permohonan pinjaman pada koperasi simpan pinjam menggunakan algoritma logistic regression,” vol. 2, no. 12, pp. 1–12, 2022. 47 Program Studi Ilmu Komputer (S2) Universitas Nusa Mandiri

[12] P. Sokkhey and T. Okazaki, “Hybrid machine learning algorithms for predicting academic performance,” Int. J. Adv. Comput. Sci. Appl., vol. 11, no. 1, pp. 32–41, 2020, doi: 10.14569/ijacsa.2020.0110104.

[13] G. Alarifi, F. Rahman, and S. Hossain, “Prediction and Analysis of Customer Complaints Using Machine Learning Techniques,” Int. J. E-bus. Res., vol. 19, no. 1, 2023, doi: 10.4018/IJEBR.319716.

[14] H. Ariesta and M. A. Kartawidjaja, “Feature Selection pada Azure Machine Learning untuk Prediksi Calon Mahasiswa Berprestasi,” TESLA J. Tek. Elektro, vol. 20, no. 2, p. 166, 2019, doi: 10.24912/tesla.v20i2.2993.

[15] A. Zangari, M. Marcuzzo, M. Schiavinato, A. Gasparetto, and A. Albarelli, “Ticket automation: An insight into current research with applications to multi-level classification scenarios,” Expert Syst. Appl., vol. 225, no. April, 2023, doi: 10.1016/j.eswa.2023.119984.

[16] F. Al-Hawari and H. Barham, “A machine learning based help desk system for IT service management,” J. King Saud Univ. - Comput. Inf. Sci., vol. 33, no. 6, pp. 702–718, 2021, doi: 10.1016/j.jksuci.2019.04.001.

[17] A. Revina, K. Buza, and V. G. Meister, “IT Ticket Classification: The Simpler, the Better,” IEEE Access, vol. 8, pp. 193380–193395, 2020, doi: 10.1109/ACCESS.2020.3032840.

[18] M. Marcuzzo, A. Zangari, M. Schiavinato, L. Giudice, A. Gasparetto, and A. Albarelli, “A multi-level approach for hierarchical Ticket Classification,” Proc. Eighth Work. Noisy User-generated Text (W-NUT 2022), pp. 201–214, 2022.

[19] I. Rasheed, V. Gupta, H. Banka, and C. Kumar, “Urdu text classification: A comparative study using machine learning techniques,” 2018 13th Int. Conf. Digit. Inf. Manag. ICDIM 2018, no. March, pp. 274–278, 2018, doi: 10.1109/ICDIM.2018.8847044.

[20] D. F. Oliveira, A. S. Nogueira, and M. A. Brito, “Performance Comparison of Machine Learning Algorithms in Classifying Information Technologies Incident Tickets,” Ai, vol. 3, no. 3, pp. 601–622, 2022, doi: 10.3390/ai3030035.

[21] S. Fuchs, C. Drieschner, and H. Wittges, “Improving Support Ticket Systems Using Machine Learning: A Literature Review,” Proc. Annu. Hawaii Int. Conf. Syst. Sci., vol. 2022-Janua, no. January, pp. 1893–1902, 2022, doi: 10.24251/hicss.2022.238.

[22] Y. Wahba, N. H. Madhavji, and J. Steinbacher, “Evaluating the Effectiveness of Static Word Embeddings on the Classification of IT Support Tickets,” Proc. 30th Annu. Int. Conf. Comput. Sci. Softw. Eng., no. November, pp. 198–206, 2020.

[23] J. Schad, R. Sambasivan, and C. Woodward, “Predicting help desk ticket reassignments with graph convolutional networks,” Mach. Learn. with Appl., vol. 7, no. December 2021, p. 100237, 2022, doi: 48 Program Studi Ilmu Komputer (S2) Universitas Nusa Mandiri 10.1016/j.mlwa.2021.100237.

[24] S. P. Paramesh, C. Ramya, and K. S. Shreedhara, “Classifying the Unstructured IT Service Desk Tickets Using Ensemble of Classifiers,” Proc. 2018 3rd Int. Conf. Comput. Syst. Inf. Technol. Sustain. Solut. CSITSS 2018, pp. 221–227, 2018, doi: 10.1109/CSITSS.2018.8768734.

[25] S. Hilda Kusumahadi, H. Junaedi, and J. Santoso, “Klasifikasi Helpdesk Menggunakan Metode Support Vector Machine,” J. Inform. J. Pengemb. IT, vol. 4, no. 1, pp. 54–60, 2019, doi: 10.30591/jpit.v4i1.1125.

[26] A. Mandal, N. Malhotra, S. Agarwal, A. Ray, and G. Sridhara, “Automated dispatch of helpdesk email tickets: Pushing the limits with ai,” 33rd AAAI Conf. Artif. Intell. AAAI 2019, 31st Innov. Appl. Artif. Intell. Conf. IAAI 2019 9th AAAI Symp. Educ. Adv. Artif. Intell. EAAI 2019, pp. 9381–9388, 2019, doi: 10.1609/aaai.v33i01.33019381.

[27] Library Binus, “Bab 2 landasan teori,” Apl. dan Anal. Lit. Fasilkom UI, pp. 4–25, 2006.