SUTANTIO, Alfonso Clement (2026) Perbandingan Kinerja Framework RASA dan RAG pada Chatbot Layanan Kemahasiswaan. Undergraduate thesis, UNDIP: Fakultas Sains dan Matematika.

	Text 1. COVER.pdf Download (73kB)
	Text 2. HALAMAN PERNYATAAN KEASLIAN.pdf Download (178kB)
	Text 3. HALAMAN PENGESAHAN.pdf Download (164kB)
	Text 4. KATA PENGANTAR.pdf Download (365kB)
	Text 6. ABSTRAK.pdf Download (295kB)
	Text 7. ABSTRACT.pdf Download (201kB)
	Text 8. DAFTAR ISI.pdf Download (479kB)
	Text 12. BAB I PENDAHULUAN.pdf Download (233kB)
	Text 17. DAFTAR PUSTAKA.pdf Download (196kB)

Abstract

Kebutuhan informasi akademik dan kemahasiswaan merupakan aspek krusial bagi mahasiswa. Di lingkungan Fakultas Sains dan Matematika Universitas Diponegoro (FSM Undip), mahasiswa harus mendatangi secara langsung bagian layanan akademik di Gedung Acintya Prasada untuk memperoleh informasi terkait. Pendekatan ini menimbulkan sejumlah permasalahan, antara lain inefisiensi waktu akibat antrean, potensi kegagalan dalam menemui staf terkait, serta tingginya repetisi pertanyaan yang diajukan. Oleh karena itu, penelitian ini mengusulkan solusi otomasi layanan melalui perbandingan performa dua framework chatbot, yaitu Retrieval-Augmented Generation (RAG) dan RASA. Kedua framework diimplementasikan menggunakan sumber pengetahuan yang sama, berupa tujuh dokumen Standar Operasional Prosedur (SOP) layanan akademik dan kemahasiswaan. Evaluasi dilakukan menggunakan lima metrik, yaitu response time, coverage, ROUGE-1, ROUGE-L, dan BERTScore. Hasil penelitian menunjukkan bahwa akurasi jawaban kedua framework tidak berbeda secara signifikan. Framework RASA memiliki keunggulan utama pada kecepatan respons, dengan performa rata-rata 658 kali lebih cepat dibandingkan RAG. Namun, keunggulan tersebut disertai dengan kebutuhan upaya yang lebih besar dalam
menyiapkan sumber pengetahuan, khususnya pada tahap pengembangan dan pelatihan komponen Natural Language Understanding (NLU). Keterbatasan ini dapat diatasi melalui
pemanfaatan framework RAG yang menawarkan kemudahan dalam persiapan serta penambahan sumber pengetahuan secara langsung dari dokumen yang tersedia. Meskipun
demikian, framework RAG memiliki kelemahan berupa kebutuhan komputasi yang relatif lebih besar.
Kata kunci : Chatbot Akademik, Retrieval Augmented Generation, RASA Framework, Perbandingan Framework

Actions (login required)

View Item