DINATA, Dafa Kurnia (2025) Pembuatan Umpan tsalik Otomatis Berbasis Klasifikasi Multikelas pada Jawaban Mahasiswa dengan Femodelan T5. Undergraduate thesis, UNDIP: Fakultas Sains dan Matematika.

	Text 1. COVER.pdf Download (80kB)
	Text 3. HALAMAN PENGESAHAN.pdf Download (288kB)
	Text 6. ABSTRAK.pdf Download (186kB)
	Text 7. ABSTRACT.pdf Download (145kB)
	Text 8. DAFTAR ISI.pdf Download (264kB)
	Text 11. BAB I PENDAHULUAN.pdf Download (249kB)

Abstract

BSTRAK

Pemberian umpan balik merupakan bagian penting dalam proses evaluasi pembelajaran yang
berfungsi untuk membantu mahasiswa memahami kesalahan dan meningkatkan kualitas
pemahaman mereka terhadap materi. Sayangnya, dalam praktik pendidikan tinggi,
pemberian umpan balik yang menyeluruh dan berkualitas sering kali terkendala oleh
keterbatasan waktu dan jumlah mahasiswa yang besar. Hal ini menyebabkan banyak peserta
didik tidak memperoleh masukan yang memadai untuk memperbaiki performa
akademiknya. Di sisi lain, solusi otomatis seperti Automated Essay Scoring (AES) mulai
banyak digunakan, namun masih terbatas pada pemberian skor tanpa penjelasan naratif yang
kontekstual. Penelitian ini bertujuan mengembangkan sistem umpan balik otomatis berbasis
klasifikasi multikelas pada jawaban mahasiswa menggunakan model Transformer T5.
Sistem yang dirancang mengintegrasikan tiga metode pengukuran similarity, yaitu BLEU,
Fuzzy, dan BERT, yang digabungkan menggunakan pendekatan dynamic weight adjustment.
Nilai similarity yang diperoleh diklasifikasikan ke dalam empat kategori evaluasi (correct,
partial 2, partial 1, incorrect) sebagai label target dalam pelatihan model T5 sehingga sistem
dapat menghasilkan umpan balik teks yang sesuai dengan tingkat pemahaman mahasiswa.
Eksperimen dilakukan pada empat dataset berbeda (MPI 1, MPI 2, Siscer A1, dan Siscer B1)
dengan evaluasi performa menggunakan metrik SMAPE, Macro F1-Score, dan exact match
accuracy. Hasil menunjukkan bahwa pendekatan ini berhasil menghasilkan prediksi
similarity yang mendekati penilaian manual dengan nilai SMAPE terbaik sebesar 13,49%
diperoleh pada dataset Siscer B1. Kinerja klasifikasi terbaik ditunjukkan oleh dataset MPI 1
dengan nilai Macro F1-Score sebesar 0,63. Evaluasi kualitas umpan balik melalui exact
match accuracy menunjukkan hasil tertinggi pada dataset MPI 1 (66,86%) dan Siscer B1
(62,64%), menandakan bahwa sistem mampu menghasilkan umpan balik identik terutama
pada data yang lebih seragam atau didukung oleh beberapa referensi. Secara keseluruhan,
sistem yang dikembangkan menunjukkan kemampuan menghasilkan umpan balik yang
kontekstual dan mendekati kualitas evaluasi manusia. Integrasi T5 dan pendekatan similarity
berbasis dynamic weight adjustment terbukti mampu meningkatkan efisiensi serta kualitas
evaluasi berbasis teks, sehingga berpotensi menjadi solusi yang relevan untuk mendukung
proses pembelajaran mandiri mahasiswa.

Kata kunci : Umpan Balik Otomatis, Klasifikasi Multikelas, T5, SMAPE, Macro F1 Score, exact match accuracy.

Actions (login required)

View Item