Arsyi Putra, Ichsan (2022) KLASIFIKASI HUMAN ACTION RECOGNITION (HAR) BERBASIS MEDIAPIPE DAN LONG SHORT-TERM MEMORY (LSTM). Undergraduate thesis, Universitas Diponegoro.

	Text JUDUL.pdf Download (383kB)
	Text BAB I.pdf Restricted to Repository staff only Download (84kB)
	Text BAB II.pdf Restricted to Repository staff only Download (401kB)
	Text BAB III.pdf Restricted to Repository staff only Download (715kB)
	Text BAB IV.pdf Restricted to Repository staff only Download (1MB)
	Text BAB V.pdf Restricted to Repository staff only Download (106kB)
	Text DAFTAR PUSTAKA.pdf Restricted to Repository staff only Download (154kB)
	Text LAMPIRAN.pdf Restricted to Repository staff only Download (34kB)

Abstract

Human Action Recognition (HAR) merupakan topik yang sangat penting di bidang
Machine Learning dan Computer Vision. Salah satu metode yang pernah diajukan adalah
kombinasi penggunaan antara pustaka MediaPipe sebagai pengekstrak ciri citra dengan Long
Short-Term Memory (LSTM) sebagai pengklasifikasi. Penelitian HAR dapat menjadikan akurasi
deteksi dan waktu training sebagai indikator dalam menentukan model terbaik. Berdasarkan kondisi
tersebut, peneliti mencoba mengadaptasi model LSTM yang pernah diajukan untuk pengaplikasian
HAR dengan data hasil ekstraksi landmarks citra melalui pustaka MediaPipe. Peneliti juga
membandingkan hasil akurasi dan waktu training pada model-model LSTM yang digunakan.
Penelitian dilaksanakan berdasarkan kerangka kerja OSEMN yang terdiri atas tahap
Obtain, Scrub, Explore, Model, dan iNterpret. Dataset yang digunakan dalam penelitian adalah
dataset Weizmann sehingga terdapat 10 kelas aksi dalam bentuk video. Sebelum digunakan, dataset
Weizmann dikenakan proses data preprocessing dan data augmentation. Ekstraksi ciri dilakukan
terhadap video menggunakan pustaka MediaPipe: Pose dan menghasilkan data landmarks. Proses
training dan validation dilakukan dengan tiga variasi arsitektur model neural network yang berfokus
pada layer Long Short-Term Memory (LSTM). Evaluasi performa model dilakukan melalui
interpretasi confusion matrix dan perhitungan nilai accuracy, loss, precision, dan F1score.
Hasil penelitian yang diperoleh berupa tujuh model LSTM dengan dengan nilai akurasi
testing mencapai 82% dengan waktu training selama 10 menit 50 detik. Dari ketujuh model, waktu
training model tercepat diketahui memiliki durasi selama 1 menit 4 detik namun akurasi testing-nya hanya mencapai 77%.

Actions (login required)

View Item