Nurrohmah, Siti Alya (2025) Optimised Attention Mechanism dengan Bidirectional GRU dan Penerapannya. Undergraduate thesis, UNDIP.

	Text Pendahuluan - Siti Alya Nurrohmah.pdf Download (297kB)
	Text Isi - Siti Alya Nurrohmah.pdf Restricted to Repository staff only Download (5MB) | Request a copy
	Text Daftar Pustaka - Siti Alya Nurrohmah.pdf Download (192kB)

Abstract

"Dengan berkembangnya teknologi sekarang ini, mekanisme attention diperkenalkan untuk meningkatkan performa model deep learning. Namun dalam penerapannya, formula pada Scaled Dot Product Attention (SDPA) sekarang ini dinilai kurang efisisen. Penelitian ini menggunakan optimised atention yaitu optimisasi dari mekanisme attention biasa atau standard scaled dot product attention (SDPA) di mana tujuannya adalah untuk mengetahui efektivitas optimised attention dalam proses training dan membandingkannya dengan performa standard scaled dot product attention (SDPA). Pada simulasi untuk melakukan analisis sentimen ulasan aplikasi easycash, layer optimised attention dapat mereduksi jumlah parameter bobot sebanyak ¼ dari layer pada standard attention. Selain itu, optimised attention memiliki waktu pelatihan yang lebih efisien sebanyak 2.78% . Dalam hal performa model yaitu Optimised attention+BiGRU dan Standard attention+BiGRU dengan evaluasi pada metrik precision, recall, F1-Score serta ROC-AUC, kedua model tersebut memiliki performa yang serupa. Misalnya pada F1-Score, Optimised attention+BiGRU memiliki skor 90% dan 89% dalam mengenali sentimen positif dan negatif, sedangkan standard attention+BiGRU memiliki F1-Score 89% dalam mengenali sentimen positif dan negatif.
Kata kunci: Optimised attention, BiGRU, Scaled dot poduct attention, Analisis Sentimen"

Actions (login required)

View Item