DETEKSI BAHASA ISYARAT BISINDO PADA KEGIATAN TRANSAKSI JUAL-BELI DENGAN MENERAPKAN MEDIAPIPE HOLISTICS DAN ALGORITMA LONG SHORT-TERM MEMORY (LSTM)

BALQIS, NABILA AULIA PUTRI and Arie, Vatresia and Andang, Wijanarko (2024) DETEKSI BAHASA ISYARAT BISINDO PADA KEGIATAN TRANSAKSI JUAL-BELI DENGAN MENERAPKAN MEDIAPIPE HOLISTICS DAN ALGORITMA LONG SHORT-TERM MEMORY (LSTM). Undergraduated thesis, Universitas Bengkulu.

Archive (Thesis) DETEKSI BAHASA ISYARAT BISINDO PADA KEGIATAN TRANSAKSI - Balqis Nabila.pdf - Bibliography Restricted to Repository staff only Available under License Creative Commons GNU GPL (Software). Download (2MB)

Abstract

Penyandang tunarungu dan tunawicara sering kesulitan berkomunikasi, terutama di tempat umum seperti warung atau toko. Mereka menggunakan Bahasa Isyarat BISINDO sehari-hari, tapi masalah pemahaman masyarakat dan kurangnya penerjemah bisa mengakibatkan kesalahpahaman. Untuk mengatasi masalah ini, peneliti mengembangkan model menerjemahkan gerakan tangan, ekspresi wajah, dan gerakan tubuh menjadi Bahasa Isyarat BISINDO. Model ini mengadopsi pendekatan CRISP-DM dengan penerapan Human Activity Recognition (HAR) serta memanfaatkan library Mediapipe Holistics untuk mengekstrak koordinat tangan, wajah, dan pose manusia. Selanjutnya, model diperkuat dengan Algoritma Long Short-Term Memory (LSTM) untuk memahami pola gerakan Bahasa Isyarat BISINDO yang kompleks. Dataset yang digunakan bersifat real-time dan melibatkan 19 kosakata yang berkaitan dengan transaksi sehari-hari. Setiap kosakata memiliki 30 video, dan setiap video terdiri dari 30 frame. Hasil pengujian menunjukkan tingkat akurasi yang tinggi (0,98), recall (0,999), presisi (0,999), dan F-1 Score (0,998). Berdasarkan data ini, model terbukti sangat efektif dalam mendeteksi gerakan Bahasa Isyarat BISINDO dalam aktivitas transaksi. Kata Kunci: Penyandang Tunarungu dan Tunawicara, BISINDO, Human Activity Recognition (HAR, Mediapipe Holistics, Algoritma Long Short-Term Memory (LSTM)

Actions (login required)

View Item