DETEKSI BAHASA ISYARAT BISINDO PADA KEGIATAN TRANSAKSI JUAL-BELI DENGAN MENERAPKAN MEDIAPIPE HOLISTICS DAN ALGORITMA LONG SHORT-TERM MEMORY (LSTM)

Penyandang tunarungu dan tunawicara sering kesulitan berkomunikasi, terutama
di tempat umum seperti warung atau toko. Mereka menggunakan Bahasa Isyarat
BISINDO sehari-hari, tapi masalah pemahaman masyarakat dan kurangnya
penerjemah bisa mengakibatkan kesalahpahaman. Untuk mengatasi masalah ini,
peneliti mengembangkan model menerjemahkan gerakan tangan, ekspresi wajah,
dan gerakan tubuh menjadi Bahasa Isyarat BISINDO. Model ini mengadopsi
pendekatan CRISP-DM dengan penerapan Human Activity Recognition (HAR)
serta memanfaatkan library Mediapipe Holistics untuk mengekstrak koordinat
tangan, wajah, dan pose manusia. Selanjutnya, model diperkuat dengan Algoritma
Long Short-Term Memory (LSTM) untuk memahami pola gerakan Bahasa Isyarat
BISINDO yang kompleks. Dataset yang digunakan bersifat real-time dan
melibatkan 19 kosakata yang berkaitan dengan transaksi sehari-hari. Setiap
kosakata memiliki 30 video, dan setiap video terdiri dari 30 frame. Hasil
pengujian menunjukkan tingkat akurasi yang tinggi (0,98), recall (0,999), presisi
(0,999), dan F-1 Score (0,998). Berdasarkan data ini, model terbukti sangat efektif
dalam mendeteksi gerakan Bahasa Isyarat BISINDO dalam aktivitas transaksi.
Kata Kunci: Penyandang Tunarungu dan Tunawicara, BISINDO, Human
Activity Recognition (HAR, Mediapipe Holistics, Algoritma Long Short-Term
Memory (LSTM)