IMAGE CAPTIONING UNTUK MOBILITAS TUNANETRA DI RUANG PUBLIK MENGGUNAKAN TRANSFORMERS CLIP (CONTRASTIVE LANGUAGE-IMAGE PRE-TRAINING)

Image captioning adalah suatu teknik dalam bidang pengolahan citra dan
pemahaman bahasa alami yang bertujuan untuk menghasilkan deskripsi teks yang
menjelaskan konten suatu gambar atau citra. Seiring dengan berjalannya waktu
banyak potensi dari adanya teknologi image captioning salah satu contohnya adalah
penerapan image captioning untuk tunanetra, Tujuan dari penelitian ini adalah
mengimplementasikan pendekatan transformers CLIP (Contrastive Languange
Image Pre-training) yang bertugas sebagai model belajar dengan hasil akhirnya
adalah model yang dapat memahami dan menghubungkan teks dan gambar dalam
satu ruang vector (Image Captioning). Model ini digunakan untuk menyelesaikan
masalah mobilitas pada tunanetra untuk mengurangi keterbatasan pada indra
penglihatannya sehingga dapat melakukan kegiatan sehari-hari yaitu dalam
bermobilisasi di ruang publik. Permodelan dibangun mengikuti alur kerja metode
pengembangan CRISP-DM. Dataset yang digunakan dalam penelitian ini adalah
dataset berbahasa inggris yang bersumber dari deskripsi gambar area mobilisasi di
ruang publik, CLIP model block RN50x4 dan ViT-B/32 digunakan sebagai model
untuk image embedding dan GPT2 sebagai language model dalam penelitian ini.
Akurasi pada model dikalkulasi menggunakan metrik BLEU dan METEOR,
penggunaan model block RN50x4 menjadi model terbaik yang mendapatkan score
BLEU-1 82%, BLEU-2 78%, BLEU-3 75%, BLEU-4 73%. Hasil captioning
yang dilakukan menunjukkan bahwa model berhasil menampilkan caption yang
kreatif yang sesuai untuk masing-masing gambar dan optimal.
Kata Kunci: Image Captioning, Tunanetra, Mobilisasi, Transformers,
Contrastive Language Image Pre-training