STUDI KOMPARASI KINERJA VARIAN VISION TRANSFORMER (ViT) DENGAN METODE TRANSFER LEARNING UNTUK KLASIFIKASI JENIS REMPAH

Indonesia merupakan negara dengan tingkat spesies rempah terbanyak di dunia,
berkisar lebih dari setengah total spesies di dunia, tepatnya 275 spesies dari total 400
sampai 500 spesies ada di negeri Nusantara. Di balik keanekaragam tersebut, Indonesia
juga merupakan negara yang memiliki beberapa jenis rempah dengan tingkat kemiripan
mencapai 90%. Kemiripan beberapa jenis rempah yang cukup signifikan ditambah
dengan perkembangan industri modern yang menghasilkan rempah instan siap pakai,
membuat masyarakat jarang sekali melakukan pengolahan langsung terhadap rempah,
sehingga berdampak kepada kurangnya pengetahuan masyarakat terhadap rempah dan
kesulitan dalam membedakan beberapa jenis rempah. Maka dari itu, pada penelitian ini
dikembangkannya model deep learning berbasis image recognition untuk
mengidentifikasi jenis rempah. Model ini menggunakan algoritma Vision Transformer
(ViT) yang telah terbukti handal dalam pengolahan citra digital. Penelitian ini berfokus
pada komparasi beberapa varian ViT berbasis transfer learning untuk menentukan model
dengan performa terbaik dalam klasifikasi rempah. Setelah dilakukan penelitian dengan
14 jenis rempah dan total data sebanyak 6300 citra, didapat hasil bahwa model ViT
Base/16 dengan optimizer AdaBelief merupakan model dengan nilai metrik evaluasi
tertinggi dengan nilai F1-Score mencapai 93,93%. Adapun proses perbandingan
dilakukan pada model ViT Base/16 dan ViT Large/16 dengan 5 jenis optimizer berbeda,
yaitu AdamW, RMSProp, SGD, Radam, dan AdaBelief.
Kata kunci: Deep learning, Rempah, Transfer Learning, Vision Transformer