ABSTRAK

Gesture Recognition memainkan peran penting dalam memfasilitasi dan
meningkatkan aksesibilitas komunikasi bagi individu dengan gangguan pendengaran
dan bicara, Namun, dalam menerjemahkan bahasa isyarat yang kompleks menjadi
bahasa lisan atau tulisan tetap menjadi tantangan yang signifikan. Berupaya untuk
mengatasi hal tersebut, penelitian ini memanfaatkan framework MediaPipe dan
algoritma Random Forest Classifier untuk mengklasifikasikan gerakan isyarat
berbentuk ungkapan dan kata dalam bahasa isyarat BISINDO. Dengan
mempertimbangkan tingkat kesulitan dan kompleksitas gerakan isyarat, 10 label
ungkapan/kata dalam BISINDO dipilih dan menghasilkan total 25.000 data yang
dipakai pada sistem di penelitian ini. Pendekatan ini melibatkan deteksi bahasa
isyarat melalui pengenalan pose, gerakan tangan, dan ekspresi wajah. Hasil evaluasi
menunjukkan algoritma Random Forest mencapai tingkat presisi, recall, F1-score,
dan akurasi yang sangat tinggi (99,88%). Selain itu, sistem yang dikembangkan juga
menunjukkan kinerja baik dengan rata - rata probabilitas prediksi berkisar antara 0,50
hingga 0,70 untuk prediksi yang benar, meskipun terdapat tantangan dalam
membedakan gerakan isyarat yang mirip dan menyebabkan beberapa prediksi
memerlukan waktu lebih lama untuk mencapai hasil yang tepat. Dengan hasil yang
diperoleh, penelitian ini memberikan kontribusi penting dalam meningkatkan
pengenalan bahasa isyarat dan mendorong inklusivitas bagi masyarakat dengan
gangguan pendengaran dan bicara. Hal ini juga membuka peluang baru untuk
pengembangan lebih lanjut dalam teknologi deteksi bahasa isyarat.