Koleksi Pustaka
IMPLEMENTASI MODEL PENGENALAN BAHASA ISYARAT LANJUTAN MENGGUNAKAN MEDIAPIPE DAN CTC-ATTENTION

Pengenalan bahasa isyarat secara lanjutan atau Continuous Sign Language Recognition (CSLR) merupakan tantangan dalam bidang teknologi asistif yang bertujuan menerjemahkan gerakan isyarat secara real-time ke dalam teks natural. Penelitian ini bertujuan mengembangkan model CSLR dengan pendekatan hybrid Connectionist Temporal Classification (CTC) dan Attention Mechanism yang memanfaatkan ekstraksi fitur keypoints dari video menggunakan MediaPipe Holistic. Dataset yang digunakan terdiri dari kalimat dalam bahasa isyarat Sistem Isyarat Bahasa Indonesia (SIBI) yang mencakup kategori dasar anggota keluarga, benda sekitar, dan binatang. Model dikembangkan menggunakan dua arsitektur utama pada tahap encoder, yaitu Pyramid BiLSTM dan Pyramid BiGRU, yang kemudian dibandingkan performanya berdasarkan metrik Word Error Rate (WER), CTC Loss, serta Attention Loss. Model dilatih menggunakan data dengan dan tanpa augmentasi untuk mengevaluasi dampak teknik augmentasi terhadap performa model. Hasil evaluasi menunjukkan bahwa model berbasis BiGRU dengan augmentasi dataset mencapai performa terbaik dengan WER sebesar 26,20%, yang secara signifikan lebih baik dibandingkan BiLSTM yang mencatatkan WER sebesar 38,13%. Model kemudian diimplementasikan dalam sistem berbasis web yang mendukung proses inferensi baik secara batch maupun real-time melalui integrasi REST API dan WebSocket dengan back-end Flask pada layanan Amazon Web Services (AWS).

Daftar File
  • 2107411035_Muhammad Riziq Ramadhan Al Arafah
    Maaf file hanya dapat di unduh oleh pihak yang mempunyai akses file private
  • 2107411035_Muhammad Riziq Ramadhan Al Arafah_Skripsi
    2107411035_Muhammad Riziq Ramadhan Al Arafah_Skripsi.pdf
  • Kata Kunci
    arsitektur bilstm bigru, mediapipe holistic, pengenalan bahasa isyarat lanjutan, sibi, sistem isyarat bahasa indonesia.