Koleksi Pustaka
Sistem Penilaian Esai Otomatis Menggunakan Model SBERT Dan Cosine Similarity untuk Evaluasi Akademik

Penilaian esai secara manual oleh pengajar memerlukan banyak waktu, tenaga, dan berpotensi menghasilkan penilaian yang subjektif dan tidak konsisten. Oleh karena itu, penelitian ini mengembangkan sebuah sistem penilaian esai otomatis yang memanfaatkan model pre-trained SBERT (Sentence-BERT) dengan metode cosine similarity. Penelitian ini bertujuan untuk merancang dan mengimplementasikan sistem yang mampu menilai kualitas jawaban siswa secara objektif dan efisien dengan mempertimbangkan kemiripan semantik antara jawaban siswa dan jawaban pengajar. Sistem ini dirancang berbasis web menggunakan ReactJS di frontend dan FastAPI di backend, serta diujikan pada data esai siswa yang diambil dari dataset IndoNLI. Hasil evaluasi model menunjukkan kinerja yang baik dengan threshold 0.80 yang menghasilkan nilai akurasi sebesar 0.88, precision 0.90, recall 0.90, F1-score 0.90, Pearson correlation 0.74, dan Spearman correlation 0.72. Selain itu, hasil pengujian sistem menunjukkan tingkat keberhasilan 100% pada Blackbox Testing, skor System Usability Scale (SUS) sebesar 81,5% dalam kategori Excellent, skor Net Promoter Score (NPS) sebesar 40%, dan skor user acceptance testing (UAT) sebesar 80% dalam kategori baik yang menunjukkan sebagian besar pengguna bersedia merekomendasikan sistem ini. Dengan demikian, sistem ini dinilai layak digunakan dan dapat membantu pengajar dalam menilai esai secara lebih objektif, efisien, dan konsisten.

Daftar File
  • 2107411048_Muhammad Ardy Dzakwan
    Maaf file hanya dapat di unduh oleh pihak yang mempunyai akses file private
  • 2107411048_Muhammad Ardy Dzakwan
    Maaf file hanya dapat di unduh oleh pihak yang mempunyai akses file private
  • Kata Kunci
    Cosine Similarity, Pembelajaran Mesin, SBERT, Sistem Penilaian Esai Otomatis, Web.