Koleksi Pustaka
Penilaian esai secara manual oleh pengajar memerlukan banyak waktu, tenaga, dan berpotensi menghasilkan penilaian yang subjektif dan tidak konsisten. Oleh karena itu, penelitian ini mengembangkan sebuah sistem penilaian esai otomatis yang memanfaatkan model pre-trained SBERT (Sentence-BERT) dengan metode cosine similarity. Penelitian ini bertujuan untuk merancang dan mengimplementasikan sistem yang mampu menilai kualitas jawaban siswa secara objektif dan efisien dengan mempertimbangkan kemiripan semantik antara jawaban siswa dan jawaban pengajar. Sistem ini dirancang berbasis web menggunakan ReactJS di frontend dan FastAPI di backend, serta diujikan pada data esai siswa yang diambil dari dataset IndoNLI. Hasil evaluasi model menunjukkan kinerja yang baik dengan threshold 0.80 yang menghasilkan nilai akurasi sebesar 0.88, precision 0.90, recall 0.90, F1-score 0.90, Pearson correlation 0.74, dan Spearman correlation 0.72. Selain itu, hasil pengujian sistem menunjukkan tingkat keberhasilan 100% pada Blackbox Testing, skor System Usability Scale (SUS) sebesar 81,5% dalam kategori Excellent, skor Net Promoter Score (NPS) sebesar 40%, dan skor user acceptance testing (UAT) sebesar 80% dalam kategori baik yang menunjukkan sebagian besar pengguna bersedia merekomendasikan sistem ini. Dengan demikian, sistem ini dinilai layak digunakan dan dapat membantu pengajar dalam menilai esai secara lebih objektif, efisien, dan konsisten.