Guru dihadapkan pada tantangan besar dalam menyusun evaluasi pembelajaran yang efektif. Proses pembuatan soal secara manual memakan waktu di tengah padatnya beban administrasi, sementara proses penilaian esai yang subjektif seringkali menimbulkan inkonsistensi penilaian antar siswa. Permasalahan ini, yang teridentifikasi melalui observasi di SMK Tamansiswa 2 Jakarta, menyoroti kebutuhann akan sebuah solusi untuk meningkatkan efisiensi dan standardisasi dalam evaluasi. Untuk menjawab tantangan tersebut, penelitian ini mengembangkan sebuah aplikasi web untuk pembuatan dan penilaian kuis otomatis berbasis Large Language Model (LLM) Gemini. Dengan menggunakan metodologi AI Project Cycle dan dibangun di atas framework Laravel, sistem ini menawarkan dua mekanisme pembuatan soal: melalui fine-tuning model Gemini 1.5 Flash pada dataset sekolah dan pemrosesan langsung dokumen PDF. Sebagai fitur penilaian, sistem ini mengimplementasikan rekayasa prompt pada Gemini serta menyajikan model alternatif berbasis Cosine Similarity dengan IndoBERT untuk penilaian yang transparan dan dapat dijelaskan. Hasil pengujian menunjukkan model penilaian alternatif Cosine Similarity mencapai akurasi 87.76% dengan F1-Score 0.8929. Pengujian sistem melalui User Acceptance Testing (UAT) dan System Usability Scale (SUS) menghasilkan skor SUS rata-rata 67.25, yang mengindikasikan sistem berfungsi baik dan dapat diterima pengguna. Aplikasi ini terbukti menjadi solusi efektif yang membantu guru mempersiapkan evaluasi pembelajaran secara lebih konsisten dan efisien.