Tantangan dalam pembuatan soal evaluasi yang berkualitas dan memakan waktu bagi pendidik menjadi latar belakang utama penelitian ini, terutama dalam konteks rendahnya literasi pemahaman bacaan siswa di Indonesia. Untuk mengatasi masalah ini, dikembangkan Soalify, sebuah aplikasi web yang menerapkan inovasi teknik Retrieval-Augmented Generation (RAG) untuk menghasilkan pasangan pertanyaan-jawaban format esai secara otomatis dari teks berbahasa Indonesia. Metodologi penelitian mencakup perancangan arsitektur full-stack (Next.js, FastAPI, PostgreSQL) dan pengembangan pipeline RAG yang melibatkan embedding teks, penyimpanan di vector store, dan retrieval yang dioptimalkan dengan TF-IDF. Validasi sistem dilakukan secara komprehensif melalui empat pendekatan: pengujian fungsional (black-box), kebergunaan (System Usability Scale), evaluasi model otomatis (LLM-as-a-Judge), dan evaluasi pakar (Human Evaluation). Hasil pengujian menunjukkan performa sistem yang sangat baik: fungsionalitas sistem mencapai 100%; skor kebergunaan SUS mencapai 74.58 dari 12 responden (kategori 'Good'); model RAG memperoleh Skor Relevansi Konteks 100%; serta uji konsistensi penilaian pakar menghasilkan nilai Cohen's Kappa sebesar 0.667 (kategori 'Kuat'). Hasil-hasil ini secara kolektif membuktikan bahwa aplikasi Soalify merupakan solusi yang valid secara teknis, efektif, dan andal, sehingga berpotensi menjadi alat bantu yang berharga untuk para pendidik di Indonesia.