Pesatnya pengembangan Artificial Intelligence (AI) menuntut kompetensi literasi AI yang memadai di kalangan mahasiswa perguruan tinggi. Penelitian ini mengembangkan sistem berbasis web untuk mengukur tingkat literasi AI mahasiswa Politeknik Negeri Jakarta (PNJ) melalui instrumen asesmen berbasis soal yang valid dan reliabel. Instrumen terdiri atas 40 butir Skala Likert dan 20 butir soal pilihan ganda pada empat dimensi: Pemahaman Konseptual AI, Penggunaan Praktis dalam Produktivitas, Berpikir Kritis dan Evaluasi Informasi, serta Etika dan Kesadaran Dampak AI. Sistem dikembangkan menggunakan framework Laravel dengan pendekatan User-Centered Design. Pengujian instrumen terhadap 33 responden menunjukkan seluruh 60 butir valid (r hitung > r tabel = 0,361). Uji reliabilitas Cronbach's Alpha menghasilkan koefisien 0,787 hingga 0,935 (kategori Cukup hingga Sangat Tinggi). Sistem menghasilkan AI Literacy Score kuantitatif per dimensi disertai rekomendasi modul pembelajaran otomatis bagi mahasiswa dengan skor di bawah 70%.