Koleksi Pustaka
PENGEMBANGAN MODEL CHATBOT DENGAN RETRIEVAL AUGMENTED GENERATION DAN FINE-TUNING BERBASIS LARGE LANGUAGE MODEL

Penelitian ini bertujuan untuk mengembangkan sistem chatbot yang mampu memberikan informasi seputar Penerimaan Mahasiswa Baru (PMB) di Politeknik Negeri Jakarta (PNJ) dengan pendekatan berbasis Large Language Model (LLM). Dua metode utama dibandingkan dalam penelitian ini, yaitu Fine-Tuning dan Retrieval-Augmented Generation (RAG). Dataset berupa 188 pasang pertanyaan dan jawaban dikembangkan secara manual dari sumber resmi PMB dan digunakan untuk pelatihan model. Model TinyLLaMA 1B dan LLaMa 3.2 1B digunakan dalam eksperimen fine-tuning, sementara sistem RAG diintegrasikan dengan FAISS untuk pencarian informasi berbasis embedding. Evaluasi performa dilakukan menggunakan metrik BERTScore, UniEval, dan Human Evaluation. Hasil penelitian menunjukkan bahwa kombinasi metode RAG dan Fine-Tuning pada model LLaMa 3.2 1B memberikan performa terbaik dengan skor BERTScore F1 sebesar 94.84% dan skor UniEval rata-rata 76.54%. Sistem chatbot juga menunjukkan konsistensi performa setelah diintegrasikan ke dalam sistem web. Temuan ini mengindikasikan bahwa integrasi retrieval dan fine-tuning dapat menghasilkan jawaban yang lebih relevan, akurat, dan mudah dipahami oleh pengguna.

Daftar File
  • 2107412001_Muhamad_Atsil_Rifqi_Riyansyah
    2107412001_Muhamad_Atsil_Rifqi_Riyansyah.pdf
  • 2107412001_Muhamad_Atsil_Rifqi_Riyansyah
    Maaf file hanya dapat di unduh oleh pihak yang mempunyai akses file private
  • Kata Kunci
    Large Language Model, Fine-Tuning, Retrieval-Augmented Generation, BERTScore, UniEval.