TEXT
IMPLEMENTASI CHATBOT MENGGUNAKAN METODE RETRIEVAL AUGEMENTED GENERATION (RAG)
ABSTRAK
Calon mahasiswa Institut Teknologi Adhi Tama Surabaya (ITATS) sering mengajukan
pertanyaan berulang kepada Bagian Promosi dan Penerimaan Mahasiswa Baru
(PPMB) seputar prosedur pendaftaran mahasiswa baru program Sarjana dan
Pascasarjana, Rekognisi Pembelajaran Lampau (RPL), penggantian Nomor Pokok
Mahasiswa (NPM), serta pindah jalur dan tahun ajaran. Layanan informasi berbasis
manusia memiliki keterbatasan jam kerja dan rentan terhadap keterlambatan respons.
Penelitian ini bertujuan mengimplementasikan chatbot berbasis metode Retrieval-
Augmented Generation (RAG) untuk menjawab pertanyaan seputar Prosedur Operasi
Standar (POS) PPMB ITATS, mengevaluasi kualitasnya dengan kerangka RAGAS,
dan menganalisis pengaruh konfigurasi parameter terhadap kinerja sistem. Metode
penelitian yang digunakan adalah Research and Development (R&D) dengan tahapan
studi literatur, pengumpulan data, perancangan, implementasi, pengujian, dan analisis.
Sistem dibangun menggunakan Python, framework LangChain, basis data vektor
ChromaDB, backend FastAPI, dan antarmuka Tailwind CSS, dengan dukungan dua
penyedia Large Language Model (Gemini dan Groq). Pengujian dilakukan pada dataset
25 pertanyaan beranotasi yang mencakup tujuh kategori, yaitu pendaftaran Sarjana,
pendaftaran Pascasarjana, RPL umum, prosedur RPL, pindah jalur, pindah tahun
ajaran, dan out-of-scope. Hasil pengujian pada konfigurasi terbaik menunjukkan skor
faithfulness sebesar 0,9861, answer relevancy sebesar 0,8705, context precision
sebesar 0,9722, dan context recall sebesar 0,9167, dengan rata-rata skorsebesar 0,9364.
Hasil tersebut menunjukkan bahwa sistem mampu menghasilkan jawaban yang
vi
relevan, sesuai dengan konteks dokumen, serta didukung oleh proses retrieval yang
baik. Penelitian ini berkontribusi sebagai prototipe layanan informasi mandiri bagi
calon mahasiswa ITATS yang dapat diakses 24 jam, konsisten, dan berbasis dokumen
POS resmi.
Kata Kunci: chatbot, Retrieval-Augmented Generation (RAG), Large Language Model
(LLM), evaluasi RAGAS, penerimaan mahasiswa baru
| S06-26441 | Tersedia |
Tidak tersedia versi lain