🧠 Day 3 — RAG Demystified: Retrieval-Augmented Generation & Agentic RAG
Minggu 2 · Hari 3 — Purple Day (Core Skills) Topik: Konsep RAG, embedding model & vector, semantic search, vector database, agentic RAG vs traditional RAG, pengenalan Supabase
📋 Daftar Isi
- Recap API & Webhook
- Apa Itu RAG?
- Embedding Model & Vector
- Semantic Search & Vector Database
- RAG Pipeline Lengkap
- Agentic RAG vs Traditional RAG
- Pengenalan Supabase
- Rangkuman & Poin Penting
📡 Recap API & Webhook
Sebelum masuk ke topik RAG, instruktur memberikan review singkat terminologi API:
| Istilah | Definisi Singkat |
|---|---|
| Calling API | Membuat web request via HTTP ke sebuah endpoint (URL) |
| Endpoint | URL tujuan API call |
| Webhook | URL yang kamu sediakan agar pihak lain bisa memanggil-mu (reverse API) |
| HTTP GET | Mengambil data (response JSON) |
| HTTP POST | Mengirim data dengan body berisi JSON |
Hari sebelumnya, kita menggunakan webhook saat ElevenLabs memanggil n8n — LLM di 11Labs membuat HTTP POST ke webhook n8n, mengirim pertanyaan dalam body, dan n8n merespons dengan jawaban.
🎯 Apa Itu RAG?
RAG = Retrieval-Augmented Generation — teknik untuk membuat LLM terlihat lebih berpengetahuan dengan cara menyisipkan informasi relevan ke dalam prompt, bukan dengan melatih ulang model.
Ide Kecil (Small Idea)
"Masukkan saja informasi tambahan ke dalam prompt!"
┌─────────────┐ ┌───────────────────────┐ ┌──────────┐
│ Pertanyaan │───▶│ Prompt + Konteks │───▶│ LLM │
│ User │ │ Tambahan │ │ │
│ │ │ "Harga tiket ke │ │ Jawaban │
│ │ │ London = $599..." │ │ akurat │
└─────────────┘ └───────────────────────┘ └──────────┘Masalah: Tidak scalable! Jika punya harga tiket ke semua kota di dunia, tidak mungkin memasukkan semuanya ke prompt.
Ide Besar (Big Idea)
"Bagaimana caranya memilih subset data yang relevan untuk dimasukkan ke prompt?"
Inilah inti sebenarnya dari RAG — sebuah trik cerdas (yang pada dasarnya adalah "hack") untuk menemukan dan memilih data paling relevan dari seluruh knowledge base.
┌─────────────┐ ┌───────────────┐ ┌───────────────┐ ┌──────────┐
│ Pertanyaan │───▶│ Cari data │───▶│ Prompt + │───▶│ LLM │
│ User │ │ relevan di │ │ subset data │ │ │
│ │ │ knowledge │ │ relevan │ │ Jawaban │
│ │ │ base │ │ │ │ akurat │
└─────────────┘ └───────────────┘ └───────────────┘ └──────────┘💡 Insight Kunci: RAG pada dasarnya adalah hack yang bekerja sangat baik. Ada seluruh "cottage industry" teknik-teknik lanjutan di sekitarnya, tapi prinsip dasarnya sederhana: cari data relevan, masukkan ke prompt.
🧮 Embedding Model & Vector
Apa Itu Embedding Model?
Embedding model adalah jenis LLM yang berbeda dari yang biasa kita gunakan. Alih-alih memprediksi teks selanjutnya, ia mengubah teks menjadi sekumpulan angka (vector) yang merepresentasikan makna dari teks tersebut.
| Nama Lain | Jenis |
|---|---|
| Embedding Model | Nama paling umum |
| Encoder | Nama teknis |
| Embedding LLM | Menekankan bahwa ini jenis LLM |
| Vector Embedding Model | Nama lengkap |
| Embedder | Nama singkat |
Cara Kerja
┌──────────────────┐ ┌───────────────────┐ ┌──────────────────┐
│ INPUT │ │ EMBEDDING MODEL │ │ OUTPUT │
│ "Berapa harga │───▶│ │───▶│ [0.23, -0.47, │
│ tiket ke │ │ (mis. OpenAI │ │ 0.82, 0.15, │
│ London?" │ │ embedding │ │ -0.33, ...] │
│ │ │ small) │ │ │
│ Teks biasa │ │ │ │ 1536 angka │
└──────────────────┘ └───────────────────┘ └──────────────────┘Konsep Vektor dalam Ruang Dimensi
- 3 angka = titik dalam ruang 3D (x, y, z) — mudah divisualisasikan
- 1536 angka = titik dalam ruang 1536 dimensi — tidak bisa divisualisasikan, tapi prinsip sama
y
▲
│ ● "Harga tiket London"
│ ● "Biaya ke Heathrow"
│ (DEKAT = makna mirip!)
│
│ ● "Cuaca di Tokyo"
│ (JAUH = makna beda)
──────────────────────────▶ xProperti Kunci
Teks dengan makna serupa akan menghasilkan vektor yang berdekatan dalam ruang multidimensi.
| Teks A | Teks B | Jarak Vektor | Makna |
|---|---|---|---|
| "Berapa harga tiket ke London?" | "Biaya perjalanan ke Heathrow" | Dekat | Makna serupa |
| "Berapa harga tiket ke London?" | "Ramalan cuaca Tokyo hari ini" | Jauh | Makna berbeda |
⚠️ Penting: Kedekatan vektor diukur menggunakan cosine similarity (bukan sekadar jarak Euclidean), tapi untuk pemahaman konseptual, "dekat = mirip" sudah cukup.
🔍 Semantic Search & Vector Database
Semantic Search
Kemampuan untuk mencari data berdasarkan makna, bukan kecocokan kata literal. Inilah yang membedakan RAG dari pencarian keyword biasa.
Pencarian Keyword:
Query: "Heathrow" → Cari kata "Heathrow" di database
Hasil: ❌ Tidak ditemukan (database hanya punya "London")
Semantic Search (RAG):
Query: "Biaya ke Heathrow" → Ubah ke vektor → Cari vektor terdekat
Hasil: ✅ "Harga tiket London $599" ditemukan (makna serupa!)Vector Database
Database yang dioptimalkan untuk menyimpan vektor dan melakukan pencarian kesamaan (similarity search) secara efisien.
| Database | Tipe | Dukungan Vektor |
|---|---|---|
| Supabase (Postgres) | Relational + Vector | ✅ Via pgvector extension |
| Pinecone | Vector-native | ✅ Khusus vektor |
| Weaviate | Vector-native | ✅ Khusus vektor |
| MongoDB | Document + Vector | ✅ Atlas Vector Search |
| Qdrant | Vector-native | ✅ Khusus vektor |
💡 Tren: Dulu hanya database khusus vektor yang bisa melakukan ini. Sekarang hampir semua database mainstream sudah mendukung vektor.
🔄 RAG Pipeline Lengkap
Diagram Flow RAG
┌──────────────┐
│ User bertanya│
│ "Berapa │
│ biaya ke │
│ Heathrow?" │
└──────┬───────┘
│
┌──────▼───────┐ ┌───────────────┐
│ n8n / Code │───▶│ Embedding │
│ │ │ Model │
│ │ │ (vectorize │
│ │ │ pertanyaan) │
│ │ └───────┬───────┘
│ │ │ Vector pertanyaan
│ │ ┌───────▼───────┐
│ │───▶│ Vector DB │
│ │ │ (cari vektor │
│ │ │ terdekat) │
│ │ └───────┬───────┘
│ │ │ Teks relevan (BUKAN vektor!)
│ │ ┌───────▼───────┐
│ │───▶│ LLM │
│ │ │ Prompt: │
│ │ │ "User tanya: │
│ │ │ ... Konteks │
│ │ │ relevan: │
│ │ │ ..." │
│ │ └───────┬───────┘
└──────────────┘ │
┌────────▼──────┐
│ Jawaban │
│ akurat │
│ ke user │
└───────────────┘Poin Penting yang Sering Disalahpahami
⚠️ LLM yang menjawab pertanyaan TIDAK menerima vektor! LLM itu hanya menerima teks biasa. Vektor hanya digunakan untuk proses pencarian di tengah. Setelah teks relevan ditemukan, yang dikirim ke LLM adalah teks asli, bukan angka-angka vektor.
Embedding Model ≠ LLM Penjawab
─────────────────────────────────────
• Bisa dari vendor berbeda
• Bisa dari keluarga model berbeda
• Embedding model: hanya untuk pencarian
• LLM penjawab: hanya menerima teksUse Case Bisnis RAG
| Skenario | Contoh |
|---|---|
| HR Knowledge Worker | Agent yang tahu semua kebijakan & data karyawan |
| Product Expert | Agent yang tahu seluruh katalog produk |
| Customer Support | Agent yang bisa menjawab FAQ dari ribuan dokumen |
| Internal Knowledge Base | Agent yang menguasai semua dokumentasi perusahaan |
| Legal/Compliance Assistant | Agent yang tahu semua regulasi dan prosedur |
⚔️ Agentic RAG vs Traditional RAG
Traditional RAG
Alur linear dan deterministik — kode menentukan cara pengambilan data.
User → Pertanyaan → Vector Retrieval → Prompt + Konteks → LLM → Jawaban
(linear, code-driven, satu kali retrieval)Agentic RAG
LLM yang mengontrol bagaimana pencarian dilakukan — bisa iteratif, bisa menggunakan berbagai tools.
User → Pertanyaan → AI Agent (LLM) ──┬──▶ Tool: Vector Retrieval
▲ ├──▶ Tool: SQL Query
│ ├──▶ Tool: API Call
│ └──▶ Tool: Lainnya
│ │
└──────────────────────┘
(iteratif, LLM memutuskan
tools mana yang dipakai)Perbandingan
| Aspek | Traditional RAG | Agentic RAG (★) |
|---|---|---|
| Kontrol alur | Kode/developer | LLM (autonomous) |
| Jenis retrieval | Satu metode (vektor saja) | Multiple (vektor, SQL, API, dll.) |
| Iterasi | Sekali jalan | Bisa berulang sampai konteks cukup |
| Fleksibilitas | Rendah | Tinggi |
| Kompleksitas | Sederhana | Lebih kompleks |
| Kualitas hasil | Baik | Lebih baik (lebih adaptif) |
Apakah RAG Sudah "Mati"?
Dua alasan orang bilang "RAG is dead":
Context window makin besar → "Masukkan saja semua data ke context window!"
- ❌ Red herring — data enterprise bisa gigabyte, tidak muat. Dan membuang compute.
Agentic RAG menggantikan traditional RAG
- ✅ Benar secara evolusi — Agentic RAG adalah penerus natural dari RAG
- Tapi ini bukan berarti RAG mati, hanya berevolusi
🎯 Kesimpulan: "Long live Agentic RAG!" — Ini adalah cara kita melakukan RAG saat ini.
🗄️ Pengenalan Supabase
Supabase adalah managed cloud platform untuk database PostgreSQL — sangat populer di kalangan startup dan agency.
Mengapa Supabase?
| Alasan | Penjelasan |
|---|---|
| Sangat populer | Digunakan banyak startup dan mid-size companies |
| Mudah digunakan | User-friendly, startup-friendly |
| Free tier generis | Unlimited API requests, 50K monthly active users |
| Mendukung vector embeddings | PostgreSQL + pgvector extension |
| Ada n8n node | Supabase Vector Store node tersedia di n8n |
| Skill transferable | Pengalaman integrasi berguna untuk proyek lain |
Setup Awal
- Buka supabase.com → Sign Up
- Buat Organization (nama: "[Nama]Research" atau "[Nama]Education")
- Pilih region terdekat
- Eksplorasi dashboard, pricing, dan dokumentasi
Apa yang Akan Dibangun
┌──────────────┐ ┌────────────┐ ┌──────────────┐ ┌──────────────┐
│ Google │───▶│ n8n │───▶│ Supabase │───▶│ Voice Agent │
│ Sheets │ │ Data │ │ Vector DB │ │ (11Labs + │
│ (Product │ │ Ingest │ │ (Knowledge │ │ n8n RAG) │
│ Data) │ │ Pipeline │ │ Base) │ │ │
└──────────────┘ └────────────┘ └──────────────┘ └──────────────┘
Day 4 Day 4 Day 4 Day 5📊 Rangkuman
Konsep-Konsep Kunci
| # | Konsep | Satu Kalimat |
|---|---|---|
| 1 | RAG | Teknik menyisipkan data relevan ke prompt agar LLM lebih pintar |
| 2 | Embedding Model | LLM khusus yang mengubah teks menjadi vektor (angka) |
| 3 | Vector | Sekumpulan angka yang merepresentasikan makna teks |
| 4 | Semantic Search | Pencarian berdasarkan makna, bukan kecocokan kata |
| 5 | Vector Database | Database yang efisien menyimpan & mencari vektor |
| 6 | Cosine Similarity | Metrik untuk mengukur kedekatan dua vektor |
| 7 | Agentic RAG | RAG di mana LLM mengontrol proses retrieval secara otonom |
| 8 | Supabase | Managed PostgreSQL + pgvector untuk vector storage |
Teknik RAG Lanjutan (Untuk Eksplorasi Mandiri)
| Teknik | Deskripsi Singkat |
|---|---|
| Graph RAG | RAG menggunakan knowledge graph |
| Hierarchical RAG | RAG dengan retrieval berlapis |
| Reranking | Menggunakan LLM untuk mengurutkan ulang hasil retrieval |
| Semantic Chunking | Memecah dokumen berdasarkan kesamaan makna |
| RAG Evaluation | Mengukur kualitas retrieval dan respons (MRI, dll.) |
🏆 Pencapaian
╔══════════════════════════════════════════════════════════╗
║ ✅ Memahami RAG: ide kecil & ide besar ║
║ ✅ Mengerti cara kerja embedding model & vector ║
║ ✅ Memahami semantic search vs keyword search ║
║ ✅ Mengenal vector database dan Supabase ║
║ ✅ Membedakan Traditional RAG vs Agentic RAG ║
║ ✅ Setup akun Supabase ║
║ ║
║ 📊 Progress Kursus: 53% ██████████░░░░░░░░░ ║
╚══════════════════════════════════════════════════════════╝Selanjutnya: Membangun data ingest pipeline — Extract, Transform, Chunk, Vectorize, Load ke Supabase.