வெளியிடப்பட்டது
முக்கியக் குறிப்புகள்
- தேடல் மூலம் மேம்படுத்தப்பட்ட உருவாக்கம் (RAG), ஒவ்வொரு கேள்விக்கும் தொடர்புடைய பகுதிகளை உங்கள் ஆவணங்களில் தேடி, அவற்றிலிருந்து பெரிய மொழி மாதிரி (LLM) பதிலளிக்கச் செய்கிறது. 2020-இல் Lewis மற்றும் குழுவினர் முன்மொழிந்த இந்த முறையில், மாதிரியை மறுபயிற்சி செய்யாமல், index-ஐ மாற்றுவதன் மூலமே அமைப்பின் அறிவைப் புதுப்பிக்கலாம்.
- RAG-இன் துல்லியம் முதலில் மாதிரியைச் சார்ந்ததல்ல; எந்த ஆவணங்கள் index-இல் சேர்க்கப்படுகின்றன, அவை எப்படித் தேடி எடுக்கப்படுகின்றன என்பதையே சார்ந்தது. தேவையற்ற உள்ளடக்கம் கலந்த, நகலான, காலாவதியான தகவல்களைத் தவறான பதில்களுக்கான காரணங்களாக ஜப்பானின் IPA வழிகாட்டுதல் குறிப்பிடுகிறது.
- RAG தவறான உருவாக்கத்தை (hallucination) குறைக்கிறது, ஆனால் முற்றிலும் நீக்குவதில்லை. தேடலையும் (சரியான பகுதிகள் கிடைத்தனவா?) உருவாக்கத்தையும் (பதில் அவற்றிலிருந்து விலகாமல் உள்ளதா, கேள்விக்கு விடையளிக்கிறதா?) தனித்தனியாக, உண்மையான கேள்விகளிலிருந்து உருவாக்கிய மதிப்பீட்டுத் தொகுப்பில், ஒவ்வொரு மாற்றத்துக்குப் பிறகும் அளவிடுங்கள்.
- அணுகல் கட்டுப்பாடே பாதுகாப்பின் மையப் பிரச்சினை. தேடலுக்கு முன்பே, index வினவலுக்குள் ஆவண மற்றும் chunk நிலையில் அனுமதிச் சரிபார்ப்பை OWASP Top 10 for LLM Applications 2026 கோருகிறது; index-இல் சேர்க்கப்படும் ஆவணங்கள் வழியாக நிகழும் மறைமுக prompt injection குறித்தும் எச்சரிக்கிறது.
- நிறுவல் வழிகள் மூன்று: கிளவுட் API, தனியார் இணைப்பு வழியாகக் கிளவுட் மாதிரி, உள்ளக (local) LLM. தரவின் ரகசியத்தன்மை, பயன்பாட்டு அளவு, நிறுவனத்தின் சொந்த இயக்கத் திறன் ஆகியவற்றைப் பொறுத்து இவற்றில் தேர்ந்தெடுக்கலாம். உள்ளகப் பயன்பாட்டுக்கான ஜப்பானியத் தேர்வுகளில், ஒற்றை GPU-வில் இயங்க வடிவமைக்கப்பட்ட NTT-இன் tsuzumi 2-உம், NII-இன் LLM-jp வெளியிடும் திறந்த மாதிரிகளும் அடங்கும்.
RAG (தேடல் மூலம் மேம்படுத்தப்பட்ட உருவாக்கம்) என்றால் என்ன?
தேடல் மூலம் மேம்படுத்தப்பட்ட உருவாக்கம் (RAG) என்பது, ஒவ்வொரு கேள்விக்கும் ஓர் அமைப்பு ஆவணங்கள் அல்லது தரவுத்தளங்களில் தொடர்புடைய பகுதிகளைத் தேடி, அவற்றிலிருந்து பெரிய மொழி மாதிரி (LLM) பதிலை உருவாக்கச் செய்யும் முறையாகும். உள் விதிமுறைகள், தயாரிப்புக் கையேடுகள், ஒப்பந்தங்கள், ஆதரவுப் பதிவுகள் போன்ற, மாதிரி ஒருபோதும் பயிற்சி பெறாத உள்ளடக்கத்தின் அடிப்படையில் பதில் அமைவதால், நிறுவன ஆவணங்களின் மீது செயல்படும் உருவாக்க AI-க்கு RAG வழக்கமான கட்டமைப்பாக உள்ளது.
இந்த முறை Lewis மற்றும் குழுவினரின் 2020 ஆய்வுக் கட்டுரையிலிருந்து வந்தது. முன்பயிற்சி பெற்ற அளவுரு நினைவகத்தையும் (parametric memory, அதாவது மொழி மாதிரி) அளவுரு அல்லாத நினைவகத்தையும் (non-parametric memory, அதாவது தேடக்கூடிய ஆவண index) இணைக்கும் மொழி உருவாக்க மாதிரியாக அக்கட்டுரை RAG-ஐ முன்மொழிந்தது. ஜப்பானின் உள்நாட்டு விவகாரங்கள் மற்றும் தகவல் தொடர்பு அமைச்சகமும் (MIC) பொருளாதாரம், வர்த்தகம் மற்றும் தொழில் அமைச்சகமும் (METI) வெளியிட்ட AI Guidelines for Business (Ver1.2) வழிகாட்டுதலின் பின்னிணைப்பு இந்த வரையறையை மேற்கோள் காட்டுகிறது; உருவாக்க AI பதில்களை மேலும் துல்லியமாக்க, நிறுவனங்கள் உள் ஆவணங்களையும் தரவுத்தளங்களையும் தேட RAG-ஐப் பயன்படுத்துவதாகவும் அது குறிப்பிடுகிறது.
அதே பின்னிணைப்பு எதிர்பார்க்கப்படும் பலன்களைப் பட்டியலிடுகிறது: தவறான உருவாக்கம் (hallucination) குறைவு, ஆதாரங்களைக் காட்ட முடிவதால் பதில்களில் கூடுதல் வெளிப்படைத்தன்மை, மறுபயிற்சி இல்லாமலே தரவு மூலங்களைச் சேர்க்க முடிவதால் குறைந்த செலவு. இதன் பயன்பாடுகள் எல்லாத் துறைகளிலும் பரவியுள்ளன:
- உற்பத்தித் துறை: பராமரிப்புக் கையேடுகள், கோளாறுப் பதிவுகளிலிருந்து, நடைமுறையையும் பக்கத்தையும் குறிப்பிட்டுப் பதிலளித்தல்
- சட்டம் மற்றும் கொள்முதல்: ஒப்பந்தங்களிலும் வர்த்தக நிபந்தனைகளிலும் தொடர்புடைய பிரிவைக் கண்டறிந்து மேற்கோள் காட்டுதல்
- வாடிக்கையாளர் ஆதரவு: தயாரிப்பு விவரக்குறிப்புகள், FAQ-களிலிருந்து ஆதாரங்களுடன் பதில் வரைவுகளைத் தயாரித்தல்
- உள் உதவி மையம்: பணி விதிகள், செலவுக் கொள்கை, தகவல் பாதுகாப்புக் கொள்கை பற்றிய கேள்விகளுக்குப் பதிலளித்தல்
- நிதிச் சேவைகள்: செயல்பாட்டு நடைமுறைகள், தயாரிப்பு ஆவணங்கள், உள் விதிகள் ஆகியவற்றின் அடிப்படையில் விசாரணைகளுக்குப் பதிலளித்தல்
RAG, index-இல் உள்ளவற்றிலிருந்து மட்டுமே பதிலளிக்க முடியும். உரை உருவாக்க AI-யை அறிமுகப்படுத்துதல் மற்றும் இயக்குதல் குறித்த, ஜப்பானின் தகவல் தொழில்நுட்ப ஊக்குவிப்பு முகமையின் (IPA) வழிகாட்டுதலும் இதையே சுட்டிக்காட்டுகிறது: வெக்டர் தரவுத்தளத்தில் சேமிக்கப்பட்ட தகவல்களுக்கு மட்டுமே RAG துல்லியத்தை மேம்படுத்தும்; எனவே அமைப்பு எவற்றுக்குப் பதிலளிக்க முடியும் என்பதைப் பயனர்களுக்குத் தெரிவிக்க வேண்டும்.
RAG எப்படிச் செயல்படுகிறது: உள்ளீர்ப்பு, தேடல், உருவாக்கம்
RAG அமைப்பு மூன்று நிலைகளில் இயங்குகிறது: உள்ளீர்ப்பு (ingestion) ஆவணங்களைத் தேடலுக்குத் தயார்செய்கிறது; தேடல் (retrieval) ஒரு கேள்விக்குத் தொடர்புடைய பகுதிகளைக் கண்டறிகிறது; உருவாக்கம் (generation) அவற்றிலிருந்து பதிலை எழுதுகிறது. பிழைகள் உருவாக்கப்பட்ட பதிலில் வெளிப்படுகின்றன; ஆனால் அவற்றின் காரணம் பெரும்பாலும் முதல் இரண்டு நிலைகளிலேயே இருக்கும்.
- உள்ளீர்ப்பு (indexing): PDF, Word கோப்புகள், wiki போன்ற மூலங்களிலிருந்து உரையைப் பிரித்தெடுத்து, chunk எனப்படும் சிறிய அலகுகளாகப் பிரித்து, ஒவ்வொரு chunk-ஐயும் embedding மாதிரி மூலம் வெக்டராக மாற்றி, ஆவணப் பெயர், பதிப்பு, அணுகல் அனுமதிகள் போன்ற metadata-வுடன் வெக்டர் தரவுத்தளத்திலோ தேடுபொறியிலோ சேமித்தல்.
- தேடல்: அதே embedding மாதிரியைக் கொண்டு கேள்வியையும் வெக்டராக மாற்றி, பொருளில் மிக நெருக்கமான சில chunk-களை எடுத்தல். பல அமைப்புகள் முக்கியச்சொல் தேடலையும் சேர்க்கின்றன, அல்லது கிடைத்த chunk-களை அடுத்த நிலைக்கு அனுப்பும் முன் மீண்டும் தரவரிசைப்படுத்துகின்றன (re-ranking).
- உருவாக்கம்: தேடி எடுத்த chunk-களைக் கேள்வியுடன் LLM-க்கு அனுப்பி, வழங்கப்பட்ட உள்ளடக்கத்திலிருந்து மட்டுமே பதிலளிக்கவும் ஆதாரங்களைக் குறிப்பிடவும் அறிவுறுத்துதல்.
Lewis குழுவினரின் சோதனைகளில், Wikipedia ஒன்றோடொன்று மேற்பொருந்தாத 100 சொற்கள் கொண்ட chunk-களாகப் பிரிக்கப்பட்டு, 21 மில்லியன் பகுதிகள் கொண்ட index உருவாக்கப்பட்டது. அந்த index வெக்டர்களை வைத்திருக்கச் சுமார் 100 GB CPU நினைவகம் தேவைப்பட்டது; சுருக்கம் (compression) மூலம் அது 36 GB-ஆகக் குறைக்கப்பட்டது. எனவே உள்ளக (on-premises) அமைப்பை உருவாக்கும்போது, மாதிரிக்கான GPU-களுடன், index-க்கான நினைவகத்தையும் சேமிப்பகத்தையும் திட்டமிட வேண்டும்.
அதே கட்டுரை, டிசம்பர் 2016 Wikipedia index-க்குப் பதிலாக டிசம்பர் 2018 index-ஐ மாற்றி வைத்து, இடைப்பட்ட காலத்தில் மாறிய 82 உலகத் தலைவர்கள் பற்றிக் கேட்டது. கேள்வியின் காலமும் index-உம் பொருந்தியபோது, RAG 70% (2016), 68% (2018) சரியாகப் பதிலளித்தது; பொருந்தாதபோது, துல்லியம் 12%, 4% எனக் குறைந்தது. மறுபயிற்சி இல்லாமல் index-ஐ மாற்றுவதன் மூலமே அறிவைப் புதுப்பிக்க முடிவது, கொள்கைகளும் தயாரிப்புத் தகவல்களும் அடிக்கடி மாறும் இடங்களில் RAG-ஐத் தேர்வு செய்வதற்கான வலுவான காரணம்.
RAG அல்லது fine-tuning: எப்போது எதைப் பயன்படுத்துவது
உங்கள் நிறுவனத்தின் அறிவை அடிப்படையாகக் கொண்ட பதில்கள் வேண்டுமெனில், RAG-இலிருந்து தொடங்குங்கள். Fine-tuning, கூடுதல் பயிற்சியின் மூலம் மாதிரியின் எடைகளை (weights) சரிசெய்கிறது. எழுத்து நடை, வெளியீட்டு வடிவம் அல்லது ஒரு குறிப்பிட்ட பணிக்கு மாதிரியைத் தகவமைக்க இது ஏற்றது; ஆனால் அறிவைப் புதுப்பிக்க மறுபயிற்சி தேவை, மேலும் ஒரு பதில் எந்த ஆவணத்திலிருந்து வந்தது என்பதைக் காட்டுவது கடினம். அறிவைத் தம் அளவுருக்களில் மட்டுமே வைத்திருக்கும் மாதிரிகளுக்கு, பதிலின் மூலத்தைக் காட்டுதலும் அறிவைப் புதுப்பித்தலும் தீர்க்கப்படாத சிக்கல்கள் என Lewis குழுவினர் விவரிக்கின்றனர்.
| அம்சம் | RAG | Fine-tuning |
|---|---|---|
| அறிவைப் புதுப்பித்தல் | Index-இல் உள்ள தரவை மாற்றுதல் | மாதிரியை மறுபயிற்சி செய்தல் |
| ஆதாரங்களைக் காட்டுதல் | பயன்படுத்திய ஆவணங்களையும் பகுதிகளையும் மேற்கோள் காட்ட முடியும் | ஒரு பதிலை அதன் ஆவணம் வரை பின்தொடர்வது கடினம் |
| மிகப் பொருத்தமானது | கொள்கைகள், கையேடுகள், ஒப்பந்தங்கள் போன்ற மாறிக்கொண்டே இருக்கும் அறிவிலிருந்து பதிலளித்தல் | சீரான நடை அல்லது வடிவம், வகைப்படுத்தல் போன்ற குறிப்பிட்ட பணிகள் |
| முக்கியத் தயாரிப்பு | ஆவணங்களைச் சுத்தம் செய்தல், chunk-களாகப் பிரித்தல், அனுமதிகளை இணைத்தல் | பயிற்சித் தரவை உருவாக்குதல், அதன் தரத்தைச் சரிபார்த்தல் |
| முக்கிய இடர்கள் | தேடலில் தவறவிடுதல், காலாவதியான ஆவணங்கள், அனுமதிக்கு மீறிய அணுகல் | மாதிரி நினைவில் வைத்த பயிற்சித் தரவு வெளியீடுகளில் மீண்டும் தோன்றுதல், மறுபயிற்சிச் சுமை |
ஜூன் 2024 நிலவரப்படி, அறிமுகப்படுத்துவதிலும் RAG எளிதானது, நிறுவனங்கள் பயன்படுத்த மேலும் நடைமுறைக்கு ஏற்றது என்ற கருத்தை IPA வழிகாட்டுதல் முன்வைக்கிறது. இரண்டும் ஒன்றையொன்று விலக்குபவை அல்ல: RAG அறிவை வழங்க, fine-tuning வெளியீட்டு வடிவத்தைச் செம்மைப்படுத்தலாம். அமெரிக்காவின் தேசிய தரநிலைகள் மற்றும் தொழில்நுட்ப நிறுவனத்தின் (NIST) Generative AI Profile (NIST AI 600-1), இவற்றில் எதைச் செயல்படுத்திய பின்னும் மாதிரியின் இடர்களை மறுமதிப்பீடு செய்யுமாறு நிறுவனங்களைக் கேட்டுக்கொள்கிறது.
துல்லியத்துக்கான வடிவமைப்பு: ஆவணங்கள், chunking, தேடல், அறிவுறுத்தல்கள்
மாதிரியின் திறன் செயல்படத் தொடங்கும் முன்பே, index-இல் உள்ள ஆவணங்களின் தரமும் தேடல் வடிவமைப்புமே RAG-இன் துல்லியத்தைத் தீர்மானிக்கின்றன. வெக்டர் தரவுத்தளத்தில் உள்ள தேவையற்ற உள்ளடக்கம் கலந்த, நகலான அல்லது காலாவதியான தகவல்கள் தவறான உருவாக்கத்துக்கும் தவறான பதில்களுக்கும் வழிவகுக்கும் என IPA வழிகாட்டுதல் எச்சரிக்கிறது. RAG-இன் துல்லியம் அது பயன்படுத்தும் தகவலைச் சார்ந்திருப்பதால், மூலங்கள் நம்பகமானவையாக இருக்க வேண்டும், அவற்றின் தரம் சீரான இடைவெளியில் நிர்வகிக்கப்பட்டுக் கண்காணிக்கப்பட வேண்டும் என AI Guidelines for Business-இன் பின்னிணைப்பு கூடுதலாகக் குறிப்பிடுகிறது.
ஆவணங்களைத் தயார்செய்தல்
- வரம்பைக் குறுக்குங்கள்: ஒரு வணிகச் செயல்முறையிலும் ஒரு ஆவணத் தொகுப்பிலும் தொடங்கி, அதிகாரபூர்வமான தற்போதைய பதிப்பு எங்கே உள்ளது என்பதை உறுதிசெய்யுங்கள்
- பழைய பதிப்புகளையும் நகல்களையும் நீக்குங்கள்: புதியவற்றால் மாற்றப்பட்ட விதிமுறைகளையும் நகல் கோப்புகளையும் index-இல் சேர்க்காதீர்கள்; பதிப்பையும் நடைமுறைக்கு வரும் தேதியையும் metadata-வாகப் பதிவுசெய்யுங்கள்
- பிரித்தெடுப்பின் தரத்தைச் சரிபாருங்கள்: ஸ்கேன் செய்யப்பட்ட PDF-கள், அட்டவணைகள், பல நெடுவரிசைப் பக்கங்கள் ஆகியவற்றில் சிலவற்றை எடுத்து, உரை சிதையாமல் வந்துள்ளதா என உறுதிசெய்யுங்கள்
- அனுமதிகளை இணையுங்கள்: ஒவ்வொரு ஆவணத்துக்கும், தேவையான இடங்களில் ஒவ்வொரு chunk-க்கும், எந்தத் துறைகளும் பணிப் பொறுப்புகளும் அதைப் பார்க்கலாம் என்பதைப் பதிவுசெய்யுங்கள்
Chunking மற்றும் தேடலை வடிவமைத்தல்
தலைப்புகள், பிரிவுகள், நடைமுறைப் படிகள் போன்ற ஆவணத்தின் இயல்பான எல்லைகளில் chunk-களைப் பிரியுங்கள்; ஒவ்வொரு chunk-உம் தனியாகப் படித்தாலும் பொருள் புரியும்படி, ஆவணத் தலைப்பையும் பிரிவுத் தலைப்பையும் அதனுடன் இணையுங்கள். ஜப்பானிய உரையில் சொற்களுக்கு இடையே இடைவெளி இல்லாததால், ஜப்பானிய ஆவணங்களுக்கு chunk நீளத்தைச் சொற்களில் அல்லாமல் எழுத்துகள் அல்லது token-களில் அளவிடுங்கள். அடுத்தடுத்த chunk-களுக்கு இடையே சிறிதளவு மேற்பொருந்துதல் (overlap) இருந்தால், எல்லைகளில் தகவல் இழப்பைத் தவிர்க்க முடியும்.
வெக்டர் தேடலை மட்டுமே நம்பியிருக்காதீர்கள்: BM25 போன்ற முக்கியச்சொல் தேடலுடன் இணைத்துப் பயன்படுத்துவதைக் கருத்தில் கொள்ளுங்கள். Lewis குழுவினரின் சோதனைகளில், தனிப்பெயர்களை மையமாகக் கொண்ட உண்மைச் சரிபார்ப்புப் பணியான FEVER-இல் BM25 தேடலே சிறந்த முடிவைத் தந்தது. மாடல் எண்கள், பிரிவு எண்கள், தயாரிப்புப் பெயர்கள் அல்லது வாடிக்கையாளர் பெயர்கள் அடங்கிய கேள்விகளுக்கு, முக்கியச்சொற்களின் துல்லியமான பொருத்தம் பயனளிக்கும்.
LLM-க்கு அனுப்பும் chunk-களின் எண்ணிக்கையையும் சரிசெய்ய வேண்டும். தேடி எடுக்கப்படும் ஆவணங்களின் எண்ணிக்கை செயல்திறனையும் இயங்கும் நேரத்தையும் பாதிக்கிறது என Lewis குழுவினர் தெரிவிக்கின்றனர். அதிகமாக அனுப்பினால் தவறவிடுதல் குறையும்; ஆனால் RAGAS கட்டுரை குறிப்பிடுவது போல, மிக நீண்ட சூழலை (context) LLM சிறப்பாகப் பயன்படுத்துவது கடினம், அதைச் செயலாக்கும் செலவும் அதிகம்.
பதிலளிக்கும் அறிவுறுத்தல்களை அமைத்தல்
- வழங்கப்பட்ட உள்ளடக்கத்திலிருந்து மட்டுமே பதிலளிக்க வேண்டும்; அதில் கேள்விக்கான விடை இல்லையெனில், எதுவும் கிடைக்கவில்லை எனத் தெரிவிக்க வேண்டும்
- பயனர்கள் மூலத்தைச் சரிபார்க்க முடியும்படி, ஆதாரங்களை (ஆவணப் பெயர், பதிப்பு, பக்கம் அல்லது பிரிவு எண்) குறிப்பிட வேண்டும்
- வெளியீட்டுக் கட்டமைப்பை (பதில், அடிப்படை, முன்னெச்சரிக்கைக் குறிப்புகள்) நிலைப்படுத்தி, தேவையான புலங்கள் உள்ளனவா என்பதை நிரல் மூலம் சரிபார்க்க வேண்டும்
OWASP Top 10 for LLM Applications 2026-உம் LLM07 (Misinformation) பிரிவில், கூற்றுகளை அதிகாரபூர்வமான, நடப்பு ஆதாரங்களின் அடிப்படையில் அமைக்கவும், விடுபடல்களைத் தடுக்கக் கட்டாயப் புலங்களுடன் கூடிய கட்டமைக்கப்பட்ட வெளியீடுகளைக் கோரவும் இதேபோல் பரிந்துரைக்கிறது.
RAG மதிப்பீடு: தேடலையும் உருவாக்கத்தையும் தனித்தனியாக அளவிடுங்கள்
RAG-இன் துல்லியத்தை இரண்டு பகுதிகளாக அளவிடுங்கள்: அமைப்பு தேவையான ஆவணங்களைத் தேடி எடுத்ததா, அவற்றிலிருந்து விலகாமல் கேள்விக்குப் பதிலளித்ததா? பதில் நன்றாக இருந்ததா என்பதை மட்டும் மதிப்பிட்டால், தோல்வி தேடலிலிருந்து வந்ததா உருவாக்கத்திலிருந்து வந்ததா என்று பிரித்தறிய முடியாது; எனவே எதைச் சரிசெய்வது என்றும் முடிவு செய்ய முடியாது.
RAG செயல்முறைகளின் (pipeline) தானியங்கு மதிப்பீட்டுக்கான கட்டமைப்பை முன்மொழிந்த RAGAS கட்டுரை, மூன்று தரப் பரிமாணங்களை மையமாகக் கொண்டுள்ளது:
- நம்பகத்தன்மை (faithfulness): வழங்கப்பட்ட சூழலை (தேடி எடுத்த ஆவணங்களை) பதில் அடிப்படையாகக் கொண்டுள்ளதா
- பதில் பொருத்தம் (answer relevance): உண்மையில் கேட்கப்பட்ட கேள்விக்குப் பதில் விடையளிக்கிறதா
- சூழல் பொருத்தம் (context relevance): தொடர்பற்ற தகவல் முடிந்தவரை குறைவாக, தேடி எடுத்த சூழல் கேள்வியை மையமாகக் கொண்டுள்ளதா
தேடலை அளவிட, பதிலைக் கொண்ட ஆவணம் அல்லது chunk முதல் சில முடிவுகளில் எத்தனை முறை இடம்பெறுகிறது என்று பாருங்கள். வணிகப் பயன்பாட்டுக்கு, மேற்கோள்கள் சரியானவையா (மேற்கோள் காட்டிய பகுதி, பதில் கூறுவதை உண்மையில் சொல்கிறதா) என்பதையும், ஆவணங்களில் கேள்விக்கான விடை இல்லாதபோது எதுவும் கிடைக்கவில்லை என அமைப்பு தெரிவிக்கிறதா என்பதையும் சரிபாருங்கள்.
மதிப்பீட்டுத் தொகுப்பை உருவாக்குதல்
- உண்மையான கேள்விகளைச் சேகரியுங்கள்: விசாரணை log-கள், உதவி மையப் பதிவுகளிலிருந்து, அடிக்கடி கேட்கப்படும் கேள்விகளையும் தவறான பதில் பெரும் இழப்பை ஏற்படுத்தக்கூடிய கேள்விகளையும் தேர்ந்தெடுங்கள்
- சரியான விடைகளைப் பதிவுசெய்யுங்கள்: ஒவ்வொரு கேள்விக்கும், மூல ஆவணம், தொடர்புடைய பகுதி, எதிர்பார்க்கப்படும் பதில் ஆகியவற்றை வணிகப் பொறுப்பாளர் குறித்து வைக்கச் செய்யுங்கள்
- கடினமான நிகழ்வுகளையும் சேருங்கள்: ஆவணங்களில் விடை இல்லாத கேள்விகள், பதிப்புகளுக்கு இடையே விடை மாறிய கேள்விகள், பல ஆவணங்களில் பரவியிருக்கும் கேள்விகள்
- ஒவ்வொரு மாற்றத்தின்போதும் மீண்டும் இயக்குங்கள்: ஆவணங்கள், chunking, embedding மாதிரி, LLM அல்லது prompt மாறும் ஒவ்வொரு முறையும், அதே தொகுப்பில் முடிவுகளை ஒப்பிடுங்கள்
குறுகிய, முறைப்படுத்தப்படாத, சில சம்பவங்களை மட்டுமே சார்ந்த மதிப்பீடுகளிலிருந்து ஒரு உருவாக்க AI அமைப்பின் செயல்திறனைப் பொதுமைப்படுத்த வேண்டாம் என NIST AI 600-1 அறிவுறுத்துகிறது; வெளியீடுகளில் உள்ள ஆதாரங்களையும் மேற்கோள்களையும் நிறுவலுக்கு முன்பும் தொடர் கண்காணிப்பிலும் மதிப்பாய்வு செய்து சரிபார்க்கவும் கோருகிறது. ஒருசில கேள்விகளைச் சோதித்துவிட்டு நேரடிப் பயன்பாட்டுக்குக் கொண்டுவருவதற்குப் பதிலாக, முடிவுகளைப் பதிவுசெய்து, தேர்ச்சி அளவுகோல்களை முன்கூட்டியே ஒப்புக்கொள்ளுங்கள்; அதுவே அமைப்பின் தரத்தை விளக்க உதவுகிறது.
LLM-ஐ மதிப்பீட்டாளராகக் கொண்ட தானியங்கு மதிப்பீடு பல கேள்விகளை விரைவாக உள்ளடக்கும்; ஆனால் மதிப்பீட்டாளரும் தவறலாம். தானியங்கு மதிப்பெண்களுடன், வணிகப் பொறுப்பாளர்கள் சில பதில்களை நேரடியாகச் சரிபார்ப்பதையும் இணையுங்கள்.
RAG பாதுகாப்பு: அனுமதிகள், மறைமுக prompt injection, வெக்டர் தரவுத்தளம்
RAG பாதுகாப்பைத் தனித்துவமாக்குவது, index-இல் உள்ள ஆவணங்கள் LLM-க்குள் நுழையும் புதிய உள்ளீட்டு வழியாகவும், தகவல் கசிவுக்கான புதிய வழியாகவும் ஒரே நேரத்தில் மாறுவதுதான். ஆகஸ்ட் 2026-இல் வெளியான OWASP Top 10 for LLM Applications 2026, LLM01 (Prompt Injection), LLM02 (Sensitive Information Disclosure), LLM09 (Vector and Embedding Weaknesses) உள்ளிட்ட பிரிவுகளில் RAG தொடர்பான இடர்களையும் தணிப்பு நடவடிக்கைகளையும் விவரிக்கிறது.
| இடர் | என்ன நடக்கிறது | முக்கியத் தணிப்பு நடவடிக்கைகள் |
|---|---|---|
| அனுமதிக்கு மீறிய அணுகல் (LLM02, LLM09) | பயனர் பார்க்க அனுமதியில்லாத மனிதவள, ஒப்பந்த அல்லது வாடிக்கையாளர் chunk-கள் தேடலில் எடுக்கப்பட்டுப் பதிலில் தோன்றுகின்றன | Index வினவலுக்குள்ளேயே ஆவண மற்றும் chunk நிலை அனுமதிச் சரிபார்ப்பைச் செயல்படுத்துதல்; மிக ரகசியமான துறைகளுக்குத் தனி index-கள் |
| மறைமுக prompt injection (LLM01) | உள்ளீர்க்கப்பட்ட ஆவணத்தில் மறைந்திருக்கும் அறிவுறுத்தல்களை LLM பின்பற்றுவதால், பதில் திரிக்கப்படுகிறது | உள்ளீர்ப்புக்கு முன் ஆவணங்களைச் சரிபார்த்தல், மறைந்த உரையையும் வெள்ளைப் பின்னணியில் வெள்ளை எழுத்தில் உள்ள உரையையும் நீக்குதல், வெளி ஆவணங்களைத் தனியாக index செய்தல் |
| அறிவுத் தள நச்சூட்டல் (LLM01, LLM09) | திட்டமிட்டு உருவாக்கப்பட்ட ஆவணம் இலக்குக் கேள்விக்குத் தேடலில் எடுக்கப்பட்டு, பதிலைத் திசைதிருப்புகிறது | உள்ளீர்ப்பு மூலங்களைக் கட்டுப்படுத்துதல், மூலத்தையும் உள்ளீர்ப்பு நேரத்தையும் பதிவுசெய்தல், வெளி உள்ளடக்கத்தை மனிதர்கள் மதிப்பாய்வு செய்தல் |
| Embedding தலைகீழாக்கம் (LLM09) | கசிந்த வெக்டர்கள் அல்லது காப்புப்பிரதிகளிலிருந்து மூல உரை மீண்டும் உருவாக்கப்படுகிறது | வெக்டர் தரவுத்தளத்தையும் அதன் காப்புப்பிரதிகளையும் மூல ஆவணங்களின் அதே நிலையில் வகைப்படுத்தி மறையாக்கம் செய்தல் |
| Log-கள் வழியான கசிவு (LLM02) | கண்காணிப்புக் கருவிகள் (observability) முழு prompt-கள், பதில்கள், தேடி எடுத்த chunk-களைப் பதிவுசெய்கின்றன | Log-களுக்கான அணுகலைக் கட்டுப்படுத்துதல், பதிவுசெய்யும் முன் ரகசியத் தரவை நீக்குதல் |
அனுமதிகள் விஷயத்தில் OWASP தெளிவாக உள்ளது. ஒப்புமைத் தேடல் (similarity search) அணுகல் கட்டுப்பாட்டுப் பட்டியல்களை (ACL) மதிப்பதில்லை; ஏற்கெனவே மாதிரிக்கு அனுப்பப்பட்ட chunk-ஐத் திரும்பப் பெற முடியாது; எனவே தேடலுக்குப் பிறகு பயன்பாட்டு நிலையில் வடிகட்டுவது காலம் கடந்ததாகிவிடும். அனுமதிச் சரிபார்ப்பு தேடலுக்கு முன்பே, index வினவலுக்குள் நடக்க வேண்டும்; மிக ரகசியமான பணிச்சுமைகளுக்கு, ஒவ்வொரு tenant அல்லது நம்பிக்கை மண்டலத்துக்கும் (trust zone) பௌதிகமாகத் தனித்தனியான index-கள் தேவை. பெரும்பாலும் பொதுவான ஒரு ஆவணத்திலும் ஒரு ரகசியப் பத்தி இருக்கலாம்; எனவே கட்டுப்பாட்டின் அலகு chunk ஆகும்.
வெக்டர் தரவுத்தளத்தில் சேமிக்கப்படும் ரகசியத் தரவு அனைத்துப் பயனர்களுக்கும் தெரியக்கூடியதாகிவிடுவதை IPA வழிகாட்டுதலும் RAG-இன் ஒரு சிக்கலாகப் பட்டியலிடுகிறது; தகவலின் ரகசியத்தன்மைக்கு ஏற்ப எந்தப் பயனர்கள் அதைப் பார்க்கலாம் என்பதை அமைக்கும் முறையையும் விவரிக்கிறது. 2024 மார்ச் முதல் மே வரை IPA நிறுவனங்களிடம் நடத்திய நேர்காணல்களில், பல நிறுவனங்கள் துறை அல்லது திட்ட அடிப்படையில் பயன்பாட்டு விண்ணப்பங்களைப் பெற்று, ஒவ்வொன்றின் ஆவணங்களையும் தனிப் பகுதியில் சேமித்தன.
மறைமுக prompt injection குறித்து, மில்லியன் கணக்கான உரைகள் கொண்ட அறிவுத் தளத்துக்கு எதிராக, வெறும் ஐந்து நச்சூட்டப்பட்ட ஆவணங்களே சுமார் 90% தாக்குதல் வெற்றியை எட்டிய ஆய்வை (Zou மற்றும் குழுவினர், 2025) OWASP மேற்கோள் காட்டுகிறது. விநியோகஸ்தர்களின் கோப்புகள், வேலை விண்ணப்பங்கள், வாடிக்கையாளர் மின்னஞ்சல்கள் போன்ற வெளியாட்கள் எழுதிய உரையை உள்ளீர்த்தால், உள் பயன்பாட்டுக்கான அமைப்பும் அதே வழியைத் திறந்துவிடுகிறது. RAG தேடும் தரவில் அங்கீகரிக்கப்படாத மாற்றங்களை முன்கூட்டியே கண்டறிய, அந்தத் தரவைச் சீரான இடைவெளியில் நிர்வகிப்பதையும் தணிக்கை செய்வதையும் கருத்தில் கொள்ளுமாறு AI Guidelines for Business-இன் பின்னிணைப்பும் AI வழங்குநர்களைக் கேட்டுக்கொள்கிறது.
மின்னஞ்சல் அனுப்புதல், பதிவுகளைப் புதுப்பித்தல் போன்று LLM பதிலளிப்பதைத் தாண்டிச் செயல்படுமானால், அதே திட்டத்தின் Top 10 for Agentic Applications-ஐயும் இந்தப் பட்டியலுடன் சேர்த்துப் படிக்குமாறு OWASP அறிவுறுத்துகிறது.
கிளவுட் API, தனியார் இணைப்பு அல்லது உள்ளக நிறுவல் (local LLM)
LLM-உம் index-உம் எங்கே இயங்குகின்றன என்பதைப் பொறுத்து, மூன்று பொதுவான வழிகள் உள்ளன. ஆவணங்கள் எவ்வளவு ரகசியமானவை, அவை நிறுவனத்துக்கு வெளியே செல்லலாமா, பயன்பாட்டு அளவு, தேவையான மாதிரித் திறன், GPU-களையும் மாதிரிகளையும் நிறுவனத்துக்குள்ளேயே இயக்க முடியுமா என்பவையே தீர்மானிக்கும் காரணிகள்.
| அம்சம் | கிளவுட் API | தனியார் இணைப்பு வழியாகக் கிளவுட் | உள்ளக அல்லது local LLM |
|---|---|---|---|
| கட்டமைப்பு | இணையம் வழியாக LLM API-ஐ அழைத்தல் | குத்தகை இணைப்பு (leased line) அல்லது தனியார் இணைப்பு மூலம் கிளவுட் LLM-ஐப் பயன்படுத்துதல் | உங்கள் சொந்தத் தரவு மையத்திலோ சாதனங்களிலோ மாதிரியை இயக்குதல் |
| தரவு செல்லும் இடம் | கேள்விகளும் தேடி எடுத்த உரையும் வழங்குநருக்குச் செல்கின்றன | தரவு வழங்குநருக்குச் செல்கிறது, ஆனால் இணையம் வழியாக அல்ல | தரவு நிறுவனத்துக்குள்ளேயே இருக்கும் |
| கிடைக்கும் மாதிரிகள் | வழங்குநரின் பெரிய மாதிரிகளிலிருந்து தேர்வு | தனியார் இணைப்பை ஆதரிக்கும் சேவைகளில் உள்ள மாதிரிகளிலிருந்து தேர்வு | உங்கள் GPU-களில் இயங்கக்கூடிய மாதிரிகள் மட்டுமே |
| தொடங்குதல் | விரைவானது, குறைந்த தொடக்கச் செலவு | வலையமைப்பு மற்றும் சூழல் அமைவு தேவை | GPU சர்வர்களை வாங்கி அமைக்க வேண்டும் |
| இயக்கச் சுமை | குறைவு (வழங்குநர் மாதிரியை இயக்குகிறார்) | நடுத்தரம் (இணைப்பும் சூழலும்) | அதிகம் (புதுப்பிப்புகள், patch-கள், கண்காணிப்பு உங்கள் பொறுப்பு) |
| தேர்வுக்கு முன் சரிபார்க்க | உள்ளீடுகள் பயிற்சிக்குப் பயன்படுத்தப்படுகின்றனவா அல்லது தக்கவைக்கப்படுகின்றனவா, தரவு எங்கே சேமிக்கப்படுகிறது | வலையமைப்புப் பாதை, log-கள் வைக்கப்படும் இடம், வழங்குநரின் சான்றிதழ்கள் | GPU திறன், புதுப்பிப்பு ஏற்பாடுகள், மாதிரி உரிமங்கள் |
கிளவுட் API-ஐப் பயன்படுத்தும்போதும், அனுப்புவதைக் குறைந்தபட்சமாக வைத்திருங்கள். ஒரு பணிக்குத் தேவையான புலங்களை மட்டுமே வெளி வழங்குநர்களுக்கு அனுப்பவும், பயிற்சிக்குப் பயன்படுத்தக்கூடாது, தக்கவைக்கக்கூடாது என்பதைக் கொள்கை வாசகத்தை மட்டும் நம்பாமல் தொழில்நுட்ப ரீதியாகச் செயல்படுத்தவும் OWASP பரிந்துரைக்கிறது.
உங்கள் சொந்தச் சூழலில் இயங்கும் local LLM, ஆவணங்களையும் கேள்விகளையும் நிறுவனத்துக்குள்ளேயே வைத்திருக்கிறது; ஆனால் பயன்படுத்தக்கூடிய மாதிரியின் அளவை உங்கள் GPU-கள் கட்டுப்படுத்துகின்றன. ஜப்பானிய மொழியில் வலுவான மாதிரிகளில், ஜப்பானின் தேசிய தகவலியல் நிறுவனத்தின் (NII) பெரிய மொழி மாதிரி ஆராய்ச்சி மற்றும் மேம்பாட்டு மையம் நடத்தும் LLM-jp திட்டம், ஜப்பானிய மொழியில் வலுவான திறந்த மாதிரிகளை உருவாக்குவதை இலக்காகக் கொண்டு அவற்றை வெளியிடுகிறது. 40 GB அல்லது அதற்குக் குறைவான நினைவகம் கொண்ட ஒற்றை GPU-வில் இயங்கும்படி உருவாக்கப்பட்ட இலகுரக மாதிரியான tsuzumi 2-ஐ, NTT அக்டோபர் 2025-இல் வழங்கத் தொடங்கியது. ஒவ்வொரு மாதிரியின் உரிமத்தையும் பயன்பாட்டு விதிமுறைகளையும் சரிபாருங்கள்.
எந்த வழியைத் தேர்ந்தெடுத்தாலும், index, அதன் காப்புப்பிரதிகள், log-கள் எங்கே இருக்க வேண்டும் என்பதை LLM-க்குப் பயன்படுத்தும் அதே தரநிலையில் முடிவு செய்யுங்கள். மூல உரையை மீட்டெடுக்கும் வகையில் embedding-களைத் தலைகீழாக்க (inversion) முடியும் என்பதால், வெக்டர் தரவுத்தளக் காப்புப்பிரதிகளை மூல ஆவணங்களின் அதே ரகசிய நிலையில் கையாளுமாறு OWASP கேட்டுக்கொள்கிறது. வெளிச் சேவையில் index அல்லது log-கள் இருந்தால், LLM-ஐ மட்டும் மூடிய வலையமைப்பில் வைப்பது தரவை நிறுவனத்துக்குள் வைத்திருக்காது.
தனிப்பட்ட அல்லது உள்ளக நிறுவல் மட்டுமே ஒரு அமைப்பைப் பாதுகாப்பானதாக்கிவிடாது. அனுமதி வடிவமைப்பு, log மேலாண்மை, patch-கள், மாதிரிப் புதுப்பிப்புகள் ஆகியவை எல்லா வழிகளிலும் தேவை.
RAG-ஐ இயக்குதல்: ஆவணப் புதுப்பிப்பு, கண்காணிப்பு, மறுமதிப்பீடு
RAG அமைப்பு அறிமுகத்துடன் முடிந்துவிடுவதில்லை; ஆவணங்களைப் புதுப்பித்தலும் மறுமதிப்பீடும் தொடர்ந்து நடக்கும் சுழற்சி அது. RAG-ஐத் துல்லியமாக வைத்திருக்க, வெக்டர் தரவுத்தளத்தைச் சீரான இடைவெளியில் புதுப்பித்து, முடிந்தவரை நடப்பில் உள்ளதாகவும் நகல்கள் இல்லாததாகவும் வைத்திருக்க வேண்டும் என IPA வழிகாட்டுதல் கூறுகிறது.
- புதுப்பிப்புகளைத் தானியக்கமாக்குங்கள்: திருத்தங்களும் திரும்பப் பெறுதல்களும் உடனடியாகப் பிரதிபலிக்கும்படி, அதிகாரபூர்வ ஆவணங்கள் உள்ள இடத்துடன் index-ஐ இணையுங்கள்; நீக்கப்பட்ட ஆவணங்களின் embedding-களைக் குறிப்பிட்ட காலத்துக்குள் நீக்குங்கள்
- Embedding மாதிரியை மாற்றும்போது அனைத்தையும் மீண்டும் embed செய்யுங்கள்: பழைய, புதிய வெக்டர்களைக் கலக்க வேண்டாம் என OWASP அறிவுறுத்துகிறது
- மாற்ற முடியாத தேடல் log-களை வைத்திருங்கள்: எந்தக் கேள்வி, யாருடைய அனுமதியின் கீழ், எந்த chunk-களைத் திருப்பியது என்பதைப் பதிவுசெய்யுங்கள்
- பயனர் கருத்துகளைச் சேகரியுங்கள்: பதில்களுக்கான மதிப்பெண்களையும் அமைப்பால் பதிலளிக்க முடியாத கேள்விகளையும் திரட்டி, ஆவணங்களைச் சேர்க்கவும் மதிப்பீட்டுத் தொகுப்பைப் புதுப்பிக்கவும் பயன்படுத்துங்கள்
- சீரான இடைவெளியில் மீண்டும் அளவிடுங்கள்: மாதிரிகள் அல்லது அமைவுகளில் எந்த மாற்றத்துக்கும் முன்னும் பின்னும் மதிப்பீட்டுத் தொகுப்பை இயக்குங்கள்
பயனர்களுக்கு அமைப்பை விளக்குவதும் அதை இயக்குவதன் ஒரு பகுதியே. 'RAG எந்தக் கேள்விக்கும் சரியாகப் பதிலளிக்கும்' போன்ற தவறான புரிதல்களை உதாரணமாகக் காட்டி, பயனர்களின் எதிர்பார்ப்புக்கும் RAG-ஆல் உண்மையில் செய்யக்கூடியதற்கும் இடையிலான இடைவெளியை IPA வழிகாட்டுதல் சுட்டிக்காட்டுகிறது. RAG-ஆல் பதில்கள் ஒரேவிதமாக அமையும் போக்கு உள்ளதால், பன்முகத்தன்மையோ தனித்துவமோ தேவைப்படும் பணிகளுக்கு அது பொருந்தாமல் போகலாம் என AI Guidelines for Business-இன் பின்னிணைப்பு எச்சரிக்கிறது.
RAG அமைப்பை உருவாக்கும் படிகள்
முதல் RAG அமைப்பைச் சிறிய அளவில் உருவாக்கி, மதிப்பீட்டின் மூலம் நிரூபித்து, பிறகு விரிவுபடுத்துங்கள். வழக்கமான வரிசை:
- பயன்பாட்டையும் வரம்பையும் வரையறுங்கள்: யாருடைய கேள்விகளுக்கு, எதைப் பற்றிப் பதிலளிக்கும், எந்த ஆவணங்கள் வரம்புக்குள் அடங்கும், எவற்றுக்குப் பதிலளிக்கக்கூடாது என்பதை முடிவு செய்யுங்கள்
- தரவையும் இடர்களையும் பட்டியலிடுங்கள்: அதிகாரபூர்வப் பிரதிகள், பதிப்புகள், வகைப்பாடுகள், அணுகல் உரிமைகளை வரைபடமாக்கி, தரவு நிறுவனத்துக்கு வெளியே செல்லலாமா என்பதைப் பொறுத்து நிறுவல் வழியைத் தேர்ந்தெடுங்கள்
- முதலில் மதிப்பீட்டுத் தொகுப்பை உருவாக்குங்கள்: வணிகப் பொறுப்பாளர்களுடன் சேர்ந்து உண்மையான கேள்விகளையும் அவற்றின் சரியான விடைகளையும் தயாரித்து, தேர்ச்சி அளவுகோல்களை ஒப்புக்கொள்ளுங்கள்
- முன்மாதிரி உருவாக்கி அளவிடுங்கள்: உள்ளீர்ப்பு, chunking, தேடல், prompt-களை ஒருங்கிணைத்து, மதிப்பீட்டுத் தொகுப்பைக் கொண்டு அவற்றை மேம்படுத்துங்கள்
- பாதுகாப்பைச் சோதியுங்கள்: அறிமுகத்துக்கு முன், அனுமதிக்கு மீறிய அணுகல், மறைமுக prompt injection, log-களைக் கையாளும் விதம் ஆகியவற்றைச் சோதியுங்கள்
- குறிப்பிட்ட குழுவுக்கு வெளியிட்டு, பிறகு விரிவுபடுத்துங்கள்: சில துறைகளுக்குத் திறந்து, பயனர் கருத்துகள், தேடல் log-களின் அடிப்படையில் ஆவணங்களையும் அமைவுகளையும் சரிசெய்த பிறகே விரிவாக்குங்கள்
AI Guidelines for Business (Ver1.2), உங்கள் நடவடிக்கைகளை மதிப்பாய்வு செய்வதற்கான சரிபார்ப்புப் பட்டியலையும் பணித்தாளையும் (பின்னிணைப்பு 7) கொண்டுள்ளது; AI உருவாக்குநர், வழங்குநர் அல்லது பயனர் என்ற முறையில் உங்களிடம் என்ன எதிர்பார்க்கப்படுகிறது என்பதை உறுதிப்படுத்த அவை உதவுகின்றன.
findn எப்படி உதவ முடியும்
தனது சிஸ்டம் மேம்பாடு சேவையின் ஒரு பகுதியாக, நிறுவனத் தரவிலிருந்து பதிலளிக்கும் LLM பயன்பாடுகளையும் (RAG) AI முகவர்களையும் findn உருவாக்குகிறது; ஜப்பானிய மொழி LLM உள்ளிட்ட மாதிரித் தேர்வு மற்றும் தனிப்பயனாக்கம், தனிப்பட்ட மற்றும் உள்ளக நிறுவல், மதிப்பீடு, பாதுகாப்பு வரம்புகள் (guardrails), LLMOps வரை இதில் அடங்கும். தேவைகள், வடிவமைப்பு, சோதனை, செயல்பாடு வரையிலான பணிகளை, ISO/IEC 27001:2022 சான்றளிக்கப்பட்ட மேலாண்மை அமைப்பின் கீழ் findn மேற்கொள்கிறது.
கேள்விகளும் பதில்களும்
- RAG-ஐப் பயன்படுத்துவதா, fine-tuning-ஐப் பயன்படுத்துவதா?
- உங்கள் நிறுவனத்தின் அறிவின் அடிப்படையில் பதில்கள் வேண்டுமெனில் RAG-இலிருந்து தொடங்குங்கள்: அறிவைப் புதுப்பிக்க index-ஐ மாற்றினால் போதும், பதில்கள் தம் ஆதாரங்களையும் குறிப்பிட முடியும். அறிவை அல்லாமல், சீரான எழுத்து நடை அல்லது வெளியீட்டு வடிவம் போன்ற நடத்தையை மாற்ற வேண்டியிருக்கும்போது fine-tuning-ஐக் கருத்தில் கொள்ளுங்கள். இரண்டையும் இணைத்தும் பயன்படுத்தலாம்.
- RAG தவறான உருவாக்கத்தை (hallucination) முற்றிலும் நீக்குமா?
- இல்லை. RAG தவறான உருவாக்கத்தைக் குறைக்கிறது; ஆனால் RAG-ஐப் பயன்படுத்துவதால் hallucination இடரை நீக்க முடியாது என IPA வழிகாட்டுதல் கூறுகிறது. எதுவும் கிடைக்காதபோது அதைத் தெரிவிக்கும் அறிவுறுத்தல்கள், கண்ணுக்குத் தெரியும் ஆதாரங்கள், மதிப்பீட்டுத் தொகுப்பில் தொடர் அளவீடு, முக்கிய முடிவுகளில் மனித மதிப்பாய்வு ஆகியவற்றை இணைத்துப் பயன்படுத்துங்கள்.
- RAG அமைப்பை முழுமையாக உள்ளகத்தில் (on-premises) இயக்க முடியுமா?
- முடியும். LLM, embedding மாதிரி, வெக்டர் தரவுத்தளம், log தளம் அனைத்தும் உங்கள் சொந்தச் சூழலில் இயங்கினால், ஆவணங்களும் கேள்விகளும் நிறுவனத்தை விட்டு வெளியே செல்வதில்லை. அதற்கு ஈடாக, பயன்படுத்தக்கூடிய மாதிரியின் அளவை உங்கள் GPU-கள் கட்டுப்படுத்தும்; மாதிரிப் புதுப்பிப்புகளும் பாதுகாப்புப் பலவீனங்களைக் கையாளுதலும் உங்கள் பொறுப்பு. ஒற்றை GPU-வில் இயங்க வடிவமைக்கப்பட்ட NTT-இன் tsuzumi 2, NII வெளிப்படையாக வெளியிட்டுள்ள LLM-jp மாதிரிகள் போன்ற ஜப்பானிய மாதிரிகள் தேர்வுகளில் அடங்கும்.
- முதல் RAG அமைப்பை உருவாக்க எவ்வளவு காலம் ஆகும்?
- நிலையான கால அளவு என்று எதுவும் இல்லை. ஆவணங்களின் அளவும் நிலையும் (எத்தனை ஸ்கேன் செய்யப்பட்ட PDF-கள், பதிப்புகள் நிர்வகிக்கப்படுகின்றனவா), அனுமதி வடிவமைப்பின் சிக்கலான தன்மை, நிறுவல் வழி (உள்ளக நிறுவலுக்கான GPU கொள்முதல் உட்பட), தேவையான துல்லியம் ஆகியவற்றைப் பொறுத்தது. வரம்பை ஒரு வணிகச் செயல்முறைக்குள் கட்டுப்படுத்தி, முன்மாதிரிக்கு முன்பே மதிப்பீட்டுத் தொகுப்பை உருவாக்கினால், கால மற்றும் செலவுக் கணிப்புகள் எளிதாகும்; நேரடிப் பயன்பாட்டுக்குக் கொண்டுவரும் முடிவையும் எண்களின் அடிப்படையில் எடுக்க முடியும்.
- RAG-இன் துல்லியத்தை எப்படி அளவிடுவது?
- தேடலையும் உருவாக்கத்தையும் தனித்தனியாக அளவிடுங்கள். தேடலுக்கு, பதிலைக் கொண்ட ஆவணம் முதல் சில முடிவுகளில் உள்ளதா, தேடி எடுத்த சூழல் கேள்வியை மையமாகக் கொண்டுள்ளதா (சூழல் பொருத்தம்) என்று பாருங்கள். உருவாக்கத்துக்கு, பதில் தேடி எடுத்த ஆவணங்களை அடிப்படையாகக் கொண்டுள்ளதா (நம்பகத்தன்மை), கேள்விக்கு விடையளிக்கிறதா (பதில் பொருத்தம்) என்று பாருங்கள். உண்மையான வணிகக் கேள்விகளிலிருந்து உருவாக்கிய மதிப்பீட்டுத் தொகுப்பைப் பயன்படுத்தி, ஒவ்வொரு மாற்றத்துக்குப் பிறகும் அதை மீண்டும் இயக்குங்கள்.
ஆதாரங்கள்
- Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks வெளித் தளத்தில் திறக்கும் (arXiv (Lewis et al., NeurIPS 2020))
- Ragas: Automated Evaluation of Retrieval Augmented Generation வெளித் தளத்தில் திறக்கும் (arXiv (Es et al.))
- OWASP Top 10 for LLM Applications 2026 வெளித் தளத்தில் திறக்கும் (OWASP GenAI Security Project)
- Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1) வெளித் தளத்தில் திறக்கும் (National Institute of Standards and Technology (NIST), US)
- Guideline for Introducing and Operating Text-Generation AI (Japanese) வெளித் தளத்தில் திறக்கும் (Information-technology Promotion Agency (IPA), Japan)
- AI Guidelines for Business, Ver1.2 (Japanese page with provisional English translation) வெளித் தளத்தில் திறக்கும் (Ministry of Internal Affairs and Communications (MIC) and Ministry of Economy, Trade and Industry (METI), Japan)
- LLM-jp வெளித் தளத்தில் திறக்கும் (National Institute of Informatics (NII), Japan)
- NTT Large Language Model tsuzumi 2 (Japanese) வெளித் தளத்தில் திறக்கும் (NTT R&D)