কেন এআই মডেল বিভ্রান্ত হয়: হ্যালুসিনেশন ও রিট্রাইভাল-অগমেন্টেড জেনারেশন (RAG)
Why AI Hallucinates: The Probabilistic Nature of LLMs and RAG Architecture
কৃত্রিম বুদ্ধিমত্তা কেন মিথ্যা তথ্যকে এমন আত্মবিশ্বাসের সাথে উপস্থাপন করে যেন তা পরম সত্য? ভাষা মডেলের সম্ভাব্যতা তত্ত্ব এবং আধুনিক RAG সমাধান।
একটি অতি সাধারণ ভুল ধারণা হলো—লার্জ ল্যাঙ্গুয়েজ মডেল একটি বিশাল এনসাইক্লোপিডিয়া বা জ্ঞানকোষ। অনেকেই ভাবেন মডেলটির পেটের ভেতর সব তথ্য সুবিন্যস্ত ফাইলে সাজানো আছে। কিন্তু প্রকৃতপক্ষে, এলএলএম কোনো তথ্য সংরক্ষণকারী ডাটাবেজ নয়; এটি মূলত একটি অত্যন্ত দক্ষ সম্ভাব্যতা ইঞ্জিন (Probabilistic Engine)।
হ্যালুসিনেশন কি আসলে বাগ, নাকি সিস্টেমের বৈশিষ্ট্য?
কম্পিউটার সায়েন্টিস্ট আন্দ্রে কার্পাথি যথার্থই বলেছেন: 'হ্যালুসিনেশন কোনো ত্রুটি নয়, বরং এটিই এলএলএম-এর মূল শক্তি।' মডেলটি সবসময়ই হ্যালুসিনেট করছে বা গল্প বানাচ্ছে; কেবল যখন তার অনুমানটি বাস্তব তথ্যের সাথে মিলে যায়, তখন আমরা তাকে বলি 'সঠিক উত্তর', আর যখন মেলে না, তখন বলি 'হ্যালুসিনেশন'!
এই প্রবন্ধের সমস্ত বৈজ্ঞানিক দাবি, অ্যালগরিদম ও মেকানিক্স নিম্নের প্রকাশিত গবেষণা ও মূল তথ্যের ওপর প্রতিষ্ঠিত:
- [1]Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
Lewis et al., Meta AI / NeurIPS (2020)
তানভীর হাসান
ব্যক্তিগত জ্ঞানভিত্তিক প্রকাশনা 'তানভীর এক্সপ্লেইনস'-এর লেখক ও গবেষক। প্রযুক্তি, বিজ্ঞান, মানুষের চিন্তাভাবনা এবং যা জানা প্রয়োজন—সবকিছু সহজ, সাবলীল ও নির্ভরযোগ্য ভাষায় ব্যাখ্যা করায় নিবেদিতপ্রাণ।
আরও পড়ুন: বিজ্ঞান ও আবিষ্কার সংক্রান্ত লেখা
লার্জ ল্যাঙ্গুয়েজ মডেলের স্মৃতি কীভাবে কাজ করে? KV Cache এবং সেলফ-অ্যাটেনশনের বাস্তব মেকানিক্স
প্রতিটি নতুন শব্দ তৈরি করতে গিয়ে কৃত্রিম বুদ্ধিমত্তা কি পুরো আগের বাক্য পুনরায় পড়ে? জেনারেটিভ এআই-এর গতি ও মেমোরি খরচের মূল রহস্য উন্মোচন।
মেশিন কেন শিখতে পারে: ব্যাকপ্রপাগেশনের সহজ গাণিতিক অন্তর্দৃষ্টি
ক্যালকুলাসের চেইন রুল কীভাবে কৃত্রিম নিউরাল নেটওয়ার্কের ভেতরে কোটি কোটি প্যারামিটারকে টিউন করে সঠিক সিদ্ধান্তে পৌঁছাতে শেখায়? সম্পূর্ণ ক্যালকুলেশন মুক্ত সরল বোঝাপড়া।