লার্জ ল্যাঙ্গুয়েজ মডেলের স্মৃতি কীভাবে কাজ করে? KV Cache এবং সেলফ-অ্যাটেনশনের বাস্তব মেকানিক্স
How LLM Memory Really Works: KV Cache and the Mechanics of Self-Attention
প্রতিটি নতুন শব্দ তৈরি করতে গিয়ে কৃত্রিম বুদ্ধিমত্তা কি পুরো আগের বাক্য পুনরায় পড়ে? জেনারেটিভ এআই-এর গতি ও মেমোরি খরচের মূল রহস্য উন্মোচন।
আমরা যখন চ্যাটজিপিটি (ChatGPT) বা ক্লদ (Claude)-এর মতো বৃহৎ ভাষা মডেলগুলোর (Large Language Model - LLM) সাথে কথা বলি, তখন মনে হয় তারা চমৎকার কোনো স্মৃতিশক্তি নিয়ে আমাদের পুরো আলাপ মনে রাখছে। কিন্তু কম্পিউটারের র্যাম (VRAM)-এর স্তরে গিয়ে যদি আমরা এই প্রক্রিয়াটিকে প্রত্যক্ষ করি, তবে সম্পূর্ণ অন্য একটি চিত্র ভেসে ওঠে। কম্পিউটার আর্কিটেকচারের জগতে সবচেয়ে ব্যয়বহুল বিষয় হলো রিডানড্যান্ট বা অপ্রয়োজনীয় গণনা।
অটোরিগ্রেসিভ জেনারেশন: শব্দের পর শব্দ বোনার শিল্প
আধুনিক ভাষা মডেলগুলো 'অটোরিগ্রেসিভ' (Autoregressive) পদ্ধতিতে কাজ করে। এর অর্থ হলো, মডেলটি একবারে পুরো অনুচ্ছেদ লিখতে পারে না; বরং পূর্ববর্তী সমস্ত শব্দের উপর ভিত্তি করে পরবর্তী সম্ভাব্য সবচেয়ে উপযুক্ত শব্দটি (টোকেন) অনুমান করে। যখন একটি নতুন টোকেন তৈরি হয়, তখন সেই টোকেনটি আবার ইনপুটের সাথে যোগ হয় এবং তার পরের টোকেন তৈরির জন্য পুরো প্রক্রিয়াটি পুনরায় চলে।
যদি একটি দীর্ঘ প্রবন্ধে ২০০০ টোকেন থাকে, তবে প্রতিটি নতুন টোকেন তৈরির সময় পুরো ২০০০ টোকেনকে নতুন করে প্রসেস করতে গেলে কম্পিউটেশনাল জটিলতা দাঁড়াবে O(N²)। এটি বাস্তবায়ন করা প্রচণ্ড ব্যয়বহুল এবং অতি ধীরগতির হতো। এখানেই ত্রাতা হিসেবে আসে 'KV Cache' বা Key-Value ক্যাশ।
Query, Key, এবং Value: অ্যাটেনশনের মূল গণিত
ট্রান্সফরমার আর্কিটেকচারের হৃদপিণ্ড হলো স্কেলড ডট-প্রোডাক্ট সেলফ-অ্যাটেনশন (Scaled Dot-Product Self-Attention)। প্রতিটি টোকেনকে ভেক্টর স্পেসে তিনটি আলাদা ম্যাট্রিক্স দিয়ে রূপান্তর করা হয়: Query (Q), Key (K), এবং Value (V)। রূপক অর্থে চিন্তা করলে—Query হলো আপনি যা খুঁজছেন, Key হলো লাইব্রেরির বইগুলোর ক্যাটালগ ট্যাগ, আর Value হলো বইয়ের মূল বিষয়বস্তু।
Attention(Q, K, V) = softmax((Q × Kᵀ) / √dₖ) × V — এই একক সমীকরণটি আধুনিক কম্পিউটিং এবং কৃত্রিম বুদ্ধিমত্তার গতিপথ স্থায়ীভাবে বদলে দিয়েছে।
খেয়াল করুন, যখন মডেলটি নতুন দশম টোকেনটি তৈরি করতে যাচ্ছে, তখন প্রথম থেকে নবম টোকেনের Key এবং Value ভেক্টরগুলো কিন্তু আর পরিবর্তিত হচ্ছে না! তারা অপরিবর্তিত থাকছে। তাই প্রকৌশলীরা এই K এবং V ভেক্টরগুলোকে GPU-র হাই-ব্যান্ডউইথ মেমোরিতে (HBM) ক্যাশ করে রেখে দেন। এটিকে বলা হয় 'KV Cache'।
| মেট্রিক | KV Cache ছাড়া | KV Cache সহ |
|---|---|---|
| টাইম কমপ্লেক্সিটি (প্রতি টোকেন) | O(N²) | O(N) |
| GPU মেমোরি খরচ | খুবই কম (শুধুমাত্র ওবেটস) | উচ্চ (কনটেক্সট বাড়ার সাথে লিনিয়ারলি বাড়ে) |
| লেটেন্সি (Response Time) | প্রতি টোকেনে বৃদ্ধি পায় (ধীর) | অপেক্ষাকৃত ধ্রুব ও দ্রুত |
বাস্তব কোডে KV Cache কীভাবে কাজ করে?
# সেলফ-অ্যাটেনশনে KV Cache আপডেট করার সরল পাইথন লজিক
def forward_with_cache(x, past_kv=None):
q, k, v = compute_qkv(x)
if past_kv is not None:
past_k, past_v = past_kv
# পূর্বের কী ও ভ্যালুর সাথে নতুন টোকেনের K, V কনক্যাটেনেশন
k = torch.cat([past_k, k], dim=-2)
v = torch.cat([past_v, v], dim=-2)
current_kv = (k, v)
# অ্যাটেনশন স্কোর গণনা
scores = torch.matmul(q, k.transpose(-1, -2)) / math.sqrt(d_k)
attention = torch.softmax(scores, dim=-1)
output = torch.matmul(attention, v)
return output, current_kvউপসংহার: দীর্ঘ কনটেক্সটের ভবিষ্যৎ চ্যালেঞ্জ
বর্তমানে যখন আমরা ১ লাখ বা ১০ লাখ টোকেনের কনটেক্সট উইন্ডো (Context Window) নিয়ে কথা বলি, তখন KV Cache সংরক্ষণ করতেই গিগাবাইট পরিমাণ VRAM খরচ হয়ে যায়। ফলে vLLM এর PagedAttention, FlashAttention এবং Grouped-Query Attention (GQA)-এর মতো নতুন নতুন উদ্ভাবন এসেছে, যা এই মেমোরি চাপ কমাতে সক্ষম হয়েছে। সংক্ষেপে, এআই-এর আপাত জাদুকরী স্মৃতির পেছনে রয়েছে ডেটা স্ট্রাকচার এবং ম্যাট্রিক্স ক্যাশিংয়ের এক অনন্য প্রকৌশল।
এই প্রবন্ধের সমস্ত বৈজ্ঞানিক দাবি, অ্যালগরিদম ও মেকানিক্স নিম্নের প্রকাশিত গবেষণা ও মূল তথ্যের ওপর প্রতিষ্ঠিত:
- [1]Attention Is All You Need
Vaswani et al., Cornell University arXiv:1706.03762 (2017)
- [2]FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness
Dao et al., Stanford University / NeurIPS (2022)
তানভীর হাসান
ব্যক্তিগত জ্ঞানভিত্তিক প্রকাশনা 'তানভীর এক্সপ্লেইনস'-এর লেখক ও গবেষক। প্রযুক্তি, বিজ্ঞান, মানুষের চিন্তাভাবনা এবং যা জানা প্রয়োজন—সবকিছু সহজ, সাবলীল ও নির্ভরযোগ্য ভাষায় ব্যাখ্যা করায় নিবেদিতপ্রাণ।
আরও পড়ুন: বিজ্ঞান ও আবিষ্কার সংক্রান্ত লেখা
কেন এআই মডেল বিভ্রান্ত হয়: হ্যালুসিনেশন ও রিট্রাইভাল-অগমেন্টেড জেনারেশন (RAG)
কৃত্রিম বুদ্ধিমত্তা কেন মিথ্যা তথ্যকে এমন আত্মবিশ্বাসের সাথে উপস্থাপন করে যেন তা পরম সত্য? ভাষা মডেলের সম্ভাব্যতা তত্ত্ব এবং আধুনিক RAG সমাধান।
মেশিন কেন শিখতে পারে: ব্যাকপ্রপাগেশনের সহজ গাণিতিক অন্তর্দৃষ্টি
ক্যালকুলাসের চেইন রুল কীভাবে কৃত্রিম নিউরাল নেটওয়ার্কের ভেতরে কোটি কোটি প্যারামিটারকে টিউন করে সঠিক সিদ্ধান্তে পৌঁছাতে শেখায়? সম্পূর্ণ ক্যালকুলেশন মুক্ত সরল বোঝাপড়া।