Parametric Knowledge

Parametric knowledge یعنی تمام چیزهایی که یه model موقع training یاد گرفته و داخل parameters ش ذخیره شده. این همون دانشیه که مدل همیشه با خودش داره و برای جواب دادن ازش استفاده می‌کنه.

حالا یه تصور اشتباه اینه که فکر کنیم مدل یه دیتابیس بزرگ تو شیکمش داره و هر وقت سؤال می‌پرسی میره اونجا جواب رو پیدا می‌کنه.

داستان اصلا اینجوری نیست!

داستان ازین قراره که موقع training، میان کلی متن جلوی مدل می‌ذارن و مدل هی یاد می‌گیره کلمه بعدی رو بهتر و بهتر پیش‌بینی کنه. وقتی این کار رو میلیون‌ها و میلیاردها بار انجام میده، کم‌کم رفتارش طوری میشه که انگار اون موضوعات رو خودش بلده.

هرچقدر یه موضوع بیشتر توی دیتای آموزشی تکرار شده باشه، مدل هم توی اون موضوع قوی‌تره. به فرض مثال توی برنامه نویسی، چون مدل ها درباره React میلیون‌ها مثال دیدن، معمولا جواب‌های خیلی دقیقی میدن.

اما اگه درباره یه SDK داخلی شرکتت ازش سؤال کنی که هیچ‌کس قبلا اونو ندیده، خب مدل اطلاعات کافی نداره و اونجا شروع می‌کنه حدس زدن که احتمالاً این API باید چه شکلی باشه.

نکته مهم اینه که برای خود مدل، جوابی که از روی اطلاعات واقعی میده و جوابی که از روی حدس می‌سازه، هیچ فرقی ندارن. هر دو با همون اعتمادبه‌نفس و همون لحن تولید میشن. به همین خاطر خودش هم نمی‌فهمه الان داره واقعیت رو بازگو می‌کنه یا داره حدس می‌زنه.

وقتی اون حدس اشتباه از آب دربیاد، همون چیزیه که بهش Hallucination میگیم.

یه محدودیت دیگه هم وجود داره. Parametric knowledge بعد از knowledge cutoff دیگه آپدیت نمیشه. یعنی هر اتفاقی که بعد از اون تاریخ افتاده باشه، داخل parameters مدل وجود نداره. مثلاً اگه یه کتابخونه جدید منتشر شده باشه، یا یه API ساختارش عوض شده باشه، مدل هنوز طبق اون نسخه قدیمی جلو میره و نسخه جدید رو درست نمیشناسه.

برای همین دو حالت پیش میاد:

• یا اطلاعات اونقدر نادر بوده که مدل هیچ‌وقت خوب یادش نگرفته
• یا اونقدر جدیده که اصلاً موقع آموزش وجود نداشته.

توی هر دو حالت هم کلا یه راه حل بیشتر نداری، اونم اینه که بیای و اطلاعات جدید رو به شکل context در اختیار مدل بذاری و خب اون موقع مدل میتونه به جای حدس زدن، بیاد از اطلاعاتی که داخل کانتکست و جلو دست خودش داره استفاده بکنه.