Parameter (weight)
پارامتر ها، میلیاردها عددی هستن که در طول training تنظیم میشن و تمام دانشی که model داره داخل همینها ذخیره شده و بهشون weights یا وزن هم میگن.
اگه بخوای model رو مثل یه مغز تصور کنی، parameters همون چیزیه که تمام دانش و تواناییهای مدل داخلش ذخیره شده.
پارامتر ها، میلیاردها عدد هستن که در طول training تنظیم میشن و بهشون weights هم میگن.
برخلاف چیزی که خیلیها فکر میکنن، داخل خود model هیچ دیتابیس یا knowledge base عی وجود نداره.
مدل فقط با استفاده از همین parameters روی context محاسبه انجام میده و token بعدی رو پیشبینی میکنه.
مهمترین نکته اینه که بعد از تموم شدن training، پارامتر ها هرگز دیگه تغییر نمیکنن. یعنی هر چیزی که توی یک session به مدل یاد بدی، اشتباهش رو اصلاح کنی یا حتی کل codebase ات رو بهش نشون بدی، باعث نمیشه parameters آپدیت بشن.
برای همینه که:
-
مدل حافظه دائمی نداره (stateless).
-
دانشش بعد از knowledge cutoff بهروز نمیشه.
-
اطلاعات مربوط به کاری که داری انجام میدی رو خودت باید هر بار از طریق context بهش داده بدی.
اگر واقعا بخوای پارامتر هارو تغییر بدی، باید دوباره training یا fine-tuning انجام بدی که در عمل یعنی داری یک model جدید میسازی، نه اینکه همون مدل چیز جدیدی یاد گرفته باشه.