Training
Training فرآیندیه که Model Provider باهاش Parameters مدل رو میسازه و بعد از اون، تنها چیزی که تو میتونی کنترل کنی Context یه که موقع Inference در اختیار مدل قرار میدی.
مرحله یادگیری جاییه که model واقعا ساخته میشه.
توی این مرحله، model provider با استفاده از حجم عظیمی از متن، parameters مدل رو تنظیم میکنه.
این باعث میشه که مدل هر بار توی next-token prediction دقیقتر بشه.
مکانیزمش هم نسبتا ساده اس: یه متن به مدل نشون میدن، مدل token بعدی رو حدس میزنه، اگه اشتباه باشه parameters کمی اصلاح میشن، و این فرآیند روی تریلیونها token بارها و بارها تکرار میشه.
نکتهی مهم اینه که مدل چیزی رو رو حفظ نمیکنه بلکه تمام چیزهایی که "بلده"، نتیجه همین فرآیند یادگیریه و اطلاعات به شکل parameters داخل مدل ذخیره شده.
بعد از اینکه training تموم شد، دیگه parameters ثابت میمونن. یعنی خودت نمیتونی چیزی به مدل یاد بدی و این کار فقط از دست model provider برمیاد و ممکنه ماهها طول بکشه.
در واقع راهحل هیچوقت این نیست که "مدل رو آموزش بدی" بلکه باید اطلاعات موردنیاز، مثل API documentation یا codebase ، رو از طریق context در اختیار مدل قرار بدی.