Context Window
Context Window تمام اطلاعاتیه که Model در لحظه میبینه و چون ظرفیت محدودی داره، انتخاب اینکه چه اطلاعاتی داخلش قرار بگیرن تأثیر مستقیمی روی کیفیت پاسخ مدل داره.
این Context Window یعنی تمام اطلاعاتی که Model واقعا توی هر Model Provider Request میبینه.
و کلا این تنها راهیه که مدل میتونه چیزی از دنیای بیرون بفهمه.
داخل Context Window چیزهایی مثل System Prompt، مسج هایی که با ایجنت رد و بدل شده، نتیجهی Toolها و هر اطلاعات دیگهای قرار میگیره که Harness برای مدل فرستاده.
به عبارتی شاید دیروز یه فایل رو ادیت زدی یا سه تا Session قبل یه چیز مهمی به مدل گفتی، تا وقتی اون اطلاعات دوباره داخل Context Window قرار نگیرن، مدل هیچ اطلاعی ازشون نداره.
یه ویژگی مهم Context Window اینه که ظرفیتش محدوده. هر مدل یه سقف مشخص برای تعداد Tokenهایی که میتونه ببینه داره. هر مسج جدید، هر جواب مدل و هر خروجی Tool مقداری از این ظرفیت رو اشغال میکنه.
وقتی این فضا کمکم پر بشه، Harness باید تصمیم بگیره بخشی از اطلاعات رو حذف یا خلاصه کنه. به همین خاطره که مفاهیمی مثل Compaction و Clearing به وجود اومدن.
از اونجایی که این فضا محدوده پس هر Token به شدت ارزشمنده. هر اطلاعات اضافهای که وارد Context Window کنی، جا رو از اطلاعات مهمتر میگیره و حتی ممکنه باعث بشه مدل تمرکزش روی چیزهای بیربط بره.