ورسل و هارنس fx
این fx مهم ترین هارنسی هست که این چند وقته ریلیز شده.
اکثر llm ها تا حدودی بیشعور هستن و چیزی که واقعا باعث کارآمدی یه llm میشه، هارنس هست.
اصلا بذار از بیخ توضیح بدم اینجوری نمیشه. ☕️
در درجه اول، llm ها به خودی خود، فقط میتونن یه متن رو به عنوان ورودی بگیرن و یه متن هم از خودشون در کنن.
هیچ ال ال امی نمیتونه بره یه فایل رو لپتاپ شما باز کنه یا داخل ترمینال شما کامند ران کنه و llm به خودی خود، کاملا چلمنگ هست.
خب اگه ال ال ام ها چلمنگ هستن، پس چطو میشه که کلادکد میتونه رو سیستم شما فایل اجرا کنه و کامند ران کنه؟
این بخاطر یک لایه جداگانه به نام harness هست که میاد روی llm میشینه و در واقع llm مغز یک ایجنت هست و هارنس، بازو های اون ایجنت و هردوی اینها مهم هستن.
یعنی شما بیای مغز آمیب رو بذاری داخل بدن آرنولد، در نهایت نمیتونی ازش خروجی بگیری و بالاعکس.
پس اون ال ام ام اهمیت های خودشو داره ولی بنظرم چیزی که باعث میشه شما واقعا از ایجنت خروجی بگیری، اون هارنس هست و طبق تجربه ام هارنس با کیفیت به مراتب مهم تر از خود llm هست.
حالا بحث اینجاست که هارنس ها خودشون یک برنامه ای هستن که روی مدل سوار میشن و اکثر هارنس ها نسبتا سنگین و حجیم هستن و منابع زیادی مصرف میکنن، مثلا کلادکد و کدکس و اینا همشون هارنس هستن که میان روی مدل سوار میشن و همونطور که گفتم مدل مغز ایجنت هست و هارنس بدن ایجنت.
و حالا این fx هم یک هارنس هست، ولی با یک تفاوت خیلی مهم!
ببین، مثلا کلادکد رو در نظر بگیر، این کلاد کد برای یک سناریو مشخص ساخته شده و اونم اینه که یه نفر پای لپتاپ نشسته و میخواد ایجنت ران کنه و برنامه نویسی کنه یا این داستانا، ولی همونطور که گفتم یه هارنس مثل کلادکد یا کدکس، خیلی سنگین هستن و برای آدمیزاد ساخته شدن که پای یه لپتاپ نشسته و منابع قابل قبولی دم دستش هست.
ولی فرض کن که شما بخوای داخل ci یا یه کانتینر و اینجور جاها، ایجنت ران کنی! میخوای مثلا داخل ci کلادکد ران کنی؟؟ گود لاک :))))
یا اصلا فرض کن یه اسکریپت خیلی ساده داری که یک کار کوچیکی انجام میده، حالا میخوای کلادکد ران کنی که بیاد دو تا مقدار رو برات پایپ کنه؟
حرفم اینه که جاهایی که منابع سخت افزاری شما محدود باشه، عملا هارنس درست حسابی نداری که بخوای ازش استفاده کنی.
و تا این لحظه، هیچ هارنس درست حسابی برای سناریو هایی که گفتم وجود نداشت و اینجاس که fx وارد میشه و بشدت هم بهش نیاز هست!
این fx به هیچ ران تایمی احتیاج نداره و با یه curl میندازیش داخل ci و کانتینر یا حتی روی سرور و هر سندباکسی که دلت خواست و دیگه عملا شما روی سیب زمینی هم میتونی هارنس بالا بیاری و ایجنت ران کنی!
مثلا برای اسکریپتینگ این عالیه و fx ask --json رو میزنی و دقیقا عین grep و jq میتونی خروجیش رو پایپ کنی!!!
هر مدلی هم که بخوای میتونی تست کنی و من امشب با مدل های لوکال خیلی کوچیک هم تست کردم و برای اسکریپتینگ و اتومیشن فوق العاده اس! دقیقا چیزی که همیشه میخواستم بعد یه انجین هم داره به اسم libfx که بصورت npm package در آوردنش و این انجین رو هرجا خواستی میتونی ایمپورت کنی، حتی داخل وب اسمبلی!!
خلاصه این fx برای اتومیشن و ci/cd و پایپلاین های دوآپسی به شدت کاربردی هست و خیلی کیف کردم. ایول ☕️