ترسیم آینده هوش مصنوعی، از پاسخ های امن تر تا تفکر سریع تر | اخبار MIT

استفاده از ابزارها و فن‌آوری‌های جدید زمانی اتفاق می‌افتد که کاربران تا حد زیادی آن‌ها را قابل اعتماد، مقرون‌به‌صرفه و نسبت به روش‌ها و جریان‌های کاری موجود برای هزینه‌ها بهبود می‌بخشند. پنج دانشجوی دکترا در کلاس آغازین برنامه تابستانی آزمایشگاه هوش مصنوعی MIT-IBM واتسون از منابع پیشرفته استفاده می‌کنند، نقاط درد هوش مصنوعی را کاهش می‌دهند و ویژگی‌ها و قابلیت‌های جدیدی را برای پیشبرد سودمندی و استقرار هوش مصنوعی ایجاد می‌کنند – از یادگیری زمان اعتماد به مدلی که دقت دیگران را پیش‌بینی می‌کند تا استدلال کارآمدتر در مورد پایگاه‌های دانش. تلاش‌های دانش‌آموزان و مربیان آنها با هم خط لوله‌ای را تشکیل می‌دهند که تحقیقات عملی و فنی دقیق‌تر منجر به مدل‌های قابل اعتمادتر و ارزشمندتر در زمینه‌های مختلف می‌شود.

ساخت پروب‌ها، مسیریاب‌ها، مکانیسم‌های توجه جدید، مجموعه داده‌های مصنوعی، و خطوط لوله سنتز برنامه، کار دانشجویی ایمنی، کارایی استنتاج، داده‌های چندوجهی و استدلال مبتنی بر دانش را پوشش می‌دهد. تکنیک‌های آن‌ها بر مقیاس‌بندی و یکپارچگی تأکید دارد و تأثیر آن همیشه قابل مشاهده است.

یاد بگیریم که چه موقع اعتماد کنیم

پژوهشی توسط دانشجوی ریاضی MIT آندری برایوتکین، قابلیت اطمینان مدل ها را در اولویت قرار می دهد. او به دنبال ساختارهای داخلی در درون مسائل، مانند معادلات حاکم بر سیستم و قوانین حفاظت می‌گردد تا بفهمد چگونه از آنها برای ایجاد راه‌حل‌های قابل اعتمادتر و قوی‌تر استفاده کنیم. بروتکین با این موضوع و کار با آزمایشگاه، روشی را برای بررسی ماهیت رفتار مدل‌های یادگیری بزرگ (LLM) ایجاد کرد. به همراه Veronika Thost از آزمایشگاه تحقیقاتی IBM و مرضیه قاسمی – دانشیار و استاد توسعه شغلی Germeshausen در گروه مهندسی برق و علوم کامپیوتر MIT (EECS) و عضو مؤسسه علوم مهندسی پزشکی و آزمایشگاه اطلاعات و سیستم‌های تصمیم‌گیری کاوشگر “untaincerkin” – Bruunt. LLMs.

به طور کلاسیک، شبکه‌های عصبی کوچک دو تا سه لایه عمیق، به نام پروب، در کنار LLM آموزش داده می‌شوند و برای پرچم‌گذاری پاسخ‌های غیرقابل اعتماد از مدل بزرگ‌تر به توسعه‌دهندگان استفاده می‌شوند. با این حال، این طبقه‌بندی‌کننده‌ها همچنین می‌توانند منفی‌های کاذب تولید کنند و تنها تخمین‌های نقطه‌ای را ارائه دهند که اطلاعات زیادی در مورد زمان شکست LLM ارائه نمی‌دهند. تیم MIT-IBM با بررسی اعلان‌های ایمن/خطرناک و وظایف سؤال-پاسخ، از جفت‌های برچسب سریع و همچنین حالت‌های پنهان مانند بردارهای فعال‌سازی و آخرین نشانه‌ها از LLM برای اندازه‌گیری امتیازات گرادیان، حساسیت سریع و داده‌های خارج از انتشار استفاده کرد تا تعیین کند که یادگیری مناطقی از کاوش که چقدر قابل اعتماد است و یادگیری آن‌ها دشوار است. روش آنها همچنین به شناسایی نویز بالقوه برچسب زدن کمک می کند. این یک ویژگی حیاتی است زیرا قابلیت اطمینان سیستم‌های هوش مصنوعی کاملاً به کیفیت و دقت داده‌های برچسب‌گذاری‌شده‌ای که بر اساس آن ساخته شده‌اند بستگی دارد. نمونه‌های دقیق‌تر و منسجم‌تر به‌ویژه برای حوزه‌های داده‌های حیاتی در برنامه‌هایی مانند خانواده مدل‌های گرانیت گاردین IBM اهمیت دارند.

راه دیگر برای اطمینان از پاسخ های قابل اعتماد به پرسش های LLM تکمیل آنها با پایگاه های دانش خارجی و قابل اعتماد برای از بین بردن توهم است. برای داده های ساختاریافته، مانند پیوندهای رسانه های اجتماعی، تراکنش های مالی، یا پایگاه های داده شرکتی، نمودارهای دانش (KG) طبیعی هستند. با این حال، ارتباطات بین LLM و KG اغلب از خطوط لوله چند عاملی ثابت استفاده می کند که از نظر محاسباتی ناکارآمد و گران هستند. با پرداختن به این موضوع، دانشجوی فارغ التحصیل فیزیک، Jinyeop Song، همراه با محققین آزمایشگاهی Yada Zhu از تحقیقات IBM و جولیان شون، دانشیار EECS، یک چارچوب یادگیری تقویتی تک عاملی، چند نوبتی و تقویتی ایجاد کردند که این فرآیند را ساده می کند. در اینجا، گروه یک سرور API میزبان Freebase و Wikidata KG را طراحی کرد که شامل داده‌های دانش مبتنی بر وب رایج است و یک عامل LLM که اقدامات بازیابی هدفمند را برای بازیابی اطلاعات مرتبط از سرور انجام می‌دهد. سپس با حرکت مداوم به جلو و عقب، عامل داده های جمع آوری شده از KG را به متن اضافه می کند و به درخواست پاسخ می دهد. مهمتر از همه، این سیستم از یادگیری تقویتی برای آموزش خود برای ارائه پاسخ هایی استفاده می کند که بین دقت و کامل بودن تعادل برقرار می کند. این چارچوب یک سرور API را با یک عامل یادگیری تقویتی جفت می کند تا استدلال مبتنی بر داده را با دقت، شفافیت، کارایی و قابلیت انتقال بهبودیافته هماهنگ کند.

محاسبات خود را عاقلانه خرج کنید

به موقع بودن و کامل بودن پاسخ یک مدل وزن مشابهی با اهمیت دقت آن دارد. این امر به ویژه برای پردازش متون ورودی طولانی و متون ورودی که در آن عناصر، مانند موضوع داستان، در طول زمان تکامل می‌یابند، صادق است، بنابراین سونگلین یانگ، دانشجوی EECS، آنچه را که مدل‌ها می‌توانند در هر مرحله استنتاج انجام دهند، دوباره کار کرد. با تمرکز بر محدودیت‌های ترانسفورماتورها، مانند محدودیت‌های موجود در LLM، Rameswar Panda از آزمایشگاه تحقیقاتی IBM و Yoon Kim، استاد NBX و دانشیار در EECS، به Yang پیوستند تا معماری‌های مدل زبانی نسل بعدی را فراتر از ترانسفورماتورها توسعه دهند.

ترانسفورماتورها با دو محدودیت کلیدی روبرو هستند: پیچیدگی محاسباتی بالا در مدل‌سازی توالی طولانی به دلیل مکانیسم توجه softmax، و بیان محدود در نتیجه بایاس القایی ضعیف RoPE (کدگذاری موقعیتی چرخشی). این بدان معنی است که وقتی طول ورودی دو برابر شود، هزینه محاسباتی چهار برابر می شود. RoPE به ترانسفورماتورها اجازه می دهد تا ترتیب توالی نشانه ها (یعنی کلمات) را درک کنند. با این حال، در ثبت تغییرات حالت داخلی در طول زمان، مانند مقادیر متغیر، کار خوبی انجام نمی دهد و به طول توالی مشاهده شده در طول آموزش محدود می شود.

برای پرداختن به این موضوع، تیم MIT-IBM الگوریتم‌هایی از نظر تئوری درست اما سخت‌افزاری کارآمد را بررسی کردند. به عنوان جایگزینی برای توجه حداکثری نرم، آنها توجه خطی را اتخاذ کردند و پیچیدگی درجه دوم را کاهش دادند که طول توالی ممکن را محدود می کند. آنها همچنین معماری های ترکیبی را بررسی کردند که softmax و توجه خطی را برای دستیابی به تعادل بهتر بین بازده محاسباتی و عملکرد ترکیب می کنند.

با افزایش بیان، آنها RoPE را با کدگذاری موقعیتی بازتابی پویا بر اساس تبدیل Householder جایگزین کردند. این رویکرد تعاملات موقعیتی غنی‌تری را برای درک عمیق‌تر اطلاعات توالی در حالی که از محاسبات سریع و کارآمد پشتیبانی می‌کند، ممکن می‌سازد. پیشرفت تیم MIT-IBM نیاز به ترانسفورماتورها را برای شکستن مشکلات به چندین مرحله کاهش می دهد، در عوض به آنها اجازه می دهد تا مشکلات فرعی پیچیده تری را با نشانه های استنتاج کمتر مدیریت کنند.

چشم اندازهای جدید

داده های بصری حاوی تعداد زیادی هستند که مغز انسان می تواند به سرعت آن ها را تجزیه و تحلیل، درونی و سپس تقلید کند. دو دانش آموز با استفاده از مدل های بصری-زبانی (VLM) در حال بررسی راه هایی برای انجام این کار از طریق کد هستند.

طی دو تابستان گذشته و تحت هدایت آد اولیوا، مدیر MIT آزمایشگاه هوش مصنوعی واتسون واتسون MIT-IBM و دانشمند ارشد در آزمایشگاه علوم کامپیوتر و هوش مصنوعی؛ و Rogerio Ferris، Dan Gutfreund و Leonid Karlinski (اکنون در Xero) از IBM Research، Jovana Kondić از EECS درک بصری اسناد، به ویژه نمودارها را بررسی می کند. آنها حاوی عناصری مانند نقاط داده، افسانه‌ها و برچسب‌های محور هستند که نیاز به تشخیص نوری کاراکتر و استدلال عددی دارند که مدل‌ها هنوز با آن مشکل دارند. برای تسهیل کارهایی مانند این، گروه کوندیک شروع به ایجاد مجموعه بزرگی از نمودارهای مصنوعی منبع باز از کد کرد که می تواند برای آموزش و معیار استفاده شود.

محققان با نمونه اولیه خود، ChartGen، خط لوله ای ایجاد کردند که تصاویر نمودار دانه را از طریق VLM عبور می دهد که از آن خواسته می شود نمودار را بخواند و یک اسکریپت پایتون تولید کند که احتمالاً در وهله اول برای ایجاد نمودار استفاده شده است. سپس مؤلفه LLM چارچوب به طور مکرر کد را از بسیاری از نمودارها اضافه می کند تا در نهایت بیش از 200000 جفت نمودار منحصر به فرد و کدهای آنها تولید شود که نزدیک به 30 نوع نمودار را شامل می شود و همچنین از داده ها و حاشیه نویسی هایی مانند توضیحات و جفت سؤال-پاسخ برای نمودارها پشتیبانی می کند. این تیم در حال گسترش بیشتر مجموعه داده های خود است و به درک چندوجهی حیاتی از تجسم داده ها برای برنامه های کاربردی سازمانی مانند گزارش های مالی و علمی، وبلاگ ها و موارد دیگر کمک می کند.

لئوناردو هرناندز کانو، دانشجوی فارغ‌التحصیل EECS، به جای نمودارها، به طراحی دیجیتال، به‌ویژه تولید بافت‌های بصری برای برنامه‌های CAD و هدف کشف راه‌های مؤثر برای فعال کردن قابلیت‌ها در VLM توجه دارد. هرناندز کانو با همکاری گروه‌های آزمایشگاهی به رهبری آرماندو سولار-لزاما، پروفسور EECS و استاد بازنشسته محاسبات در کالج محاسباتی MIT شوارتزمن، و ناتان فولتون از تحقیقات IBM، یک سیستم ترکیب برنامه ایجاد کرد که به تنهایی کد را اصلاح می‌کند. سیستم با توضیح بافتی که توسط کاربر در قالب یک تصویر ارائه می شود شروع می شود. سپس یک برنامه اولیه پایتون تولید می‌کند که بافت‌های بصری تولید می‌کند و به طور مکرر کد را اصلاح می‌کند تا با یادگیری جستجوی برنامه‌های جدید از داده‌هایی که خود سیستم تولید می‌کند، برنامه‌ای را پیدا کند که بافتی را تولید کند که با توصیف هدف مطابقت داشته باشد. از طریق این پیشرفت‌ها، برنامه جدید می‌تواند تجسم‌هایی با روشنایی، رنگ، گرادیان و غیره دلخواه با تقلید از مواد واقعی ایجاد کند.

روی هم رفته، این پروژه‌ها و افرادی که پشت سر آن‌ها هستند، فشاری هماهنگ به سمت هوش مصنوعی قوی‌تر و کاربردی‌تر ایجاد می‌کنند. با پرداختن به چالش‌های اصلی قابلیت اطمینان، کارایی و استدلال چندوجهی، این کار راه را برای سیستم‌های هوش مصنوعی هموار می‌کند که نه تنها قدرتمندتر، بلکه قابل اعتمادتر و مقرون به صرفه‌تر هستند، برای برنامه‌های سازمانی و علمی در دنیای واقعی.