دانشمندان هشدار می دهند که بدرفتاری با ChatGPT دقت آن را افزایش می دهد، اما ممکن است در پایان پشیمان شوید.
هوش مصنوعی دانشمندان دریافته‌اند که چت‌ربات‌های (AI) وقتی با آنها بی‌ادب هستید، پاسخ‌های دقیق‌تری به شما می‌دهند، اگرچه آنها درباره مضرات احتمالی استفاده از زبان تحقیرآمیز هشدار داده‌اند.
در مطالعه جدیدی که در 6 اکتبر در arXiv در پایگاه داده پیش از چاپ، دانشمندان می خواستند آزمایش کنند که آیا ادب یا بی ادبی بر عملکرد یک سیستم هوش مصنوعی تأثیر می گذارد. این مطالعه هنوز مورد بازبینی همتایان قرار نگرفته است.
هر سوال با چهار گزینه مطرح شد که یکی از آنها صحیح بود. آنها 250 سؤال را 10 بار در ChatGPT-4o، یکی از پیشرفته‌ترین مدل‌های زبان بزرگ (LLM) که توسط OpenAI توسعه یافته است، اجرا کردند.
محققان در مقاله خود نوشتند: «آزمایش‌های ما مقدماتی هستند و نشان می‌دهند که لحن می‌تواند به طور قابل‌توجهی بر عملکرد آن‌طور که با نتیجه 50 سؤال اندازه‌گیری می‌شود، تأثیر بگذارد». «تا حدودی شگفت‌آور است، نتایج ما نشان می‌دهد که لحن‌های بی‌ادبانه به نتایج بهتری نسبت به صداهای مودبانه منجر می‌شوند.
آنها افزودند: «اگرچه این یافته مورد توجه علمی است، اما ما از اجرای رابط های خصمانه یا سمی در برنامه های کاربردی دنیای واقعی حمایت نمی کنیم. “استفاده از زبان توهین آمیز یا تحقیر آمیز در تعامل انسان و هوش مصنوعی می تواند اثرات منفی بر تجربه کاربر، دسترسی و شمولیت داشته باشد و می تواند به هنجارهای ارتباطی مضر کمک کند. در عوض، ما نتایج خود را به عنوان شواهدی در نظر می گیریم که LLM ها به نشانه های سریع سطحی حساس هستند که می تواند مبادلات ناخواسته بین عملکرد و رفاه کاربر ایجاد کند.”
یک بیداری بی ادبانه
قبل از دادن هر درخواست، محققان از ربات چت خواستند که تبادل قبلی را به طور کامل نادیده بگیرد تا از تحت تاثیر قرار گرفتن صداهای قبلی جلوگیری کند. از چت بات ها نیز بدون توضیح خواسته شد که یکی از چهار گزینه را انتخاب کنند.
دقت پاسخ از 80.8 درصد دقت برای درخواست‌های بسیار مودبانه تا 84.8 درصد برای درخواست‌های بسیار گستاخانه متغیر بود. به طور قابل توجهی، دقت با هر مرحله از مودبانه ترین لحن افزایش می یابد. پاسخ‌های مؤدبانه دارای میزان دقت 81.4٪ بودند، به دنبال آن 82.2٪ برای خنثی و 82.8٪ برای بی ادبی بودند.
تیم از زبان های مختلفی در پیشوند برای تغییر لحن استفاده کرد، به جز زبان خنثی، که در آن هیچ پیشوندی استفاده نشده بود و سوال به تنهایی ارائه شد.
به عنوان مثال، برای درخواست‌های بسیار مودبانه، آنها می‌گفتند: “می‌توانم برای این سوال از شما کمک بخواهم؟” یا “آیا آنقدر مهربان هستید که سوال زیر را حل کنید؟” در خشن ترین انتهای طیف، تیم شامل زبانی مانند “هی، دیوانه، این را بفهم” یا “می دانم که تو باهوش نیستی، اما این را امتحان کن” را شامل می شود.
این تحقیق بخشی از یک زمینه نوظهور به نام مهندسی سریع است که به دنبال بررسی چگونگی تأثیر ساختار، سبک و زبان دستورات بر خروجی LLM است. در این تحقیق همچنین ذکر شده است تحقیقات قبلی در ادب در مقابل بی ادبی و دریافتند که نتایج آنها به طور کلی با این یافته ها ناسازگار است.
در مطالعات قبلی، محققان دریافتند که “تغیرات غیر مودبانه اغلب منجر به عملکرد ضعیف می شود، اما زبان بیش از حد مودبانه عملکرد بهتر را تضمین نمی کند.” با این حال، مطالعه قبلی با استفاده از مدل‌های مختلف هوش مصنوعی – ChatGPT 3.5 و Llama 2-70B – انجام شد و از طیف هشت تن استفاده شد. گفته می شود، مقداری همپوشانی وجود داشت. همچنین مشخص شد که خشن ترین تنظیم سریع نتایج دقیق تری (76.47٪) نسبت به مودبانه ترین تنظیم (75.82٪) ایجاد می کند.
محققان محدودیت های مطالعه خود را تایید می کنند. به عنوان مثال، مجموعه ای از 250 سوال یک مجموعه داده نسبتاً محدود است و انجام آزمایش با یک LLM به این معنی است که نتایج را نمی توان به سایر مدل های هوش مصنوعی تعمیم داد.
با در نظر گرفتن این محدودیت‌ها، تیم قصد دارد تحقیقات خود را به مدل‌های دیگر، از جمله Claude LLM Anthropic و ChatGPT o3 از OpenAI گسترش دهد. آنها همچنین اذعان می‌کنند که ارائه تنها سؤالات چند گزینه‌ای، اندازه‌گیری‌ها را به یک بعد از عملکرد مدل محدود می‌کند و دیگر ویژگی‌ها، مانند روانی، استدلال، و انسجام را در بر نمی‌گیرد.
