توهم هوش مصنوعی

توهم هوش مصنوعی

شناسنامه
نام‌های دیگر	توهم مدل زبانی، هذیان هوش مصنوعی، جعل مدل، Confabulation
حوزه	هوش مصنوعی، هوش مصنوعی مولد، مدل زبانی بزرگ، پردازش زبان طبیعی، ایمنی هوش مصنوعی
خاستگاه	علوم رایانه، پردازش زبان طبیعی، یادگیری ماشین و پژوهش‌های مربوط به قابلیت اعتماد هوش مصنوعی
اندیشه و تاریخ
مفاهیم کلیدی	خطای واقعیت، جعل منبع، عدم قطعیت، قابلیت اعتماد، توهم ذاتی، توهم بیرونی، زمینه، بازیابی اطلاعات، راستی‌آزمایی
جریان‌های مرتبط	هوش مصنوعی مولد، مدل زبانی بزرگ، پرامپت، توکن، بازیابی افزوده به تولید، ایمنی هوش مصنوعی
تأثیرپذیرفته از	معماری مدل‌های مولد، داده‌های آموزشی، فرایند پیش‌آموزش و پس‌آموزش، طراحی ارزیابی، زمینه و شیوهٔ استفاده
تأثیرگذار بر	پژوهش دربارهٔ قابلیت اعتماد هوش مصنوعی، ارزیابی مدل‌ها، بازیابی افزوده به تولید، راستی‌آزمایی، طراحی سامانه‌های هوش مصنوعی و سواد هوش مصنوعی
نقد و ارزیابی

توهم هوش مصنوعی (به انگلیسی: AI Hallucination) اصطلاحی رایج برای وضعیتی است که یک سامانهٔ هوش مصنوعی مولد اطلاعات نادرست، ساختگی، ناسازگار یا فاقد پشتوانه تولید می‌کند، در حالی که خروجی ممکن است از نظر زبانی منسجم و ظاهراً معتبر باشد. این پدیده به‌ویژه در مدل‌های زبانی بزرگ مورد توجه قرار گرفته است.

مؤسسه ملی استانداردها و فناوری ایالات متحده (NIST) در «چارچوب مدیریت ریسک هوش مصنوعی: نمایهٔ هوش مصنوعی مولد» اصطلاح Confabulation را برای تولید و ارائهٔ مطمئن محتوای اشتباه یا نادرست به کار می‌برد و توضیح می‌دهد که اصطلاح‌های hallucination و fabrication نیز به‌طور رایج برای این پدیده استفاده می‌شوند.

توهم می‌تواند به شکل‌های گوناگون ظاهر شود؛ از جمله ساختن یک تاریخ، نام، نقل‌قول یا منبع غیرواقعی، ارائهٔ اطلاعات نادرست دربارهٔ یک شخص یا رویداد، استناد به مقاله‌ای که وجود ندارد، یا تولید پاسخی که با اطلاعات موجود در ورودی یا حتی با بخش دیگری از همان پاسخ ناسازگار است.

این پدیده یکی از چالش‌های بنیادی قابلیت اعتماد در هوش مصنوعی مولد است؛ زیرا کیفیت زبانی یک پاسخ لزوماً نشان‌دهندهٔ صحت محتوای آن نیست.

اصطلاح‌شناسی

اصطلاح hallucination در ادبیات هوش مصنوعی بسیار رایج شده است، اما دربارهٔ مناسب‌بودن آن بحث وجود دارد.

«توهم» در کاربرد انسانی اصطلاحی روان‌شناختی و پزشکی است، در حالی که مدل هوش مصنوعی دارای تجربهٔ ذهنی یا ادراک حسی انسانی نیست.

NIST به همین دلیل در اسناد خود اصطلاح Confabulation را ترجیح داده و خاطرنشان کرده است که استفاده از واژه‌هایی مانند hallucination می‌تواند موجب انسان‌انگاری سامانه‌های هوش مصنوعی شود.

با این حال، «AI hallucination» همچنان یکی از اصطلاحات متداول در پژوهش‌ها، رسانه‌ها و صنعت هوش مصنوعی است.

تعریف

در یک تعریف ساده، توهم زمانی رخ می‌دهد که مدل خروجی‌ای تولید کند که از نظر ظاهری پذیرفتنی است، اما با واقعیت یا اطلاعات مرجع تطابق ندارد.

برای نمونه اگر از یک مدل خواسته شود:

«مقالهٔ علمی منتشرشده توسط پژوهشگر X در سال ۲۰۲۴ را معرفی کن.»

و مدل عنوان مقاله، نام مجله، شمارهٔ صفحات و شناسهٔ DOI کاملاً ساختگی تولید کند، این خروجی نمونه‌ای از توهم است.

خطر اصلی در این است که اطلاعات ساختگی ممکن است با قالب و زبان کاملاً متقاعدکننده ارائه شوند.

توهم و خطای معمولی

هر خطای هوش مصنوعی الزاماً «توهم» نیست.

سامانه ممکن است به دلیل خطای محاسباتی، درک نادرست دستور، نقص ابزار یا دادهٔ اشتباه نتیجهٔ نادرستی ارائه کند.

در کاربرد رایج، اصطلاح توهم بیشتر زمانی به کار می‌رود که مدل محتوایی را تولید می‌کند که پشتوانهٔ کافی ندارد اما آن را به‌صورت یک پاسخ معتبر ارائه می‌دهد.

برای مثال، اشتباه مدل در جمع دو عدد می‌تواند یک خطای محاسباتی باشد.

اما ساختن نام یک کتاب، نویسنده و ناشر غیرواقعی نمونهٔ روشن‌تری از توهم است.

توهم چگونه ایجاد می‌شود؟

برای فهم توهم باید به سازوکار مدل‌های مولد توجه کرد.

مدل زبانی بزرگ در شکل بنیادی خود یک پایگاه دادهٔ حقیقت نیست. این مدل از الگوهای موجود در داده‌های آموزشی برای مدل‌سازی زبان استفاده می‌کند.

در مدل‌های خودرگرسیو، فرایند تولید متن شامل پیش‌بینی توکن‌های بعدی بر اساس زمینهٔ موجود است.

به شکل ساده:

پرامپت
↓
توکن‌ها
↓
پردازش توسط مدل
↓
محاسبهٔ احتمال ادامه‌های ممکن
↓
انتخاب توکن بعدی
↓
تکرار فرایند
↓
پاسخ

این فرایند می‌تواند متنی بسیار روان تولید کند، اما روان‌بودن متن تضمین نمی‌کند که هر گزارهٔ موجود در آن درست باشد.

NIST توضیح می‌دهد که Confabulation از شیوهٔ طراحی مدل‌های مولد ناشی می‌شود: این مدل‌ها خروجی‌هایی تولید می‌کنند که توزیع آماری داده‌های آموزشی را تقریب می‌زنند و چنین پیش‌بینی آماری می‌تواند هم خروجی صحیح و هم خروجی نادرست یا ناسازگار ایجاد کند.

پیش‌بینی توکن بعدی

در بسیاری از مدل‌های زبانی، یکی از سازوکارهای اصلی آموزش پیش‌بینی واحد بعدی متن است.

مدل با مشاهدهٔ حجم بزرگی از داده می‌آموزد چه الگوهایی معمولاً در کنار یکدیگر قرار می‌گیرند.

اما میان:

«ادامهٔ زبانی محتمل»

و:

«گزارهٔ واقعی»

تفاوت وجود دارد.

ممکن است جمله‌ای از نظر ساختار زبان و الگوهای آموخته‌شده بسیار محتمل باشد، اما اطلاعات آن در جهان واقعی صحت نداشته باشد.

پژوهش OpenAI دربارهٔ منشأ توهم در مدل‌های زبانی، بخشی از این مسئله را به ماهیت پیش‌آموزش و دشواری یادگیری برخی واقعیت‌های کم‌تکرار یا دل‌بخواهی از طریق پیش‌بینی آماری نسبت می‌دهد.

داده‌های آموزشی

داده‌های آموزشی یکی دیگر از عوامل مؤثر در بروز خطا هستند.

داده‌ها ممکن است:

• نادرست باشند؛
• قدیمی باشند؛
• متناقض باشند؛
• ناقص باشند؛
• برخی موضوعات را کمتر پوشش دهند؛
• یا دربارهٔ یک واقعیت نادر اطلاعات اندکی داشته باشند.

مدل باید از میان این داده‌ها الگوهای آماری را بیاموزد.

بنابراین اگر اطلاعات مربوط به موضوعی کمیاب، مبهم یا متناقض باشد، احتمال تولید پاسخ نادرست می‌تواند افزایش یابد.

واقعیت‌های نادر

برخی اطلاعات به‌سادگی از الگوهای عمومی زبان قابل استنتاج نیستند.

برای مثال:

• تاریخ دقیق تولد یک فرد کم‌شناخته؛
• شمارهٔ یک سند قدیمی؛
• شمارهٔ صفحهٔ یک کتاب؛
• عنوان پایان‌نامهٔ یک پژوهشگر؛
• یا شناسهٔ DOI یک مقاله

ممکن است واقعیت‌هایی بسیار خاص باشند.

پژوهش OpenAI در سال ۲۰۲۵ توضیح داده است که واقعیت‌های کم‌تکرار و دل‌بخواهی را نمی‌توان صرفاً از الگوهای عمومی زبان با اطمینان استنتاج کرد و این امر یکی از سرچشمه‌های خطا در پیش‌آموزش است.

حدس‌زدن در شرایط عدم قطعیت

یکی از مسائل مهم زمانی ایجاد می‌شود که مدل پاسخ را نمی‌داند اما به جای اعلام عدم قطعیت، پاسخی مشخص تولید می‌کند.

OpenAI در پژوهشی در سال ۲۰۲۵ استدلال کرد که برخی روش‌های متداول ارزیابی مدل‌ها می‌توانند به‌طور غیرمستقیم حدس‌زدن را تشویق کنند؛ زیرا پاسخ درست امتیاز دارد، پاسخ نادرست شکست محسوب می‌شود، اما اعلام «نمی‌دانم» نیز معمولاً امتیازی کسب نمی‌کند.

در چنین ساختاری، حدس‌زدن گاهی از نظر معیار ارزیابی سودمندتر از خودداری از پاسخ است.

این پژوهش پیشنهاد می‌کند خطای مطمئن با شدت بیشتری نسبت به اعلام مناسب عدم قطعیت جریمه شود.

اطمینان ظاهری

یکی از ویژگی‌های مسئله‌ساز توهم آن است که مدل می‌تواند پاسخ نادرست را با زبان بسیار مطمئن بیان کند.

برای مثال:

«این کتاب در سال ۱۹۸۷ توسط انتشارات دانشگاه آکسفورد منتشر شد.»

ممکن است کاملاً طبیعی به نظر برسد، حتی اگر هیچ‌یک از اطلاعات آن درست نباشد.

لحن مطمئن مدل نباید با درجهٔ واقعی اطمینان به صحت اطلاعات اشتباه گرفته شود.

توانایی تولید نثر روان یکی از قابلیت‌های مدل زبانی است؛ اما این قابلیت به‌خودی‌خود سامانهٔ راستی‌آزمایی واقعیت نیست.

جعل منبع

یکی از مهم‌ترین انواع توهم در کاربردهای پژوهشی ساختن منبع غیرواقعی است.

مدل ممکن است:

• عنوان مقاله‌ای را بسازد؛
• نویسنده‌ای را به اثری نسبت دهد که او ننوشته است؛
• نام مجله‌ای واقعی را با مقاله‌ای ساختگی ترکیب کند؛
• شمارهٔ صفحهٔ نادرست بدهد؛
• DOI جعلی تولید کند؛
• یا نشانی اینترنتی ناموجود ارائه کند.

این نوع توهم خطر ویژه‌ای در مقاله‌نویسی دانشگاهی و دانشنامه‌ای دارد، زیرا خروجی از نظر قالب ممکن است دقیقاً شبیه یک استناد علمی واقعی باشد.

به همین دلیل وجود قالب علمی در ارجاع، دلیلی بر واقعی بودن منبع نیست.

جعل نقل‌قول

مدل ممکن است جمله‌ای را به یک نویسنده، سیاستمدار، دانشمند یا شخصیت تاریخی نسبت دهد، بدون آن‌که آن شخص چنین جمله‌ای گفته یا نوشته باشد.

گاهی مضمون کلی ممکن است با دیدگاه شخص سازگار باشد، اما عبارت نقل‌شده وجود خارجی نداشته باشد.

در دانشنامه‌نویسی، نقل‌قول مستقیم باید از منبع اصلی یا منبع معتبر قابل بررسی استخراج شود.

جعل رویداد

مدل ممکن است رویدادی ایجاد کند که اساساً رخ نداده است.

برای مثال ممکن است:

• دیداری خیالی میان دو شخصیت تاریخی؛
• کنفرانسی ناموجود؛
• قانونی که تصویب نشده؛
• جایزه‌ای که اعطا نشده؛
• یا سخنرانی‌ای که انجام نشده

را در قالب یک واقعیت تاریخی ارائه کند.

هرچه موضوع کم‌شناخته‌تر باشد، تشخیص چنین خطایی برای خواننده دشوارتر خواهد بود.

جعل جزئیات

گاهی اصل رویداد واقعی است، اما مدل جزئیات آن را اشتباه تولید می‌کند.

برای مثال:

• تاریخ رویداد واقعی است اما مکان نادرست است؛
• شخص واقعی است اما سمت او اشتباه ذکر می‌شود؛
• کتاب واقعی است اما سال انتشار غلط است؛
• یا مقاله واقعی است اما نام یکی از نویسندگان اشتباه است.

این نوع توهم ممکن است از جعل کامل خطرناک‌تر باشد، زیرا بخشی از اطلاعات صحیح است و خطا به آسانی تشخیص داده نمی‌شود.

ناسازگاری درونی

توهم همیشه به معنای تعارض با یک منبع خارجی نیست.

مدل ممکن است در یک پاسخ با خودش نیز تناقض پیدا کند.

برای مثال در ابتدای متن بنویسد:

«این سازمان در سال ۱۹۴۸ تأسیس شد.»

و چند بند بعد اعلام کند:

«این سازمان از زمان تأسیس در سال ۱۹۵۰...»

NIST ناسازگاری با گفته‌های قبلی در همان زمینه را نیز در تعریف Confabulation قرار می‌دهد.

توهم و پرامپت

کیفیت پرامپت می‌تواند بر احتمال برخی خطاها اثر بگذارد.

پرامپت مبهم ممکن است مدل را مجبور به استنباط اطلاعاتی کند که کاربر مشخص نکرده است.

برای مثال:

«دربارهٔ کتاب او توضیح بده.»

اگر مشخص نباشد «او» چه کسی است یا کدام کتاب مورد نظر است، مدل ممکن است بر اساس زمینه حدس بزند.

در مقابل، ارائهٔ نام دقیق کتاب، نویسنده، سال انتشار و سند مرجع می‌تواند ابهام را کاهش دهد.

با این حال، پرامپت دقیق به‌تنهایی توهم را به‌طور کامل از بین نمی‌برد.

«فقط حقیقت را بگو»

دستورهایی مانند:

«اطلاعات ساختگی تولید نکن.»

یا:

«فقط اطلاعات صددرصد صحیح بده.»

می‌توانند هدف کاربر را روشن کنند، اما سازوکار مستقلی برای اثبات صحت اطلاعات ایجاد نمی‌کنند.

اگر مدل اطلاعات لازم را در اختیار نداشته باشد، صرف وجود این دستور نمی‌تواند واقعیت مفقود را ایجاد کند.

بنابراین کاهش توهم نیازمند روش‌هایی فراتر از پرامپت‌نویسی است.

اعلام عدم قطعیت

یکی از راه‌های مهم کاهش آسیب توهم آن است که مدل در شرایط عدم اطمینان از ارائهٔ پاسخ قطعی خودداری کند.

عبارت‌هایی مانند:

«اطلاعات کافی برای تأیید این موضوع ندارم.»

یا:

«این منبع را نتوانستم تأیید کنم.»

در بسیاری از کاربردها از تولید یک پاسخ ساختگی بهتر هستند.

پژوهش OpenAI در سال ۲۰۲۵ بر اهمیت اصلاح ارزیابی‌ها به‌گونه‌ای تأکید کرده است که اعلام مناسب عدم قطعیت نسبت به حدس نادرست تشویق شود.

راستی‌آزمایی

یکی از مؤثرترین راه‌های مدیریت توهم، راستی‌آزمایی اطلاعات با منابع مستقل است.

برای ادعاهای مهم می‌توان بررسی کرد:

• آیا منبع واقعاً وجود دارد؟
• آیا عنوان و نویسنده صحیح هستند؟
• آیا لینک به همان سند ادعاشده منتهی می‌شود؟
• آیا تاریخ در منبع اصلی آمده است؟
• آیا نقل‌قول دقیقاً در سند وجود دارد؟
• آیا چند منبع مستقل ادعا را تأیید می‌کنند؟

این فرایند به‌ویژه در دانشنامه‌نویسی ضروری است.

بازیابی افزوده به تولید

یکی از روش‌های کاهش وابستگی مدل به اطلاعات ذخیره‌شده در پارامترهای آن، بازیابی افزوده به تولید (Retrieval-Augmented Generation یا RAG) است.

در این روش، سامانه ابتدا اطلاعات مرتبط را از مجموعه‌ای از اسناد یا پایگاه داده بازیابی می‌کند و سپس آن اطلاعات را در اختیار مدل قرار می‌دهد تا پاسخ بر اساس آنها تولید شود.

به صورت ساده:

پرسش
↓
جست‌وجوی منبع
↓
بازیابی اسناد مرتبط
↓
ارائهٔ اسناد به مدل
↓
تولید پاسخ

این روش می‌تواند قابلیت استناد و دسترسی به اطلاعات به‌روز را افزایش دهد، اما توهم را به صفر نمی‌رساند؛ زیرا مدل ممکن است سند را نادرست تفسیر کند یا میان اطلاعات بازیابی‌شده ارتباط نادرستی ایجاد کند.

ابزارهای جست‌وجو

اتصال مدل زبانی به موتور جست‌وجو یا پایگاه‌های داده نیز می‌تواند امکان بررسی اطلاعات جاری یا خاص را فراهم کند.

برای مثال، به جای پاسخ‌دادن از حافظهٔ پارامتری دربارهٔ یک مقالهٔ علمی، سامانه می‌تواند ابتدا مقاله را در پایگاه مربوط جست‌وجو کند.

اما استفاده از جست‌وجو نیز نیازمند ارزیابی کیفیت منبع است.

وجود یک مطلب در اینترنت به معنای صحت آن نیست.

توهم در خلاصه‌سازی

حتی هنگامی که سند اصلی در اختیار مدل قرار دارد، امکان خطا کاملاً از بین نمی‌رود.

مدل ممکن است هنگام خلاصه‌سازی:

• رابطه‌ای را بیش از حد ساده کند؛
• نتیجه‌ای را به نویسنده نسبت دهد که در متن نیامده است؛
• دو بخش را نادرست با یکدیگر ترکیب کند؛
• یا جزئیاتی خارج از سند اضافه کند.

در چنین کاربردی باید میان خلاصهٔ مبتنی بر سند و اطلاعات افزوده‌شده از دانش عمومی مدل تمایز روشنی وجود داشته باشد.

توهم در ترجمه

مدل‌های زبانی می‌توانند هنگام ترجمه نیز اطلاعاتی را اضافه یا حذف کنند.

اگر هدف ترجمهٔ دقیق باشد، افزودن توضیح، اصلاح ضمنی یا بازنویسی آزاد می‌تواند باعث تغییر معنا شود.

در متون حقوقی، تاریخی و علمی این مسئله اهمیت بیشتری دارد.

توهم در برنامه‌نویسی

مدل‌های تولید کد نیز ممکن است دچار نوعی توهم شوند.

مدل ممکن است:

• تابعی ناموجود را فراخوانی کند؛
• کتابخانه‌ای خیالی معرفی کند؛
• پارامترهای API را اشتباه بسازد؛
• نسخهٔ نرم‌افزار را نادرست اعلام کند؛
• یا کدی تولید کند که از نظر نحوی معتبر اما از نظر عملکرد اشتباه باشد.

بنابراین کد تولیدشده توسط هوش مصنوعی باید آزمایش و با مستندات رسمی تطبیق داده شود.

توهم در پزشکی

در پزشکی، اطلاعات نادرست می‌تواند پیامد مستقیم برای سلامت افراد داشته باشد.

مدل ممکن است اطلاعات اشتباهی دربارهٔ دارو، تشخیص، تداخل دارویی یا درمان تولید کند.

به همین دلیل سامانه‌های مولد عمومی نباید صرفاً بر اساس روانی پاسخ به عنوان منبع قطعی پزشکی در نظر گرفته شوند.

NIST نیز تأکید می‌کند که Confabulation در حوزه‌هایی که نیازمند تخصص یا زمینهٔ دقیق هستند می‌تواند اهمیت ویژه داشته باشد.

توهم در حقوق

در حوزهٔ حقوق، یکی از خطرهای شناخته‌شده تولید پرونده‌ها، آرای قضایی یا استنادهای غیرواقعی است.

یک متن حقوقی ساختگی ممکن است از نظر نام پرونده، دادگاه و شیوهٔ استناد کاملاً معتبر به نظر برسد.

به همین دلیل ارجاعات حقوقی تولیدشده توسط مدل باید مستقیماً در پایگاه‌های رسمی یا معتبر حقوقی بررسی شوند.

توهم در پژوهش علمی

در پژوهش دانشگاهی، جعل منبع یکی از مهم‌ترین خطرهاست.

مدل ممکن است عنوان مقاله‌ای ایجاد کند که از نظر موضوع کاملاً منطقی به نظر می‌رسد، نام پژوهشگران واقعی را به آن نسبت دهد و حتی نام یک مجلهٔ واقعی را ذکر کند.

این ترکیب می‌تواند برای پژوهشگری که موضوع را دقیق نمی‌شناسد بسیار متقاعدکننده باشد.

قاعدهٔ اساسی آن است که:

منبعی که توسط مدل معرفی می‌شود تا زمانی که مستقلاً یافت و بررسی نشده، منبع تأییدشده محسوب نمی‌شود.

توهم در دانشنامه‌نویسی

در دانشنامه، صحت جزئیات اهمیت ویژه‌ای دارد.

توهم می‌تواند در مواردی مانند:

• تاریخ تولد و مرگ؛
• نام اشخاص؛
• عنوان کتاب؛
• تاریخ رویداد؛
• نقل‌قول؛
• آمار؛
• نام سازمان؛
• شمارهٔ قطعنامه؛
• یا منبع

وارد مقاله شود.

به همین دلیل استفاده از هوش مصنوعی برای نگارش دانشنامه باید همراه با نظام منبع‌دهی و راستی‌آزمایی باشد.

یک مقالهٔ بسیار روان اما فاقد منابع معتبر نمی‌تواند صرفاً به دلیل کیفیت نگارش، مقاله‌ای قابل اعتماد تلقی شود.

منابع جعلی در دانشنامه

یکی از خطرناک‌ترین خطاها در تولید مقالهٔ دانشنامه‌ای ایجاد منبعی است که وجود ندارد.

برای جلوگیری از آن باید:

• عنوان منبع جست‌وجو شود؛
• نویسنده بررسی شود؛
• نشانی اینترنتی باز شود؛
• تاریخ انتشار کنترل شود؛
• ادعای مورد استناد در خود منبع پیدا شود؛
• و در صورت امکان از منبع اولیه استفاده شود.

اگر منبع قابل تأیید نیست، بهتر است ادعا بدون پشتوانه وارد مقاله نشود.

توهم و اخبار

مدل زبانی ممکن است اطلاعاتی دربارهٔ رویدادهای جدید تولید کند که در داده‌های در دسترس آن وجود ندارند.

در اخبار، حتی چند ساعت اختلاف زمانی می‌تواند اهمیت داشته باشد.

برای اطلاعات جاری، استفاده از منابع خبری معتبر و جست‌وجوی به‌روز اهمیت بیشتری از اتکا به دانش داخلی مدل دارد.

توهم و اطلاعات سیاسی

اطلاعات سیاسی شامل نام مقام‌ها، انتخابات، قوانین، مواضع رسمی، آمار و رویدادهای جاری است و بسیاری از این داده‌ها با زمان تغییر می‌کنند.

در چنین موضوعاتی، یک پاسخ قدیمی یا حدس‌زده‌شده ممکن است به اطلاعات نادرست منجر شود.

از این رو ادعاهای سیاسی و انتخاباتی جاری باید با منابع به‌روز و قابل بررسی تطبیق داده شوند.

توهم و سوگیری الگوریتمی

سوگیری الگوریتمی و توهم هوش مصنوعی دو مفهوم متفاوت هستند.

توهم به تولید اطلاعات نادرست یا فاقد پشتوانه اشاره دارد.

سوگیری الگوریتمی به گرایش‌های نظام‌مند در داده، طراحی یا عملکرد سامانه اشاره می‌کند که می‌تواند به نتایج نامتوازن یا ناعادلانه منجر شود.

یک پاسخ ممکن است بدون آن‌که توهم باشد سوگیرانه باشد.

همچنین ممکن است یک پاسخ کاملاً ساختگی باشد، بدون آن‌که سوگیری مشخصی در آن وجود داشته باشد.

البته این دو پدیده می‌توانند هم‌زمان نیز رخ دهند.

توهم و اطلاعات نادرست

توهم می‌تواند به تولید اطلاعات نادرست منجر شود، اما انگیزه‌ای انسانی پشت آن لازم نیست.

مدل ممکن است اطلاعات نادرست را بدون قصد فریب تولید کند؛ زیرا مدل فاقد قصد انسانی به معنای متعارف آن است.

NIST مسئلهٔ Confabulation را از خطر گسترده‌تر یکپارچگی اطلاعات تفکیک می‌کند. محتوای تولیدشده توسط هوش مصنوعی می‌تواند در صورت انتشار گسترده بر محیط اطلاعاتی اثر بگذارد.

توهم و پروپاگاندا

پروپاگاندا معمولاً به ارتباط هدفمند برای تأثیرگذاری بر نگرش و رفتار مخاطب مربوط است، در حالی که توهم مدل لزوماً هدف یا قصد سیاسی ندارد.

با این حال، محتوای ساختگی تولیدشده توسط هوش مصنوعی می‌تواند توسط انسان‌ها در عملیات تبلیغاتی یا انتشار اطلاعات نادرست مورد استفاده قرار گیرد.

از این رو باید میان:

خطای تولیدشده توسط مدل

و:

استفادهٔ عمدی انسان از محتوای ساختگی

تمایز گذاشت.

توهم و انسان‌انگاری

اصطلاح «توهم» ممکن است این تصور را ایجاد کند که مدل مانند انسان چیزی را می‌بیند یا باور می‌کند که وجود ندارد.

این برداشت دقیق نیست.

مدل زبانی تجربهٔ ادراکی انسانی ندارد.

به همین دلیل NIST استفاده از اصطلاح Confabulation را ترجیح داده و دربارهٔ خطر انسان‌انگاری سامانه‌های هوش مصنوعی هشدار داده است.

در زبان عمومی با این حال «توهم هوش مصنوعی» همچنان اصطلاح شناخته‌شده‌تری است.

آیا مدل می‌داند که پاسخ نادرست است؟

پرسش «آیا مدل می‌داند که دروغ می‌گوید؟» می‌تواند گمراه‌کننده باشد.

مدل زبانی را نباید بدون دلیل دارای آگاهی، باور یا قصد انسانی فرض کرد.

از نظر فنی مسئله این است که سامانه خروجی‌ای تولید کرده که با واقعیت یا منبع مرجع سازگار نیست.

بنابراین بهتر است گفته شود:

«مدل اطلاعات نادرست تولید کرد.»

نه این‌که الزاماً:

«مدل تصمیم گرفت دروغ بگوید.»

آیا مدل‌های بزرگ‌تر توهم ندارند؟

افزایش توانایی مدل می‌تواند نرخ برخی خطاها را کاهش دهد، اما به‌تنهایی توهم را حذف نمی‌کند.

OpenAI در سال ۲۰۲۵ گزارش کرد که مدل‌های جدیدتر این شرکت در برخی ارزیابی‌ها نرخ توهم کمتری دارند، اما این پدیده همچنان باقی است.

بنابراین «مدل قوی‌تر» را نباید مترادف «مدل همیشه درست» دانست.

آیا توهم اجتناب‌ناپذیر است؟

پژوهش دربارهٔ توهم میان وقوع خطا و نحوهٔ واکنش مدل به عدم قطعیت تمایز می‌گذارد.

مدل همیشه مجبور نیست هنگامی که پاسخ را نمی‌داند حدس بزند.

می‌تواند در شرایط مناسب از پاسخ قطعی خودداری کند یا عدم اطمینان را بیان کند.

پژوهش OpenAI استدلال می‌کند که یکی از مسیرهای کاهش توهم، طراحی ارزیابی‌هایی است که خودداری مناسب از پاسخ را نسبت به حدس نادرست ترجیح دهند.

راه‌های کاهش توهم

راه واحدی برای حذف کامل توهم وجود ندارد، اما چند روش می‌توانند احتمال یا پیامد آن را کاهش دهند:

• استفاده از منابع معتبر؛
• بازیابی اطلاعات پیش از تولید پاسخ؛
• اتصال مدل به ابزارهای جست‌وجو؛
• درخواست استناد قابل بررسی؛
• بررسی مستقل منابع؛
• فراهم‌کردن زمینهٔ کافی؛
• محدودکردن پاسخ به اسناد مشخص؛
• اجازه به مدل برای اعلام عدم قطعیت؛
• ارزیابی خروجی با ابزار یا انسان؛
• و استفاده از مدل‌های مناسب برای نوع وظیفه.

ترکیب چند روش معمولاً مؤثرتر از اتکا به یک تکنیک منفرد است.

انسان در حلقه

در کاربردهای حساس، انسان در حلقه (Human in the Loop) می‌تواند نقش مهمی داشته باشد.

متخصص انسانی می‌تواند:

• ادعاها را بررسی کند؛
• منابع را باز کند؛
• خطاها را شناسایی کند؛
• زمینهٔ تخصصی را ارزیابی کند؛
• و پیش از انتشار تصمیم نهایی بگیرد.

این مسئله به‌ویژه در پزشکی، حقوق، روزنامه‌نگاری، پژوهش و دانشنامه‌نویسی اهمیت دارد.

اصل «اعتماد نکن؛ بررسی کن»

در استفادهٔ پژوهشی از هوش مصنوعی می‌توان یک اصل عملی را چنین بیان کرد:

روانی پاسخ، مدرک صحت آن نیست.

هرچه ادعا دقیق‌تر، حساس‌تر یا کم‌شناخته‌تر باشد، نیاز به راستی‌آزمایی بیشتر است.

تاریخ‌های دقیق، آمار، نقل‌قول‌ها، اسامی، شمارهٔ قوانین، DOIها و منابع کتاب‌شناختی از جمله اطلاعاتی هستند که باید به‌طور مستقل بررسی شوند.

اهمیت توهم در عصر هوش مصنوعی مولد

گسترش استفاده از هوش مصنوعی مولد باعث شده مسئلهٔ توهم از یک موضوع فنی به مسئله‌ای گسترده‌تر دربارهٔ اعتماد به اطلاعات تبدیل شود.

کاربران ممکن است پاسخ مدل را به دلیل:

• نثر روان؛
• ساختار منظم؛
• لحن مطمئن؛
• جزئیات زیاد؛
• و ظاهر علمی

معتبر تصور کنند.

اما هیچ‌یک از این ویژگی‌ها به‌تنهایی صحت محتوا را اثبات نمی‌کند.

این مسئله اهمیت سواد رسانه‌ای و سواد هوش مصنوعی را افزایش داده است.

جمع‌بندی

توهم هوش مصنوعی اصطلاحی رایج برای تولید محتوای نادرست، ساختگی، ناسازگار یا فاقد پشتوانه توسط سامانه‌های هوش مصنوعی مولد است. NIST برای این پدیده اصطلاح Confabulation را به کار می‌برد و آن را تولید و ارائهٔ مطمئن محتوای اشتباه یا نادرست تعریف می‌کند.

توهم می‌تواند به صورت جعل منبع، نقل‌قول، تاریخ، نام، آمار یا رویداد ظاهر شود و حتی شامل تناقض مدل با اطلاعات موجود در پرامپت یا گفته‌های قبلی خودش باشد.

یکی از دلایل بنیادی این پدیده آن است که مدل‌های زبانی برای تولید توالی‌های محتمل آموزش می‌بینند و روانی یا احتمال بالای یک توالی لزوماً به معنای حقیقت آن نیست. پژوهش‌های جدید همچنین نشان داده‌اند که نحوهٔ آموزش و ارزیابی مدل‌ها می‌تواند حدس‌زدن را در شرایط عدم قطعیت تشویق کند.

روش‌هایی مانند بازیابی اطلاعات، اتصال مدل به منابع معتبر، ارائهٔ زمینه، راستی‌آزمایی، اعلام عدم قطعیت و نظارت انسانی می‌توانند خطر را کاهش دهند، اما هیچ‌یک به‌تنهایی تضمین نمی‌کنند که همهٔ خروجی‌ها صحیح باشند.

در کاربرد دانشنامه‌ای، مهم‌ترین پیامد این پدیده آن است که هیچ منبع، تاریخ، نقل‌قول یا ادعای تولیدشده توسط مدل نباید صرفاً به دلیل ظاهر معتبر آن پذیرفته شود. اعتبار مقاله باید از منابع واقعی، مستقل و قابل راستی‌آزمایی ناشی شود، نه از اطمینان ظاهری متن تولیدشده.

جستارهای وابسته

• هوش مصنوعی
• هوش مصنوعی مولد
• مدل زبانی بزرگ
• پرامپت (هوش مصنوعی)
• توکن (هوش مصنوعی)
• سوگیری الگوریتمی
• پردازش زبان طبیعی
• یادگیری ماشین
• یادگیری عمیق
• بازیابی افزوده به تولید
• اطلاعات نادرست
• پروپاگاندا
• سواد رسانه‌ای
• امنیت سایبری
• علوم رایانه

کتاب‌شناسی

• Huang, Lei, Weijiang Yu, Weitao Ma, et al. “A Survey on Hallucination in Large Language Models: Principles, Taxonomy, Challenges, and Open Questions.” ACM Transactions on Information Systems.
• Ji, Ziwei, Nayeon Lee, Rita Frieske, et al. “Survey of Hallucination in Natural Language Generation.” ACM Computing Surveys 55, no. 12 (2023).
• Kalai, Adam Tauman, Santosh Vempala, Ofir Nachum, et al. “Why Language Models Hallucinate.” OpenAI, 2025.
• National Institute of Standards and Technology. Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile. NIST AI 600-1. Gaithersburg, MD: NIST, 2024.
• OpenAI. “Why Language Models Hallucinate.” 2025.