國外研究指出,民眾若長期與AI聊天,若有扭曲想法可能將擴大,衍生出「ChatGPT精神障礙」風險。對此負責開發ChatGPT的新創公司OpenAI坦言,聊天模型確實曾出現過未能辨別妄想、情緒依賴的狀況,會持續調整模型以檢測使用者是否有精神或情緒困擾跡象。
《衛報》、《TIME》雜誌等外國媒體報導,英國一份研究顯示,長期與AI聊天會引發或加劇部分使用者的精神症狀,衍生出「ChatGPT精神障礙」(ChatGPT psychosis)。這是因為聊天機器人被預設為要模仿使用者的語言、認同使用者所提的假設,不過此設定卻會擴大使用者的扭曲想法,若使用者本身有精神疾病、思覺失調或躁鬱症等疾病,可能因此暴露於風險中。
美國加州大學舊金山分校的學者皮耶爾(Joe Pierre)認為, 人工智慧公司應該了解哪些使用者會受到傷害,並設定保護機制,例如將不當對話引導至不同方向,或透過警告標籤提醒使用者。
美國麻省理工學院也曾在一項研究中要求3組受試者透過ChatGPT、搜尋引擎、大腦撰寫論文,並透過腦電波檢視3組人在撰寫過程中的認知參與,結果發現使用ChatGPT撰寫論文組別的認知參與,低於透過搜尋引擎或純靠大腦撰寫論文組別,顯示ChatGPT可能削弱使用者批判思考能力,
開發ChatGPT的OpenAI日前指出,今年的一項更新導致ChatGPT聊天模型過於迎合大眾,有時僅給予令人悅耳的回答,而非實際有用的建議。OpenAI坦言,聊天模型確實出現過未能辨別妄想、情緒依賴的狀況,目前正持續調整,並開發工具協助檢測使用者是否有精神或情緒困擾跡象。
OpenAI表示,正在調整ChatGPT使用回饋方式,將衡量改採長期實用的回答方式,而非使用者當下想聽到的回答。例如當使用者詢問「是否該與男女友分手」等個人難題時,ChatGPT將不會直接提供答案,而是改以提出問題、衡量利弊的方式,幫助使用者思考。