最近的一項研究發現，AI 模型在區分自己的內部思考和用戶輸入時面臨著挑戰。這個問題被稱為「角色混淆」（Role Confusion）。研究人員發現，AI 模型更容易受到文本風格的影響，而不是文本內容本身。這導致了一些令人擔憂的「越權」行為，例如當用戶輸入了一個違反政策的請求時，AI 模型可能會因為文本風格的相似性而忽略政策限制。這個研究結果凸顯了AI 模型的安全性和可靠性問題，尤其是在生成式AI領域。為了解決這個問題，研究人員呼籲需要開發更好的AI 模型和訓練方法，以提高模型的區分能力和安全性。