(華盛頓7日綜合電)美國企業OpenAI開發的人工智能聊天機器人程式ChatGPT被Google研究團隊發現,輸入重複特定的單字,將使ChatGPT吐出原始訓練資料,無意間披露訓練時使用的材料,從程式碼、個人電話到研究報告等,可能引發資安疑慮。
不過,OpenAI目前已禁止這種稱為“發散攻擊”的技術。
ADVERTISEMENT
過去蘋果、三星、亞馬遜以及各大金融公司一度禁止員工在工作中使用ChatGPT,擔憂輸入聊天機器人的機密資訊會意外洩漏,現在有研究人員成功找到漏洞,讓ChatGPT等生成式AI吐出訓練時消化的大量材料。
來自Google DeepMind、華盛頓大學、柏克萊加大等機構的研究團隊近日發佈了一份論文,聲稱他們利用約200美元的成本,成功提取了幾MB的ChatGPT的訓練數據,並認為只要投入更多預算,要得到上GB的訓練數據也不無可能。
研究團隊建立一種他們稱為“發散攻擊”的攻擊模式,運作原理很簡單,他們要求聊天機器人不斷重複一個單字,ChatGPT在回應中變得發散,可能無意暴露了不相干的訓練材料,像是某人的電子郵件信箱,或者某些文章的內容。研究團隊要求ChatGPT重複poem這個單字,卻跑出了似乎是某位創業家的聯絡資料。
根據科技媒體《404 Media》報道,OpenAI指出,要求ChatGPT“永遠”重複特定單字,被標記為違反聊天機器人的服務條款和內容政策。
若現在對ChatGPT 3.5輸入永遠重複某個詞時,ChatGPT會吐出該單詞幾十次,然後顯示一條錯誤訊息:“此內容可能違反我們的內容政策或使用條款。”
根據OpenAI的資料,ChatGPT是利用網絡上約570 GB的資料訓練而成,但確切包含哪些資訊從未對外公佈。
研究團隊呼籲開發者應對AI模型進行全面的測試,需要測試的不只是面向用戶、經過“ “調準”的模型,整個基礎模型等都需要嚴格的檢查,才可能發現被忽視、隱藏的系統漏洞。(香港01)
ADVERTISEMENT
热门新闻
百格视频
ADVERTISEMENT