星洲网
星洲网
星洲网 登录
我的股票|星洲网 我的股票
Newsletter|星洲网 Newsletter 联络我们|星洲网 联络我们 登广告|星洲网 登广告 关于我们|星洲网 关于我们 活动|星洲网 活动

ADVERTISEMENT

ADVERTISEMENT

国际

|

即时国际

|
发布: 6:05pm 07/12/2023

OpenAI

ChatGPT

吐出原始训练资料

资安疑虑

OpenAI

ChatGPT

吐出原始训练资料

资安疑虑

研究:重複特定單字 ChatGPT吐原始資料 引發個資被洩隱憂

研究:重复特定单字 ChatGPT吐原始资料 引发个资被泄隐忧
OpenAI開發的ChatGPT被研究團隊發現,輸入重複特定的單字,將使ChatGPT吐出原始訓練資料,或引發資安疑慮。(美聯社照片)

(華盛頓7日綜合電)美國企業開發的人工智能聊天機器人程式被Google研究團隊發現,輸入重複特定的單字,將使ChatGPT吐出原始訓練資料,無意間披露訓練時使用的材料,從程式碼、個人電話到研究報告等,可能引發資安疑慮。

不過,OpenAI目前已禁止這種稱為“發散攻擊”的技術。

ADVERTISEMENT

過去蘋果、三星、亞馬遜以及各大金融公司一度禁止員工在工作中使用ChatGPT,擔憂輸入聊天機器人的機密資訊會意外洩漏,現在有研究人員成功找到漏洞,讓ChatGPT等生成式AI吐出訓練時消化的大量材料。

來自Google DeepMind、華盛頓大學、柏克萊加大等機構的研究團隊近日發佈了一份論文,聲稱他們利用約200美元的成本,成功提取了幾MB的ChatGPT的訓練數據,並認為只要投入更多預算,要得到上GB的訓練數據也不無可能。

研究團隊建立一種他們稱為“發散攻擊”的攻擊模式,運作原理很簡單,他們要求聊天機器人不斷重複一個單字,ChatGPT在回應中變得發散,可能無意暴露了不相干的訓練材料,像是某人的電子郵件信箱,或者某些文章的內容。研究團隊要求ChatGPT重複poem這個單字,卻跑出了似乎是某位創業家的聯絡資料。

根據科技媒體《404 Media》報道,OpenAI指出,要求ChatGPT“永遠”重複特定單字,被標記為違反聊天機器人的服務條款和內容政策。

若現在對ChatGPT 3.5輸入永遠重複某個詞時,ChatGPT會吐出該單詞幾十次,然後顯示一條錯誤訊息:“此內容可能違反我們的內容政策或使用條款。”

根據OpenAI的資料,ChatGPT是利用網絡上約570 GB的資料訓練而成,但確切包含哪些資訊從未對外公佈。

研究團隊呼籲開發者應對AI模型進行全面的測試,需要測試的不只是面向用戶、經過“ “調準”的模型,整個基礎模型等都需要嚴格的檢查,才可能發現被忽視、隱藏的系統漏洞。(香港01)

打开全文

ADVERTISEMENT

热门新闻

百格视频

ADVERTISEMENT

点击 可阅读下一则新闻

ADVERTISEMENT