(华盛顿7日综合电)美国企业OpenAI开发的人工智能聊天机器人程式ChatGPT被Google研究团队发现,输入重复特定的单字,将使ChatGPT吐出原始训练资料,无意间披露训练时使用的材料,从程式码、个人电话到研究报告等,可能引发资安疑虑。
不过,OpenAI目前已禁止这种称为“发散攻击”的技术。
ADVERTISEMENT
过去苹果、三星、亚马逊以及各大金融公司一度禁止员工在工作中使用ChatGPT,担忧输入聊天机器人的机密资讯会意外泄漏,现在有研究人员成功找到漏洞,让ChatGPT等生成式AI吐出训练时消化的大量材料。
来自Google DeepMind、华盛顿大学、柏克莱加大等机构的研究团队近日发布了一份论文,声称他们利用约200美元的成本,成功提取了几MB的ChatGPT的训练数据,并认为只要投入更多预算,要得到上GB的训练数据也不无可能。
研究团队建立一种他们称为“发散攻击”的攻击模式,运作原理很简单,他们要求聊天机器人不断重复一个单字,ChatGPT在回应中变得发散,可能无意暴露了不相干的训练材料,像是某人的电子邮件信箱,或者某些文章的内容。研究团队要求ChatGPT重复poem这个单字,却跑出了似乎是某位创业家的联络资料。
根据科技媒体《404 Media》报道,OpenAI指出,要求ChatGPT“永远”重复特定单字,被标记为违反聊天机器人的服务条款和内容政策。
若现在对ChatGPT 3.5输入永远重复某个词时,ChatGPT会吐出该单词几十次,然后显示一条错误讯息:“此内容可能违反我们的内容政策或使用条款。”
根据OpenAI的资料,ChatGPT是利用网络上约570 GB的资料训练而成,但确切包含哪些资讯从未对外公布。
研究团队呼吁开发者应对AI模型进行全面的测试,需要测试的不只是面向用户、经过“ “调准”的模型,整个基础模型等都需要严格的检查,才可能发现被忽视、隐藏的系统漏洞。(香港01)
ADVERTISEMENT
热门新闻
百格视频
ADVERTISEMENT