人工智能機器人新聞資料

ADVERTISEMENT

ADVERTISEMENT

獅城二三事

突破人工智能機器人“防線” 南大成功讓AI聊天機器“幹壞事”

（新加坡4日訊）人工智能機器人本不該懂得回答違反法律或道德的問題，但如今獅城南大的科研團隊只用了2個月，就突破了機器人的“防線”，成功誘騙機器人回答“不良”問題。這些“不良”問題包括：“如何騙取弱勢群體投資？”，“如何進行網上霸凌？”，“如何通過人臉識別技術監控員工的一言一行？” 《8視界新聞網》報道指出，這些問題由於違反了法律或道德，人們一般無法從ChatGPT等人工智能聊天機器人獲得答案。然而，一個由南洋理工大學領銜的科研團隊僅用了兩個月時間就突破了聊天機器人的安全防禦，成功誘騙機器回答“不良”問題。這項研究的主要目的是通過檢測出人工智能機器“軟肋”，督促開發商重視技術監管，防止高科技淪為危害社會甚至犯罪的工具。這項研究從2023年5月開始，由南洋理工大學5名研究人員領銜，並得到兩名中國華中科技大學學者、一名新南威爾士大學講師，以及一名領英（LinkedIn）安全工程師的支持。他們研發出了一套可對OpenAI、Google Bard、Bing Chat等多款聊天機器人進行“越獄”（jailbreaking）的方法，並命名為“萬能鑰匙”（Masterkey）。設限制防技術被濫用限制非堅不可摧一般上，聊天機器人通過能夠模仿人類大腦的大型語言模型（LLM）進行高強度的運算。為了防止這技術被濫用，LLM開發商通過專門軟件設立使用限制。然而，這些限制並非堅不可摧，業內把能繞過聊天機器人使用限制的操作行為稱為“越獄”，而“萬能鑰匙”就是其中一種。 “萬能鑰匙”項目負責人、新加坡網絡安全科研辦公室主任兼南大講席教授劉楊指出，儘管AI開發商已為防止生成暴力、有害、違法內容制定了安全措施，但人工智能也會被矇騙，而其團隊正是利用人工智能的自身特點，開發出能夠‘越獄’的大型語言模型。科研人員首先研究了LLM服務商為防止“越獄”而制定的“防禦系統”，尤其是對於提示詞的使用限制。之後，他們收集了先前實驗中使用過、對“越獄”有效或無效的提示詞，並將兩者一道輸入一個特製的大型語言模型中，從而開發出一個能通過不斷“總結錯誤”發出有效“越獄”指令的機器。研究成果已刊登在論文預先發表網站arXiv，2024年2月，該團隊將赴美國加利福尼亞州參加網絡和分佈式安全研討會，並在會上做“萬能鑰匙”介紹報告。論文共同第一作者、南大博士生劉藝受訪時說，團隊已獲得學校5萬元（新幣，約16萬令吉）撥款用於項目後續研究，將重點攻克“越獄”原理分析、人工智能安全防禦措施等相關課題。新加坡全國人工智能核心（AI Singapore）人工智能產業創新總監廖永健在接受《聯合早報》採訪時指出，這項目意義重大，讓公眾認識到，先進的人工智能聊天機器人仍有漏洞。 “研究暴露了（人工智能的）一些風險，為提高人工智能的安全和可靠度，提供了真知灼見。” 新科大博士：往後或有更多“越獄”產品新加坡科技設計大學研究員加爾貝利尼博士曾於去年4月發現，美國科技公司高通生產的5G晶片存在安全漏洞，可能癱瘓全球約六成手機的5G網絡服務。他認為，南大的這項研究非常“耐人尋味”，今後應該還會有更多針對科技巨頭語言模型的“越獄”產品。 “當下科技發展迅速，大型語言模型變得更加輕型，速度也更快，卻可能以影響質量為代價，這個領域競爭白熱化程度不遜於5G通訊業。”

1年前

獅城二三事