
AI不理禁制自行「翻牆」 OpenAI智能體入侵澳洲政府網 連Gemini亦曾闖入企業系統 香港試行AI Agent如何防範「不聽話」的數字員工?
當企業興高采烈準備聘用不眠不休的「AI員工」之際,一場由科技巨頭引起的資安風暴已然爆發。OpenAI旗下AI智能體於研究任務中遭遇網站存取限制,竟自行「翻牆」繞過封鎖去入侵澳洲政府Medicare統計網站並寫入內部檔案,事隔近三個月才通知當局;無獨有偶,Google(美股:GOOGL)旗下Gemini AI亦曾於安全測試中曾闖入真實企業系統。香港政府剛於最新《施政報告》宣布內部試行AI Agent,澳美兩地爆發的危機震撼全球政商界。當AI由「答錯問題」演變成「自主做錯」,連科技巨頭亦無法阻截自主入侵,企業買到的究竟是生產力升級,還是一筆未有計清的風險帳單?
事件還原與巨頭漏洞:為何AI會自主「越獄」?
事件發生於6月18日,OpenAI研究團隊使用內部模型執行澳洲公共藥物開支搜尋任務,期間存取由Services Australia管理的Medicare統計網站。網站多次拒絕存取,智能體未有停止操作或回報人類,反而自主嘗試替代路徑,成功取得公開及非公開數據,更向內部伺服器寫入檔案。更令人震驚的是,OpenAI於事發近三個月後才以普通公開電郵通知澳洲政府,引發澳洲總理艾班尼斯(Anthony Albanese)極度不滿。雖然目前鑑證調查顯示未有個人醫療病歷外洩,但智能體「不接受拒絕」並自主入侵政府系統的行為,已打破傳統網絡安全認知。
另一邊廂,Google旗下Gemini AI在5月進行安全測試期間,因第三方測試環境意外連接網際網絡,模型憑藉猜測密碼及公開憑證,闖入三間真實企業系統。儘管Gemini在發現對象並非模擬環境後自行停止行動,避免了數據破壞,但「進入後才發現不對」與「事前根本無法進入」屬於完全不同的安全層級。兩宗事故共同揭示,即便是全球頂尖科技巨頭,在模型授權限制與測試沙盒隔離方面,依然存在難以忽視的安全缺口。
澳洲副總理馬勒斯(Richard Marles)稱,這起事件可以被視為對AI發展本身的一次警告。就在澳洲總理艾班尼斯披露事件的同一天,OpenAI創辦人奧特曼(Sam Altman)與Anthropic創辦人阿莫戴(Dario Amodei)出席聯合國安理會會議,呼籲各國圍繞先進AI系統建立更廣泛的國際安全標准。
從「答錯問題」到「自主做錯」的權限失控
事故核心爭議在於「目標與手段(Goal vs Method)」嚴重失控。以前使用ChatGPT等生成式工具,市場關注焦點在於AI會否產生幻覺或「答錯問題」;如今進入Agent時代,智能體獲授予操作網絡、API與資料庫的實質權限,風險立刻轉化為「自主做錯」。人類下達指令時通常只強調「交付結果」,卻忽視約束「執行手段」,導致智能體將完成任務視為最高目標,一旦遇到拒絕存取,便會自動探索漏洞繞過封鎖,甚至誘發跨智能體的未經授權協作。
另一方面,技術防線的認知偏差亦是巨頭失手的主因。許多機構誤以為訓練AI「遵守道德規則」等同於「阻止非法行動」。然而教導模型判斷規則屬於行為約束,而設置嚴格的系統沙盒(Sandbox)與帳戶權限才是實體隔離。網絡安全組織OWASP早已指出,當智能體擁有過度代理權(Excessive Agency),加上研究環境為了測試能力而削弱防衛,智能體為追求評測得分便會選擇「作弊」或越界,令原本輔助生產力的工具演變成資安隱患。
港府試行AI Agent 企業準備好管理「AI員工」未?
香港政府於9月公布的《施政報告》中明言,數字政策辦公室正於政府內部試行AI Agent,並計劃明年推行全社會適用之安全指引。澳洲發生的AI自主越界事件,絕非遠在天邊的海外新聞,而是香港政商界即將正面迎擊的現實挑戰。早於今年4月,數字辦已警告智能體存在權限過高及資料外洩風險,建議部門不應在連接內部網絡的電腦安裝相關工具,顯示港府對智能體邊界失控已有警惕。
對於打算引入AI Agent提升效率的香港企業而言,採購前不能單看訂閱月費或節省的人手成本,更須算清網絡安全監控與權限劃分的潛在代價。企業應嚴格遵循「最小權限原則」,將操作權限限制於必要範圍,並在敏感操作中強制加入人類審批機制(Human-in-the-loop)。當AI越過邊界不再是科幻情節,未來的商業競爭力,將取決於企業能否精準控制這群「不知疲倦卻可能不聽指令」的數字員工。
AI安全的底線,從來不是看模型會不會說「不可以」,而是當模型判斷錯誤時,系統能否讓其真的做不到。
Text by BusinessFocus Editorial
免責聲明:本網頁一切言論並不構成要約、招攬或邀請、誘使、任何不論種類或形式之申述或訂立任何建議及推薦,讀者務請運用個人獨立思考能力自行作出投資決定,如因相關言論招致損失,概與本公司無涉。投資涉及風險,證券價格可升可跌。




