6 月 27 日消息，隨著 AI 智能體越來越聰明，甚至能夠主動(dòng)幫助用戶在 手機(jī) 上完成各種任務(wù)（例如修改某項(xiàng)設(shè)置、打開導(dǎo)航），但 AI 本身并不理解 UI 結(jié)構(gòu)對應(yīng)的具體運(yùn)行機(jī)制，僅僅是按照預(yù)設(shè)程序執(zhí)行操作。

蘋果 與華盛頓大學(xué)的研究人員現(xiàn)在聯(lián)合發(fā)表了一篇論文，探討如何讓 AI 學(xué)會(huì)判斷各種操作所產(chǎn)生的后果，避免執(zhí)行用戶未批準(zhǔn)的高風(fēng)險(xiǎn)動(dòng)作。

AI 智能體的自主行為是 2026 年蘋果系統(tǒng)升級的核心功能之一。蘋果在 2024 年 WWDC 上就曾展示過 Siri 的未來發(fā)展方向 —— 幫用戶代做諸如在線購物、訂票等任務(wù)，但這種自動(dòng)化看似便捷，卻引發(fā)了關(guān)鍵問題：如果 AI 誤點(diǎn)“刪除賬戶”而非“注銷”，會(huì)發(fā)生什么？

手機(jī)作為個(gè)人設(shè)備，存儲著銀行 金融 數(shù)據(jù)、健康記錄、照片和私人信息。當(dāng) AI 智能體代行任務(wù)時(shí)，必須區(qū)分哪些動(dòng)作無害、哪些可能造成持久或危險(xiǎn)后果，更需知道何時(shí)停止并請求用戶確認(rèn)。

然而，多數(shù) AI 開發(fā)商只是停留在讓 AI“會(huì)操作”（如識別按鈕、找到對應(yīng)的頁面、按指令執(zhí)行程序），卻甚少關(guān)注這些操作對用戶的后續(xù)影響。

蘋果 AI 研究人員指出，并不是所有動(dòng)作都安全無風(fēng)險(xiǎn)：點(diǎn)擊“刷新”按鈕是低風(fēng)險(xiǎn)行為，但點(diǎn)擊“轉(zhuǎn)賬”則是高風(fēng)險(xiǎn)行為。

這項(xiàng)研究從 AI 安全與 UI 設(shè)計(jì)專家參與的研討會(huì)開始，目標(biāo)是創(chuàng)建一個(gè)“分類法”（結(jié)構(gòu)化列表），用于定義 UI 動(dòng)作的不同影響類型。團(tuán)隊(duì)圍繞以下問題展開：

動(dòng)作是否可撤銷？

影響僅涉及機(jī)主還是包括更多人？

是否改變隱私設(shè)置或產(chǎn)生費(fèi)用？

論文顯示，研究人員建立了一種多維度標(biāo)注手機(jī) App 動(dòng)作的方法。例如，刪除消息可能在 2 分鐘內(nèi)可撤銷，但超過時(shí)間則無法恢復(fù)；轉(zhuǎn)賬通常需協(xié)助才能撤銷。

這種分類法的重要性在于，它為 AI 提供了推理人類意圖的框架 —— 相當(dāng)于一份“風(fēng)險(xiǎn)檢查”程序，幫助 AI 判斷“哪些動(dòng)作可能出錯(cuò)”或“為何需要額外確認(rèn)”。

為訓(xùn)練 AI 區(qū)分動(dòng)作風(fēng)險(xiǎn)，研究人員讓參與者在模擬移動(dòng)環(huán)境中記錄高風(fēng)險(xiǎn)動(dòng)作（IT之家注：如修改賬戶密碼、發(fā)送消息、更新支付詳情），而非瀏覽、搜索等低風(fēng)險(xiǎn)任務(wù)。

團(tuán)隊(duì)將新數(shù)據(jù)與現(xiàn)有覆蓋安全、常規(guī)交互的數(shù)據(jù)集結(jié)合，用分類法標(biāo)注所有數(shù)據(jù)，隨后測試了包括 OpenAI GPT-4 在內(nèi)的五大 AI 模型，評估其預(yù)測動(dòng)作影響水平或分類屬性的能力。

結(jié)果顯示，在提示中加入分類法有助于提高風(fēng)險(xiǎn)判斷準(zhǔn)確率，但即使表現(xiàn)最佳的“GPT-4 多模態(tài)”模型，正確率也僅約 58%。

研究發(fā)現(xiàn)，AI 模型常會(huì)高估風(fēng)險(xiǎn) —— 比如將“清除空計(jì)算器歷史記錄”這類無害動(dòng)作標(biāo)記為高風(fēng)險(xiǎn)。這種“謹(jǐn)慎偏見”看似更安全，卻可能因頻繁請求確認(rèn)而讓 AI 助手變得煩人或無用。而更嚴(yán)重的問題在于，模型難以完成判斷 —— 無法確定動(dòng)作是否可撤銷，或如何影響他人。

蘋果研究人員認(rèn)為，用戶需要的是“有用且安全”的自動(dòng)化功能：誤刪賬戶的 AI 是災(zāi)難，但要是連調(diào)整音量這種操作都要請示用戶的話還不如不做。

研究人員認(rèn)為，他們的分類法可幫助設(shè)計(jì)更好的 AI 政策 —— 例如，用戶可自定義何時(shí)需要請求批準(zhǔn)。這種方法支持透明化與個(gè)性化，幫助 AI 設(shè)計(jì)者識別當(dāng)前模型的薄弱點(diǎn)（尤其在處理真實(shí)世界高風(fēng)險(xiǎn)任務(wù)時(shí)）。

研究表明，教 AI“識別按鈕”還不夠，它必須理解“點(diǎn)擊背后的意義”—— 這對 AI 而言是項(xiàng)艱巨任務(wù)。人類可以通過上下文提示和歷史經(jīng)驗(yàn)來進(jìn)行判斷，但機(jī)器卻很難完美地解決這種復(fù)雜性操作。

【來源： IT之家】