數位部AI評測中心啟動 語言模型納10項目評分

數位部今天舉行AI產品與系統評測中心啟動儀式,數位部表示,先以語言模型作為評測對象,擬定10項AI評測項目,包含安全性、可解釋性、彈性、公平性、準確性、透明性、當責性、可靠性、隱私及資安等10項目,Meta也對評測表達興趣。

數位部今天在台北科技大學舉辦AI產品與系統評測中心啟動活動,包括數位部長唐鳳、行政院政委兼國科會主委吳政忠、以及國科會可信任人工智慧對話引擎(TAIDE)、Meta、微軟等國內外語言模型開發商代表都親自參與。

數位部數位產業署署長呂正華指出,AI產品與系統評測中心涵蓋制度推動委員會、技術審議小組、秘書組3部分,將制定AI產品與系統評測制度與AI產品與系統評測指引。AI評測體系中,AI產品與系統評測中心制定AI評測制度跟方法,並陸續在明年成立驗證機構、測試實驗室,提供AI評測與驗證服務,初期測試不收費。

數位部目前偕同工研院跟資安院等機關展開AI評測工作,呂正華說明,AI評測機制將先以語言模型為評測對象,參考歐美AI規範內容,擬定10項AI評測項目,包含安全性、可解釋性、彈性、公平性、準確性、透明性、當責性、可靠性、隱私及資安等10項目。

唐鳳致詞時表示,AI快速發展,也加速對社會帶來衝擊,AI評測不只是純粹的技術,也因為每個地方文化不同,同一句話可能在不同地方會有不同解讀,外界很關心相關AI產品不能只是交給國際大廠片面決定,也得透過微調去適應各地文化,未來相關產品可在出廠前做評測。

吳政忠致詞時表示,AI評測是超前部署,去年ChatGPT問世後,國科會今年2月就宣告台灣要往這塊發展,公私協力打造TAIDE,後續應該可以來驗測一下。未來每家公司都會打造自家的生成式AI,畢竟不可能把公司問題拿去詢問公開模型。

唐鳳會後受訪時表示,透過評測,希望讓國內外廠商了解什麼樣的AI才符合社會期待,AI要誠實、要無害,要符合地方用詞才行。數位部跟國科會在TAIDE開發過程中緊密合作,對外蒐集的社會期待也有融入TAIDE進行訓練,未來這套機制會對外開放,沒有限制申請對象或測試頻率等,目前建立的10項標準未來也可能動態調整。

活動現場包含Meta跟微軟代表都有出席,媒體關注是否意味未來也有意願送測,唐鳳表示,一直有跟Meta保持互動,Meta對評測也有表達意願,加上TAIDE也是透過Meta釋出的模型,因此對這項模型架構已有測試經驗,數位部也有跟微軟討論到未來希望開放源碼AI上進一步合作。

與會專家解釋,AI評測並非一套死題庫去詢問語言模型,概念上會好比資安紅隊攻擊一樣,試圖引誘模型講出錯誤答案,找出可能漏洞,評測也會透過不斷追問的方式了解模型,因為漏洞也可能在追問中發生。

根據資料,數位部明年規劃建立AI評測技術,重點評測項目為語言模型與影像分類產品等,2025年讓國內評測技術符合國際標準,2026年讓國內產品通過國內外標準評測。

最新財經新聞
人氣財經新聞
行動版 電腦版