台灣資通訊產業為全球百工百業建構AI數位轉型供應鏈 台灣要利用生成式AI掌握轉型契機與下一波成長曲線
由於全球產業對生成式AI(Gen AI)、大語言模型(LLM)與數位轉型需求的快速成長,讓今年的COMPUTEX成為全球科技業關注焦點,更讓台灣資通訊產業成為各國媒體報導重要議題。
為延續COMPUTEX展覽能量,積極面對AI新工業時代,台灣資通訊產業可能遇到的機會與挑戰,由台北市電腦公會(TCA)主辦,台灣玉山科技協會協辦,於7月23日下午辦理「迎向AI新時代- 從COMPUTEX看台灣資通訊產業的下一步」產業座談記者會,雖碰到凱米颱風進逼,仍吸引了多家中外媒體與貴賓到場。
座談會由資策會產業情報研究所(MIC)資深產業顧問兼所長洪春暉,以「從COMPUTEX看台灣資通訊產業的下一步」為主題進行專題演講,分析台灣資通訊產業未來優勢,探討生成式AI趨勢及資通訊產業生態系演進,並邀請TCA榮譽理事長暨台灣玉山科技協會理事長童子賢、宏碁營運長高樹國、神通資訊董事長蘇亮、台智雲策略長李立國、所羅門董事長陳政隆與耐能智慧董事長劉峻誠進行座談。
彭双浪:算力、電力、人才可提升AI新時代台灣產業競爭力
台北市電腦公會理事長彭双浪在致詞時表示,今年的COMPUTEX非常成功,所有的AI大咖都在台灣聚集,可說是場「AI武林大會」,如果沒有來的廠商就不在AI武林裡面。而且看到展覽當中來自世界各國的貴賓、買主與專業人士數量非常多,連在會場辦理的數百場採購媒合會也很熱絡。
從今年COMPUTEX展出的內容,讓許多人知道,算力就是國力,算力也需要電力,所以賴總統在開幕典禮就承諾,台灣一定會有足夠的電力,當然我們也期待,除了足夠的電力之外,也希望有足夠的綠電與更好的能源配比,政府更承諾在未來會有更多的低碳能源,而另外一個關注重點就是人才培育。
彭双浪指出,「算力」、「電力」、「人才」這三力,能促進台灣資通訊產業,在AI新時代更進一步發展;透過大家共同討論台灣資通訊產業下一步發展,一起提升台灣三力,進一步提升台灣地位,提升台灣產業競爭力,並把今年COMPUTEX展會創造出來的氣勢,能夠繼續延續下去,更希望能變成台灣產業的氣勢。
洪春暉:AI帶動資通訊產業生態系演進 台灣產業要利用AI掌握轉型契機與下一波成長曲線
資策會MIC資深產業顧問兼所長洪春暉,在「從COMPUTEX看台灣資通訊產業的下一步」為主題的專題演講中表示,今年的COMPUTEX台灣廠商AI PC、AI伺服器、AI相關設備產品大量曝光,並且各大科技巨頭紛紛現身台北,若是以研究機構來看,有不少都是屬於「固樁」的動作。
洪春暉指出,現在看到的AI浪潮,已經確定不是Bubble,尤其是生成式AI。資料、算力、算法是構成生成式AI應用的三大基石,生成式AI已朝向多模態的應用發展,包括文字、圖片、語音、影片等資料都成為模型,可以執行問答、文本生成、圖像生成、資料提取等多種任務,而且未來的AI會朝向AI Agent發展,讓AI從工具轉變成為工作代理,而這些AI產業變化是台灣AI生態系相關產業要持續關注的方向。
AI技術帶動資通訊產業生態系演進,不僅讓使用者、模型開發商、雲端運算業者所架構的產業生態系逐漸成形,帶來全新格局,而大量訓練模型和算力需求更帶來許多機會與挑戰,生成式 AI 的發展透過跨域共創及創新協作,將能為各行業帶來許多發展機會。以AI生態系來看,台灣在AI算力方面的基礎架構,扮演全球重要角色,而且台灣也有AI模型建置的單位。
針對AI算力議題,洪春暉認為AI算力不只是國力,甚至是國家競爭力的重點,因為未來食衣住行都會用到AI,一旦AI運算出現異常,也會影響企業運作。近來熱門的AI PC支援AI混合、協作的需求,在未來,無論是從雲、從地端,相關的運算整合需求只會更多。
洪春暉表示,對於各行各業來說,利用生成式AI提升效率是趨勢,包括智慧工廠、智慧醫療等場域都已經在使用中,但如何選擇適合模型則是困難點,並且確保生成式AI所提供的結果是否正確,則是需要領域專家進行確認。此外,人才與預算不足是產業導入AI 面臨的最大挑戰,畢竟企業首重成本考量與人才儲備,而在成本考量同時,另一個關鍵則是導入AI的成效不易衡量,將很大程度影響企業導入意願。
洪春暉認為,台灣資通訊產業要利用AI掌握轉型契機與下一波成長曲線,充分運用新興科技創造優勢,識別「數位優化」及「數位轉型」帶來的不同變革,並提早思考轉型,避免市場反轉時變革帶來的高風險,因為「時間」是企業最貴的成本。
童子賢:台灣在AI硬體製造上有不錯的位置 AI應用則需要Fine Tune過的AI模型
TCA榮譽理事長暨台灣玉山科技協會理事長童子賢座談時提到,AI不是一個單一產品,AI會像是網路一樣,是一個重要科技趨勢,會瀰漫、浸潤並影響所有硬體,小到感應晶片、攝影鏡頭,甚至是機櫃運算設備產品,都會充滿AI的概念。而且不只是硬體,軟體也會具備AI概念,包括智慧手機內建AI軟體、辦公室用軟體也開始陸續加入AI功能連結。接下來是所有的服務平台,也都會受到AI影響,導入AI服務概念。
針對如GPT-4o之類的各家廠商推出的AI模型,在英文相關語系很好使用,但是在台灣的繁體中文環境實際使用上需要經過fine tune,因為有不同腔調,會造成在使用上的不順暢。
所以如果台灣想要在AI領域領先,可以在兩方面有所成就,一個是在晶片製造到產品生產能力,如機櫃、電路板、系統、AI PC、AI手機等,目前在台灣在硬體製造上有不錯的位置。另外一個就是應用。台灣向來「重硬輕軟」,重生產輕應用,如果台灣要把AI應用在生產力、製造、生活周遭等,誰來fine tune模式會是重點,因為fine tune的品質與速度,會影響AI使用的生產力與品質。
面對未來的AI應用,童子賢認為未來兩年把AI從雲端下放到每個人身邊的裝置進行邊緣運算是非常重要的事情,首先邊緣運算可以尊重個人隱私,可以把AI民主化,變成每個人唾手可得的AI計算能力,會讓全民運用AI的人非常有感。
另外在AI專業領域,很多的AI模型更新速度變快,也就是說,AI會是實驗室裡面,或者是辦公桌上的好幫手,而且是由人來駕馭。像Google最新推出的AlphaFold 3的版本,可以進行更多的蛋白質折疊模擬與人體、藥物、疾病的互相作用,而前一個版本AlphaFold 2已經模擬過2億個蛋白質分子,這對於人類開發藥品醫治絕症或不好醫治的疾病有很大幫助。AI對巨量影像資料的分析處理,會比人要厲害許多,而這也是AI的好用之處,就跟瓦特發明蒸氣機一樣,帶給人們很多動力。
針對電力議題,童子賢指出,由於產業結構關係,先進國家只有美國的人均用電與台灣差不多或更多,其他如日本、德國等國家,由於服務業用電占比較大,人均用電大概是台灣的二分之一或更少。由於台灣工作型態關係,台灣的生活用電其實只占整體用電的18%,目前工業用電占56%,服務業占19%,其他是由農業用電跟其他產業用電。
台灣2023年全年用電度數2821.4億度,按照2%到2.5%的成長,在3、4年之後就會超過3000億度,到時候,如果一度發電成本差0.5元,一年就會差1500億元;如果一度發電成本差1元,一年就會差3000億元。由於台灣有很多地方需要用錢,例如高等教育、研究 AI、建構主權AI、建置足夠算的AI機房等都需要錢,如果能源方面可以搭配優質能源且經濟效率比較高的排列組合,省下的經費就可以彌補健保的缺口、高等教育跟研究的需求,這樣更有意義。
針對台灣能源政策,童子賢在媒體聯訪時候指出,台灣要使用優質、經濟效益較高的發電組合,提高供電穩定性與能源韌性,並能面對國際緊張情勢做出應對,同步思考各類能源選擇對國土、農業、環境、生態與景觀的影響。他引用義大利7月宣布重啟停用 35 年核電廠案例來說明,因為義大利政府認為沒有足夠大的國土空間部署太陽能板,義大利國民及觀光客也無法忍受湖光山色之中有太陽能板干擾,為了追趕減碳進度,並擺脫對太陽能過度依賴,所以義大利政府計劃重新採用核電。
針對核能技術進步與核廢料處理,童子賢指出,從科學或商業角度來看,核廢料就是放射線還沒充分燃燒掉就不再使用,就跟燒烤店店家的木炭用到剩下還有五分之一就不使用,是商業機制問題。天然鈾所含鈾 235 的濃度只有 0.7%,經過提煉成濃度 3%的鈾 235 燃料棒就可做為核電廠發電的低濃縮鈾,所以是原本核電廠設計沒能將燃料棒用到百分之百,但是在科學上有機會辦到,但現實卻因商業制度形成現在的結果。並不是科學家沒有持續研究核能科技與核廢料處理方法。
至於反核人士質疑核廢料存放問題,在他觀察中目前台灣的核廢料被置放在佔地有限的管制區中,在有限空間中受嚴密管理,因此並未曾構成危害。而且新科技的進步,使得可以燃燒核廢料的第四代反應爐可能成功,包括「快中子反應爐」與「行波反應爐」在內都是發展中的新核能技術,包括中國大陸、加拿大、英國、美國都競相投入資金研發,技術若研發成功,包括目前被嫌惡的核廢料、以及製造濃縮鈾過程的殘渣貧鈾,都可以轉化成新一代反應爐的核燃料,而這就是解決當前核廢料問題的聖杯。也點出如果台灣綠能裝置量還要發展十倍規模的話,可以想像未來20幾年後,廢棄的綠能裝置,將會是好幾個台北市大小的垃圾規模,對台灣環境影響衝擊不小。
高樹國:商用市場AI殺手級應用才是可長可久的AI競爭優勢
宏碁營運長高樹國表示,接下來真正會讓台灣在AI趨勢站到好的位置,其實是在商用市場應用,古人說,「吃飽穿暖了,才會顧面子問題。」西方則是說「馬斯洛需求理論」。因為對企業與消費者來說,AI在消費市場是「錦上添花」,有AI更好,沒有AI不影響;AI在商用市場是「雪中送炭」的炭,企業沒有AI而被競爭對手比下去,問題就大了。
高樹國提到,台灣企業大多數為AI硬體製造商,主要收入來自於硬體,接下來怎麼樣讓台灣資通訊產業不只是賺取來自硬體的短期收入,真正可長可久的競爭優勢還是應用、軟體與Killer Application。如果要給政府建議,會希望政府確認企業AI應用的Killer Application,並且整合相關資源來做運用,如此一來,不只是軟體業者可以得利,相關硬體製造商也會獲利,進而創造雙贏局面。
針對今年熱門的AI PC議題,高樹國認為AI PC情況完全不一樣,因為2009年智慧型手機的推出,只有取代錄音筆、相機、MP3隨身聽之類的體積比它小或一樣大的產品,並無法取代PC,很多工作還是要在PC上面完成,這一點可以在COVID疫情期間的PC需求反彈獲得證實。AI PC的出現,就像是Internet或WiFi推出的時候一樣,會有更多AI新應用出來,讓許多對AI有興趣的人去用,一旦當出現殺手級的AI PC應用,需求就會明顯上升。
陳政隆:AI有效提升影像視覺辨識準確率軟體平台簡化客製化AI模型建置所需樣本數
所羅門董事長陳政隆指出,做了十年左右的機器人相關應用,最大的感觸就是,「人類真的很厲害」,因為人與生俱來非常靈巧,且多功能性。早期機器人手臂工作很單純,所以只是A點到B點的固定工作,當有了視覺技術之後,就可以做比較多的事。但是,傳統Rule-based的視覺系統有許多極限,包括環境光改變、物件變得比較複雜,相關辨識率就下降了。這幾年開始有AI搭配在視覺上使用,就可以解決過去比較難解決的問題。以科技業來說,過往都是用AOI光學檢測設備,但是經常造成過殺率(overkill rate)過高問題,但是導入AI之後,就可以解決。
陳政隆表示,當客戶詢問到要使用3D視覺進行檢查AOI檢查或監測時,都詢問到需要多少圖片才能產生AI模型,當我們回答需要收集成千上萬個資料時,客戶聽完之後就不太想做。所以所羅門團隊就思考如何透過軟體平台,讓客戶可以用最少量的樣本去建置客製化的AI模型,以提高客戶導入意願。目前所羅門平台已經可以串聯20、30個不同品牌的機器人,並且包括多種2D、3D影像格式與各種品牌網路攝影機,並且平台上面會放上優化過的AI模型,才能在實際場景中使用。
陳政隆觀察到,歸納目前客戶抗拒使用AI機器人的原因,主要是仍需要足夠數量的資料庫來訓練AI模型,以品質檢測來說,理論上產線的良率接近九成甚至是超過九成,反之就是不良品的瑕疵樣本數過少,可能會無法訓練,但這已經跟傳統AI模型需要上千張的樣本才能訓練的情況,改善不少了。
針對現在最熱門的AI機器人解決人員短缺問題,陳政隆認為,必須要做到幾乎像人一樣聰明,而且具備多功能性。現在輝達已經在開發一些基礎AI模型,如合作開發的Motion Panning(運動平移),就可以納到平台裡面去使用。如果未來有機器可以幫忙剪頭髮,而且人也很放心,這就會是機器人無所不在的時代來臨。
針對人才短缺問題,陳政隆表示,所羅門長期仰賴國際人才,光是視覺部門就有來自15個國家的員工,有些是來台灣念碩博士畢業的,有些是外國員工介紹他們朋友,例如越南或印度等國家,而這是不得不走的一條路,畢竟很難跟科技大廠競爭。
蘇亮:資訊共通平台搭配No Code AI工具軟體 可加速跨領域AI應用協作開發
神通資訊董事長蘇亮表示,AI應該無所不在,但是真正想要去做,好像甚麼都不對,缺少了一點東西。過去在推動各類AI應用中,發現有兩點是很重要的。第一個是要有足夠的數據庫,這個數據不完全是一般的資料,包括從物聯網、從大數據雲端、從開放資料等等取得的數據,所以神通要去做的,就是幫業者打造一個資訊共通平台,有了平台才有辦法進行用數據進行AI分析。
蘇亮指出,有了共通平台之後,又發現另外一個問題,就是AI的應用都是跨領域,有些還跨多個領域,所以需要透過多領域的協作,搭配上平台的創新,才有辦法創造出新的AI應用。現在有很多AI工具,對於工科的人來說,或許不難使用,但是碰到跨領域的情況,使用上還是有困難,所以神通又去打造了一個不需要撰寫程式的No code工具軟體,各行各業的人透過No Code的工具軟體,搭配共通平台上面的數據,就可以開發出更多創新應用,而且可以落地應用。
談到智慧城市,對政府來說,最重要的就是怎麼樣做的事可以讓市民有感,而最容易做的方式就是UI的改善,而利用AI做UI的設計、效率改善與市民安全的應用,都可以開發出來。也就是說,AI是百花齊放,只要想得到,應該都可以做到。
針對台灣AI人才的養成,蘇亮提到1970年代Intel微處理器的推出,透過教育的推廣,讓大家知道微處理器能怎麼用,但是主要培養的會是專業領域人才。現在在AI人才的培養上,由於是跨領域,所以很多人並不需要知道AI,只要有創新的點子、適合的工具就可以做到,跟過去不太一樣。至於要如何落實AI人才的培育,目前神通資訊內部有做部分規劃,也提供AI實驗室給高中,希望透過高中學生的培養,讓他們有創新的理念,將來可以在各行各業都能夠發光發熱。
李立國:企業落地AI企業腦是未來趨勢 盤點企業有用資料集是成功關鍵
台智雲策略長李立國指出,生成式AI帶動很多產業想像的空間,包括金融業、如何透過大語言模型自動化櫃台前端業務,處理to B或To C業務,法金服務的金融分析。在醫療業部分,一個是透過傳統的與音轉文字(Speech to Text),可以在看診的時候把醫生說明轉換成文字,並且透過大語言模型做摘要。摘要內容甚至可以分專科進行處理;長期來說,很多大量的醫療資料來說,透過生成式AI做Insight探討與分析。
其實台灣最多在製造業導入生成式AI,包括透過大語言模型分析資料,下指令,甚至調度傳統ML模型,也在生產的參數與品保預測獲得不錯的成果。針對繁中環境,台智雲也將Llama3模型增加繁中訓練進行fine tune,也在製造業做了不少專業領域的fine tune,包括70B的模型,或8B的模型,fine tune給企業內部使用,解決特定任務,去做生產製程預測。
李立國認為,從商用角度,AI對企業的影響會越來越大,GPU算力也會越來越便宜,所以企業是可以擁有AI企業腦,不僅懂得繁中資料,而且懂得企業內部垂直場域資料。所以對於企業來說,如果想要建立自己的AI企業腦,要回過頭來看看企業所擁有的資料集,而且要是有用的資料,再加上盤點算力與可用模型,設定解決問題,透過外部資服團隊給的建議,才有辦法在企業內部導入AI,千萬不能為了AI而AI。
李立國也提到,台智雲已經幫不少企業在內部落地70B的模型,包括金融業、製造業、醫療業、IC設計、重工領域等等,而且獲得不錯效果。針對Meta最新推出的Llama 3.1,包括405B模型,以及更新版的70B模型與8B模型。由於405B模型對標GPT-4o,看起來是有機會可以落地。
劉峻誠:用NPU在地端執行企業GPT方案 可確保企業資料隱私並以低耗能型態運作
耐能智慧董事長劉峻誠表示,由於訓練模型與GPU伺服器成本因素,現階段很多生成式AI應用都是在雲端執行,也就是透過雲端執行GPT(Generative Pre-trained Transformer,生成式預先訓練轉換器)運算,除了使用者會面臨資料需要上傳雲端的資安問題外,也會碰到每次詢問答案都不太一樣的情況,這也造成企業導入AI所面臨的問題。
由於台灣廠商最有機會的是To B的生成式AI應用,再加上耐能是NPU的開發者和商標持有人,具備NPU加速器、AI晶片、AI演算法等關鍵技術,因此有辦法將 NPU 嵌入到設備中,讓產品具備AI功能。
劉峻誠指出,由於台灣廠商最有機會的是To B的生成式AI應用,因此耐能推出基於NPU技術的地端AI軟硬整合方案,內建Local RAG(檢索增強生成,Retrieval-Augmented Generation,簡稱RAG)功能,輕量級大語言模型甚至可以直接部署,運算速度快且低耗能,可應用於各種企業 GPT 方案。也就是企業可以在地端訓練/推論自己的資料,不需要上到雲端,確保資料安全性,更不用擔心模型被他人資料汙染的問題。目前已經在教育業、製造業、醫療業、法律業有應用案例。
針對AI趨勢,劉峻誠認為完整的系統應該是CPU+GPU+NPU,包括現在的AI PC、AI手機已經是這個架構,如果未來想要在低功耗的環境下導入生成式AI應用,NPU會是最佳幫手。
針對台灣AI人才的養成,劉峻誠是認為可以從兩個層面來補足人才缺口,第一個是教育,耐能有推出AI教科書,有科大版、國中版甚至是國小版。第二個就是直接在產業裡面導入AI技術,以耐能為例,很早就在IC設計當中的back end、routing導入AI技術,所以才能用12奈米製程量產晶片。
■《關於COMPUTEX TAIPEI》COMPUTEX TAIPEI是台北市電腦公會施振榮理事長任內開辦及命名,1985年邀請外貿協會共同主辦。InnoVEX是兩會2016年開辦的新創展會。
為延續COMPUTEX展覽能量,積極面對AI新工業時代,台灣資通訊產業可能遇到的機會與挑戰,由台北市電腦公會(TCA)主辦,台灣玉山科技協會協辦,於7月23日下午辦理「迎向AI新時代- 從COMPUTEX看台灣資通訊產業的下一步」產業座談記者會,雖碰到凱米颱風進逼,仍吸引了多家中外媒體與貴賓到場。
座談會由資策會產業情報研究所(MIC)資深產業顧問兼所長洪春暉,以「從COMPUTEX看台灣資通訊產業的下一步」為主題進行專題演講,分析台灣資通訊產業未來優勢,探討生成式AI趨勢及資通訊產業生態系演進,並邀請TCA榮譽理事長暨台灣玉山科技協會理事長童子賢、宏碁營運長高樹國、神通資訊董事長蘇亮、台智雲策略長李立國、所羅門董事長陳政隆與耐能智慧董事長劉峻誠進行座談。
彭双浪:算力、電力、人才可提升AI新時代台灣產業競爭力
台北市電腦公會理事長彭双浪在致詞時表示,今年的COMPUTEX非常成功,所有的AI大咖都在台灣聚集,可說是場「AI武林大會」,如果沒有來的廠商就不在AI武林裡面。而且看到展覽當中來自世界各國的貴賓、買主與專業人士數量非常多,連在會場辦理的數百場採購媒合會也很熱絡。
從今年COMPUTEX展出的內容,讓許多人知道,算力就是國力,算力也需要電力,所以賴總統在開幕典禮就承諾,台灣一定會有足夠的電力,當然我們也期待,除了足夠的電力之外,也希望有足夠的綠電與更好的能源配比,政府更承諾在未來會有更多的低碳能源,而另外一個關注重點就是人才培育。
彭双浪指出,「算力」、「電力」、「人才」這三力,能促進台灣資通訊產業,在AI新時代更進一步發展;透過大家共同討論台灣資通訊產業下一步發展,一起提升台灣三力,進一步提升台灣地位,提升台灣產業競爭力,並把今年COMPUTEX展會創造出來的氣勢,能夠繼續延續下去,更希望能變成台灣產業的氣勢。
洪春暉:AI帶動資通訊產業生態系演進 台灣產業要利用AI掌握轉型契機與下一波成長曲線
資策會MIC資深產業顧問兼所長洪春暉,在「從COMPUTEX看台灣資通訊產業的下一步」為主題的專題演講中表示,今年的COMPUTEX台灣廠商AI PC、AI伺服器、AI相關設備產品大量曝光,並且各大科技巨頭紛紛現身台北,若是以研究機構來看,有不少都是屬於「固樁」的動作。
洪春暉指出,現在看到的AI浪潮,已經確定不是Bubble,尤其是生成式AI。資料、算力、算法是構成生成式AI應用的三大基石,生成式AI已朝向多模態的應用發展,包括文字、圖片、語音、影片等資料都成為模型,可以執行問答、文本生成、圖像生成、資料提取等多種任務,而且未來的AI會朝向AI Agent發展,讓AI從工具轉變成為工作代理,而這些AI產業變化是台灣AI生態系相關產業要持續關注的方向。
AI技術帶動資通訊產業生態系演進,不僅讓使用者、模型開發商、雲端運算業者所架構的產業生態系逐漸成形,帶來全新格局,而大量訓練模型和算力需求更帶來許多機會與挑戰,生成式 AI 的發展透過跨域共創及創新協作,將能為各行業帶來許多發展機會。以AI生態系來看,台灣在AI算力方面的基礎架構,扮演全球重要角色,而且台灣也有AI模型建置的單位。
針對AI算力議題,洪春暉認為AI算力不只是國力,甚至是國家競爭力的重點,因為未來食衣住行都會用到AI,一旦AI運算出現異常,也會影響企業運作。近來熱門的AI PC支援AI混合、協作的需求,在未來,無論是從雲、從地端,相關的運算整合需求只會更多。
洪春暉表示,對於各行各業來說,利用生成式AI提升效率是趨勢,包括智慧工廠、智慧醫療等場域都已經在使用中,但如何選擇適合模型則是困難點,並且確保生成式AI所提供的結果是否正確,則是需要領域專家進行確認。此外,人才與預算不足是產業導入AI 面臨的最大挑戰,畢竟企業首重成本考量與人才儲備,而在成本考量同時,另一個關鍵則是導入AI的成效不易衡量,將很大程度影響企業導入意願。
洪春暉認為,台灣資通訊產業要利用AI掌握轉型契機與下一波成長曲線,充分運用新興科技創造優勢,識別「數位優化」及「數位轉型」帶來的不同變革,並提早思考轉型,避免市場反轉時變革帶來的高風險,因為「時間」是企業最貴的成本。
童子賢:台灣在AI硬體製造上有不錯的位置 AI應用則需要Fine Tune過的AI模型
TCA榮譽理事長暨台灣玉山科技協會理事長童子賢座談時提到,AI不是一個單一產品,AI會像是網路一樣,是一個重要科技趨勢,會瀰漫、浸潤並影響所有硬體,小到感應晶片、攝影鏡頭,甚至是機櫃運算設備產品,都會充滿AI的概念。而且不只是硬體,軟體也會具備AI概念,包括智慧手機內建AI軟體、辦公室用軟體也開始陸續加入AI功能連結。接下來是所有的服務平台,也都會受到AI影響,導入AI服務概念。
針對如GPT-4o之類的各家廠商推出的AI模型,在英文相關語系很好使用,但是在台灣的繁體中文環境實際使用上需要經過fine tune,因為有不同腔調,會造成在使用上的不順暢。
所以如果台灣想要在AI領域領先,可以在兩方面有所成就,一個是在晶片製造到產品生產能力,如機櫃、電路板、系統、AI PC、AI手機等,目前在台灣在硬體製造上有不錯的位置。另外一個就是應用。台灣向來「重硬輕軟」,重生產輕應用,如果台灣要把AI應用在生產力、製造、生活周遭等,誰來fine tune模式會是重點,因為fine tune的品質與速度,會影響AI使用的生產力與品質。
面對未來的AI應用,童子賢認為未來兩年把AI從雲端下放到每個人身邊的裝置進行邊緣運算是非常重要的事情,首先邊緣運算可以尊重個人隱私,可以把AI民主化,變成每個人唾手可得的AI計算能力,會讓全民運用AI的人非常有感。
另外在AI專業領域,很多的AI模型更新速度變快,也就是說,AI會是實驗室裡面,或者是辦公桌上的好幫手,而且是由人來駕馭。像Google最新推出的AlphaFold 3的版本,可以進行更多的蛋白質折疊模擬與人體、藥物、疾病的互相作用,而前一個版本AlphaFold 2已經模擬過2億個蛋白質分子,這對於人類開發藥品醫治絕症或不好醫治的疾病有很大幫助。AI對巨量影像資料的分析處理,會比人要厲害許多,而這也是AI的好用之處,就跟瓦特發明蒸氣機一樣,帶給人們很多動力。
針對電力議題,童子賢指出,由於產業結構關係,先進國家只有美國的人均用電與台灣差不多或更多,其他如日本、德國等國家,由於服務業用電占比較大,人均用電大概是台灣的二分之一或更少。由於台灣工作型態關係,台灣的生活用電其實只占整體用電的18%,目前工業用電占56%,服務業占19%,其他是由農業用電跟其他產業用電。
台灣2023年全年用電度數2821.4億度,按照2%到2.5%的成長,在3、4年之後就會超過3000億度,到時候,如果一度發電成本差0.5元,一年就會差1500億元;如果一度發電成本差1元,一年就會差3000億元。由於台灣有很多地方需要用錢,例如高等教育、研究 AI、建構主權AI、建置足夠算的AI機房等都需要錢,如果能源方面可以搭配優質能源且經濟效率比較高的排列組合,省下的經費就可以彌補健保的缺口、高等教育跟研究的需求,這樣更有意義。
針對台灣能源政策,童子賢在媒體聯訪時候指出,台灣要使用優質、經濟效益較高的發電組合,提高供電穩定性與能源韌性,並能面對國際緊張情勢做出應對,同步思考各類能源選擇對國土、農業、環境、生態與景觀的影響。他引用義大利7月宣布重啟停用 35 年核電廠案例來說明,因為義大利政府認為沒有足夠大的國土空間部署太陽能板,義大利國民及觀光客也無法忍受湖光山色之中有太陽能板干擾,為了追趕減碳進度,並擺脫對太陽能過度依賴,所以義大利政府計劃重新採用核電。
針對核能技術進步與核廢料處理,童子賢指出,從科學或商業角度來看,核廢料就是放射線還沒充分燃燒掉就不再使用,就跟燒烤店店家的木炭用到剩下還有五分之一就不使用,是商業機制問題。天然鈾所含鈾 235 的濃度只有 0.7%,經過提煉成濃度 3%的鈾 235 燃料棒就可做為核電廠發電的低濃縮鈾,所以是原本核電廠設計沒能將燃料棒用到百分之百,但是在科學上有機會辦到,但現實卻因商業制度形成現在的結果。並不是科學家沒有持續研究核能科技與核廢料處理方法。
至於反核人士質疑核廢料存放問題,在他觀察中目前台灣的核廢料被置放在佔地有限的管制區中,在有限空間中受嚴密管理,因此並未曾構成危害。而且新科技的進步,使得可以燃燒核廢料的第四代反應爐可能成功,包括「快中子反應爐」與「行波反應爐」在內都是發展中的新核能技術,包括中國大陸、加拿大、英國、美國都競相投入資金研發,技術若研發成功,包括目前被嫌惡的核廢料、以及製造濃縮鈾過程的殘渣貧鈾,都可以轉化成新一代反應爐的核燃料,而這就是解決當前核廢料問題的聖杯。也點出如果台灣綠能裝置量還要發展十倍規模的話,可以想像未來20幾年後,廢棄的綠能裝置,將會是好幾個台北市大小的垃圾規模,對台灣環境影響衝擊不小。
高樹國:商用市場AI殺手級應用才是可長可久的AI競爭優勢
宏碁營運長高樹國表示,接下來真正會讓台灣在AI趨勢站到好的位置,其實是在商用市場應用,古人說,「吃飽穿暖了,才會顧面子問題。」西方則是說「馬斯洛需求理論」。因為對企業與消費者來說,AI在消費市場是「錦上添花」,有AI更好,沒有AI不影響;AI在商用市場是「雪中送炭」的炭,企業沒有AI而被競爭對手比下去,問題就大了。
高樹國提到,台灣企業大多數為AI硬體製造商,主要收入來自於硬體,接下來怎麼樣讓台灣資通訊產業不只是賺取來自硬體的短期收入,真正可長可久的競爭優勢還是應用、軟體與Killer Application。如果要給政府建議,會希望政府確認企業AI應用的Killer Application,並且整合相關資源來做運用,如此一來,不只是軟體業者可以得利,相關硬體製造商也會獲利,進而創造雙贏局面。
針對今年熱門的AI PC議題,高樹國認為AI PC情況完全不一樣,因為2009年智慧型手機的推出,只有取代錄音筆、相機、MP3隨身聽之類的體積比它小或一樣大的產品,並無法取代PC,很多工作還是要在PC上面完成,這一點可以在COVID疫情期間的PC需求反彈獲得證實。AI PC的出現,就像是Internet或WiFi推出的時候一樣,會有更多AI新應用出來,讓許多對AI有興趣的人去用,一旦當出現殺手級的AI PC應用,需求就會明顯上升。
陳政隆:AI有效提升影像視覺辨識準確率軟體平台簡化客製化AI模型建置所需樣本數
所羅門董事長陳政隆指出,做了十年左右的機器人相關應用,最大的感觸就是,「人類真的很厲害」,因為人與生俱來非常靈巧,且多功能性。早期機器人手臂工作很單純,所以只是A點到B點的固定工作,當有了視覺技術之後,就可以做比較多的事。但是,傳統Rule-based的視覺系統有許多極限,包括環境光改變、物件變得比較複雜,相關辨識率就下降了。這幾年開始有AI搭配在視覺上使用,就可以解決過去比較難解決的問題。以科技業來說,過往都是用AOI光學檢測設備,但是經常造成過殺率(overkill rate)過高問題,但是導入AI之後,就可以解決。
陳政隆表示,當客戶詢問到要使用3D視覺進行檢查AOI檢查或監測時,都詢問到需要多少圖片才能產生AI模型,當我們回答需要收集成千上萬個資料時,客戶聽完之後就不太想做。所以所羅門團隊就思考如何透過軟體平台,讓客戶可以用最少量的樣本去建置客製化的AI模型,以提高客戶導入意願。目前所羅門平台已經可以串聯20、30個不同品牌的機器人,並且包括多種2D、3D影像格式與各種品牌網路攝影機,並且平台上面會放上優化過的AI模型,才能在實際場景中使用。
陳政隆觀察到,歸納目前客戶抗拒使用AI機器人的原因,主要是仍需要足夠數量的資料庫來訓練AI模型,以品質檢測來說,理論上產線的良率接近九成甚至是超過九成,反之就是不良品的瑕疵樣本數過少,可能會無法訓練,但這已經跟傳統AI模型需要上千張的樣本才能訓練的情況,改善不少了。
針對現在最熱門的AI機器人解決人員短缺問題,陳政隆認為,必須要做到幾乎像人一樣聰明,而且具備多功能性。現在輝達已經在開發一些基礎AI模型,如合作開發的Motion Panning(運動平移),就可以納到平台裡面去使用。如果未來有機器可以幫忙剪頭髮,而且人也很放心,這就會是機器人無所不在的時代來臨。
針對人才短缺問題,陳政隆表示,所羅門長期仰賴國際人才,光是視覺部門就有來自15個國家的員工,有些是來台灣念碩博士畢業的,有些是外國員工介紹他們朋友,例如越南或印度等國家,而這是不得不走的一條路,畢竟很難跟科技大廠競爭。
蘇亮:資訊共通平台搭配No Code AI工具軟體 可加速跨領域AI應用協作開發
神通資訊董事長蘇亮表示,AI應該無所不在,但是真正想要去做,好像甚麼都不對,缺少了一點東西。過去在推動各類AI應用中,發現有兩點是很重要的。第一個是要有足夠的數據庫,這個數據不完全是一般的資料,包括從物聯網、從大數據雲端、從開放資料等等取得的數據,所以神通要去做的,就是幫業者打造一個資訊共通平台,有了平台才有辦法進行用數據進行AI分析。
蘇亮指出,有了共通平台之後,又發現另外一個問題,就是AI的應用都是跨領域,有些還跨多個領域,所以需要透過多領域的協作,搭配上平台的創新,才有辦法創造出新的AI應用。現在有很多AI工具,對於工科的人來說,或許不難使用,但是碰到跨領域的情況,使用上還是有困難,所以神通又去打造了一個不需要撰寫程式的No code工具軟體,各行各業的人透過No Code的工具軟體,搭配共通平台上面的數據,就可以開發出更多創新應用,而且可以落地應用。
談到智慧城市,對政府來說,最重要的就是怎麼樣做的事可以讓市民有感,而最容易做的方式就是UI的改善,而利用AI做UI的設計、效率改善與市民安全的應用,都可以開發出來。也就是說,AI是百花齊放,只要想得到,應該都可以做到。
針對台灣AI人才的養成,蘇亮提到1970年代Intel微處理器的推出,透過教育的推廣,讓大家知道微處理器能怎麼用,但是主要培養的會是專業領域人才。現在在AI人才的培養上,由於是跨領域,所以很多人並不需要知道AI,只要有創新的點子、適合的工具就可以做到,跟過去不太一樣。至於要如何落實AI人才的培育,目前神通資訊內部有做部分規劃,也提供AI實驗室給高中,希望透過高中學生的培養,讓他們有創新的理念,將來可以在各行各業都能夠發光發熱。
李立國:企業落地AI企業腦是未來趨勢 盤點企業有用資料集是成功關鍵
台智雲策略長李立國指出,生成式AI帶動很多產業想像的空間,包括金融業、如何透過大語言模型自動化櫃台前端業務,處理to B或To C業務,法金服務的金融分析。在醫療業部分,一個是透過傳統的與音轉文字(Speech to Text),可以在看診的時候把醫生說明轉換成文字,並且透過大語言模型做摘要。摘要內容甚至可以分專科進行處理;長期來說,很多大量的醫療資料來說,透過生成式AI做Insight探討與分析。
其實台灣最多在製造業導入生成式AI,包括透過大語言模型分析資料,下指令,甚至調度傳統ML模型,也在生產的參數與品保預測獲得不錯的成果。針對繁中環境,台智雲也將Llama3模型增加繁中訓練進行fine tune,也在製造業做了不少專業領域的fine tune,包括70B的模型,或8B的模型,fine tune給企業內部使用,解決特定任務,去做生產製程預測。
李立國認為,從商用角度,AI對企業的影響會越來越大,GPU算力也會越來越便宜,所以企業是可以擁有AI企業腦,不僅懂得繁中資料,而且懂得企業內部垂直場域資料。所以對於企業來說,如果想要建立自己的AI企業腦,要回過頭來看看企業所擁有的資料集,而且要是有用的資料,再加上盤點算力與可用模型,設定解決問題,透過外部資服團隊給的建議,才有辦法在企業內部導入AI,千萬不能為了AI而AI。
李立國也提到,台智雲已經幫不少企業在內部落地70B的模型,包括金融業、製造業、醫療業、IC設計、重工領域等等,而且獲得不錯效果。針對Meta最新推出的Llama 3.1,包括405B模型,以及更新版的70B模型與8B模型。由於405B模型對標GPT-4o,看起來是有機會可以落地。
劉峻誠:用NPU在地端執行企業GPT方案 可確保企業資料隱私並以低耗能型態運作
耐能智慧董事長劉峻誠表示,由於訓練模型與GPU伺服器成本因素,現階段很多生成式AI應用都是在雲端執行,也就是透過雲端執行GPT(Generative Pre-trained Transformer,生成式預先訓練轉換器)運算,除了使用者會面臨資料需要上傳雲端的資安問題外,也會碰到每次詢問答案都不太一樣的情況,這也造成企業導入AI所面臨的問題。
由於台灣廠商最有機會的是To B的生成式AI應用,再加上耐能是NPU的開發者和商標持有人,具備NPU加速器、AI晶片、AI演算法等關鍵技術,因此有辦法將 NPU 嵌入到設備中,讓產品具備AI功能。
劉峻誠指出,由於台灣廠商最有機會的是To B的生成式AI應用,因此耐能推出基於NPU技術的地端AI軟硬整合方案,內建Local RAG(檢索增強生成,Retrieval-Augmented Generation,簡稱RAG)功能,輕量級大語言模型甚至可以直接部署,運算速度快且低耗能,可應用於各種企業 GPT 方案。也就是企業可以在地端訓練/推論自己的資料,不需要上到雲端,確保資料安全性,更不用擔心模型被他人資料汙染的問題。目前已經在教育業、製造業、醫療業、法律業有應用案例。
針對AI趨勢,劉峻誠認為完整的系統應該是CPU+GPU+NPU,包括現在的AI PC、AI手機已經是這個架構,如果未來想要在低功耗的環境下導入生成式AI應用,NPU會是最佳幫手。
針對台灣AI人才的養成,劉峻誠是認為可以從兩個層面來補足人才缺口,第一個是教育,耐能有推出AI教科書,有科大版、國中版甚至是國小版。第二個就是直接在產業裡面導入AI技術,以耐能為例,很早就在IC設計當中的back end、routing導入AI技術,所以才能用12奈米製程量產晶片。
■《關於COMPUTEX TAIPEI》COMPUTEX TAIPEI是台北市電腦公會施振榮理事長任內開辦及命名,1985年邀請外貿協會共同主辦。InnoVEX是兩會2016年開辦的新創展會。
- 記者:中央社訊息服務20240726 11:48:33
- 更多生活新聞 »