輝達推出全新NIM微服務 加速企業打造AI
![輝達推出全新NIM微服務 加速企業打造AI](/newsdata/finance/nownews/20240828/72484172792730207003.jpg)
輝達(NVIDIA)宣布推出全新NVIDIA NIM微服務,旨在協助產業提升效率和安全性,打造出符合當地價值觀的AI系統。(圖/美聯社/達志影像)
[NOWnews今日新聞] 輝達(NVIDIA)宣布推出全新NVIDIA NIM微服務,旨在協助產業提升效率和安全性,打造出符合當地價值觀的AI系統,目前已與台灣多家組織和廠商合作,如長庚醫院、和碩、欣興電子等,NVIDIA NIM的工具簡化應用程序的開發,用最少的工程專業知識,輕鬆存取與部署以當地語言訓練的模型。
世界各地都在追求發展主權 AI,期盼利用自身的運算基礎設施、資料、勞動力及商業網路等資源來發展人工智慧(AI),打造出符合當地的價值觀、法律與利益的 AI 系統,保護和推動文化、語言多元性與知識。為此,輝達推出全新的NVIDIA NIM微服務,支援各種常用的社群模型,也包括主權基礎模型,可按照當地語言和文化傳統,透過準確理解和改善回應,強化與使用者的互動,使開發人員在輕鬆地建置與部署高效能的生成式AI應用的同時,有效控制生成式AI對社會、經濟、安全可能帶來的負面影響。
全新NVIDIA NIM微服務支援最新發展出的大型語言模型(LLM)Llama-3-Taiwan-70B,主要特點包括強大的語言理解、生成、推理、多輪對話能力。Llama 3 70B 的NIM微服務可提供高達5倍的輸出量,而Llama 3 70B正是全新Llama-3-Taiwan-70B NIM微服務的基礎模型,可降低在生產環境中運行模型的總成本,又能減少延遲,讓使用者享受更好的操作體驗。
該模型能更好地理解和反映台灣文化與語言上的微妙之處,有助於確保進行更加精準細緻的溝通,創造出更有效果的輸出內容。與Llama 3等基礎LLM相比,Llama-3-Taiwan-70B在理解國語、處理本地法律任務、回答問題,以及語言翻譯和總結方面的表現相當優異。
NVIDIA NIM微服務能夠加速部署、提升整體效能,且為全球醫療保健、金融、製造業、教育與法律等各產業的組織提供必要的安全性。輝達已與台灣多家產業組織合作,導入全新NVIDIA NIM微服務。
台灣領先醫療體系之一的長庚紀念醫院目前正在建置該院專屬的AI推論服務(AIIS),以集中管理醫院體系內的所有LLM應用。長庚醫院使用Llama 3-Taiwan 70B,提供患者能夠理解更細膩的醫療語言,提高第一線醫護人員的工作效率。
長庚紀念醫院醫療人工智能核心實驗室主任郭昶甫醫師表示,即時提供適合情境的指導,以當地語言LLM建立的AI應用能夠簡化工作流程,並且當成持續學習的工具,作為支持員工發展與提昇病患照護品質。而NVIDIA NIM的工具簡化了這些應用程序的開發,用最少的工程專業知識,輕鬆存取與部署以當地語言訓練的模型。
台灣的電子設備製造商和碩聯合科技將採用Llama 3-Taiwan 70B NIM微服務來開發供內部及外部使用的應用。該公司已將這款微服務與旗下的PEGAAi Agentic AI系統進行整合,以達到流程自動化,提升製造與營運效率。
全球石化產品製造商長春集團使用Llama 3-Taiwan 70B NIM微服務開發用於知識管理、銷售分析和預測、翻譯和品質保證的內部AI平台,提升決策精準度和營運效率;全球領先的印刷電路板公司欣興電子、科技媒體公司科技報橘、線上合約服務公司律果科技,以及生成式AI新創APMIC同樣正在使用Llama-3-Taiwan 70B NIM。這些公司也在開放模型上進行合作。
另外,雖然區域性AI模型可以提供文化上的細微差異與在地化的回應內容,企業還是要針對其業務流程與領域專業知識進行微調。「NVIDIA AI Foundry」是一個平台與服務,其中包括各式常用的基礎模型、用於微調的NVIDIA NeMo,以及NVIDIA DGX Cloud上的專用容量,為開發人員提供完整堆疊解決方案,以建立包裝為NIM微服務的客製化基礎模型。
輝達表示,使用NVIDIA AI Foundry的開發人員同樣可以使用NVIDIA AI Enterprise軟體平台,為生產環境部署作業提供安全性、穩定性與支援。NVIDIA AI Foundry為開發人員提供必要工具,幫助他們更便捷地建置與部署自身的客製化區域語言NIM微服務,以支援各AI應用,確保為使用者提供符合各地文化與語言使用習慣的結果。
相關新聞
輝達財報將揭曉!市場會悲觀嗎?陸行之5大觀察重點一次看
京華城爭議!沈慶京聲明一次看 稱是無妄之災、不可能送柯P紅包
沈慶京陷京華城爭議!回顧過往不服輸個性 跌傷仍坐輪椅兩岸巡視
- 記者:nownews
- 更多財經新聞 »