國泰金採輝達NeMo訓練AI語言模型 打造台灣金融代理

國泰金今天公布與輝達（NVIDIA）的合作，將以台灣金融授信資料為訓練語料，以NVIDIA NeMo框架進行預訓練、微調等，讓大型語言模型（LLM）能夠精準回應進階金融問答，也具備通過進階授信人員證照考試的能力，強化人工智慧代理（AI Agent），打造台灣金融代理。

國泰金今天表示，於NVIDIA GTC Taipei上發表AI智慧代理的發展藍圖，顯示大型語言模型在處理專業金融知識方面的可行性，為區域內具規模、特定領域的AI應用奠定基礎。

國泰金表示，與輝達的合作是共同研究如何運用NVIDIA NeMo，在符合法規與商業需求的前提下，在本地端安全部署大型語言模型，以契合台灣的監管環境與市場需求。

國泰金副總經理暨國泰世華銀數據長梁明喬表示，以台灣金融授信知識、法規文獻及實務案例等作為訓練語料，在模型上利用NVIDIA NeMo框架進行預訓練、微調等技術手法，藉輝達的加速運算完成70億至80億參數量的大型語言模型訓練。

再來，透過知識蒸餾與NVIDIA NeMo Curator框架擴增訓練資料達4至5倍，大幅縮短資料準備時間，也輔以NVIDIA TensorRT框架加速模型評估流程。成果顯示，模型不僅能精準回應進階金融問答，也具備通過進階授信人員證照考試的能力。

國泰金指出，隨著全球AI技術快速演進，AI Agent成為新一代發展趨勢，因為具備環境感測、記憶與自主規劃能力，能根據情境變化主動推論、規劃並執行任務，象徵AI由「回應式工具」正式邁入「主動型代理」的階段。

國泰金表示，在金融場域中，AI Agent的應用潛力無窮，不過目前通用大型語言模型對台灣金融知識、專業術語及產業實務掌握仍不足，難以準確回應台灣市場金融使用者需求。此次運用輝達加速運算的優勢，充分展現金融機構結合專有與產業特定資料，提升大型語言模型的應用效能。

梁明喬表示，國泰金將持續與輝達合作，推進具備更廣泛金融知識與實務應用能力的領域專屬大型語言模型；並持續強化AI Agent的適應性推理、複雜決策輔助與情境感知任務執行等能力，涵蓋從交易處理、服務自動化到智慧資訊擷取等應用。