地端AI與雲端服務競逐(上)它只贏了月均成本
人工智慧新創公司Lytix創辦人Sid Premkumar發布分析文章,內容闡述其自行利用開源人工智慧模型以及使用AWS服務兩者之間的成本比較。就結果而言,長期將成本攤提後,自行託管人工智慧的經濟成本相對便宜,但是仍然有幾點重要因素尚需考量。
編譯/戴偉丞
人工智慧新創公司Lytix創辦人Sid Premkumar發布分析文章,內容闡述其自行利用開源人工智慧模型以及使用AWS服務兩者之間的成本比較。就結果而言,長期將成本攤提後,自行託管人工智慧的經濟成本相對便宜,但是仍然有幾點重要因素尚需考量。
地端系統月均成本略勝一疇
Premkumar 的分析重點在於其自行託管的 Llama-3 8B 模型,以及他使用AWS雲端服務的相關成本。根據其分析顯示,AWS模型的月均成本約為2816.64美元,反觀自行託管的硬體前期投資月均成本約為3800美元。
不得不注意的是,Premkumar的分析假設為所有硬體使用率為100%,在現實實務中是相當少見的情形;另外透過自行託管的方法至少需要5年半的時間才能開始回收成本,鑑於人工智慧在硬體的快速變動,於此期間可能已經有更新、更強大的硬體出現。
更多新聞:全都是泡沫?企業重返地端取代雲端運算
變化快速形成硬體成本風險
在這場地端人工智慧以及雲端的鬥爭中,雲端仍然具有幾點優勢,包括其「規模經濟」、「服務支付模式」、「成本效率」、「技術稟賦」、「延展性與靈活性」、「資訊安全」等不同層面。除前述優勢外,人工智慧基礎設施的硬體開銷比傳統雲端運算的成本更為高昂,當人工智慧創新速度不斷增快以及其效能持續改進,地端人工智慧使用者可能會面臨硬體升級的成本風險。
地端基礎架構過於複雜
在權衡人工智慧與自行託管間的成本撙節及把控程度的同時,不得不考量到邊緣運算的趨勢,在未來將有更多雲端運算搭配邊緣運算的模型出現,並得以為企業級用戶所用,例如:AWS的Outposts功能、Azure的Stack Edge功能、Google Cloud的Anthos功能等,均得使用雲端功能更接近資料產生、使用的位置。藉著邊緣運算的優勢,雲端資源的部署已勝過地端基礎架構的複雜性。
雲端隱私須化阻力為助力
確保數據資料的隱私與安全也是相當關鍵的考量因素,由於人工智慧高度依賴使用者的數據資料,也導致傳統雲端人工智慧服務因其隱私保護政策而為人詬病,然而也因此形成人工智慧解決方案中的隱私層面快速成長,例如Apple透過私有雲提供隱私保護服務就是一個很好的案例。
資料來源:Global Village Space、VentureBeat
這篇文章 地端AI與雲端服務競逐(上)它只贏了月均成本 最早出現於 TechNice科技島-掌握科技與行銷最新動態。
- 記者:李佩璇
- 更多科技新聞 »