Google Cloud Next 26大會登場 第八代TPU首創推理、訓練雙規格
Google Cloud示意圖。圖/路透社
Google Cloud Next 26 大會22日登場,Google Cloud 執行長Thomas Kurian(柯里安)宣佈Google開啓「代理式企業」新時代,推出一系列新技術,包括全新統一的 AI 技術堆疊、及各種橫跨數據、資安與生產力的「代理式(Agentic)」創新,以及Google Cloud第八代張量處理器(TPU v8)。新晶片首創因應訓練和推論功能雙規格,市場預期聯發科(2454)取得推論部分的ASIC訂單,推動聯發科22日再度以漲停2,295元收盤,飆新天價。
Google執行長皮查(Sundar Pichai)也表示,Google積極利用AI系統優化改造,付費企業成長強勁,今年第1季度,Gemini付費月活躍用戶月成長達40%。Google推出全新的 Gemini Enterprise代理平臺,幫助企業管理內部衆多的AI代理模式。他坦言Google就是「零號使用者」,內部使用AI產生程式碼已經有一段時間,如今Google所有新程式碼中有75% 由AI產生並經工程師審覈通過,已高於去年秋季的50%。
皮查指出,Google正在向真正的代理式工作流程(agentic workflow)轉型。工程師正在協調完全自主的數位化任務團隊進行代理與完成任務。
柯里安表示,第八代Google客製化 TPU,具備專爲訓練和推論打造的兩種截然不同架構(TPU 8t、TPU 8i),兩款專門打造的晶片重新定義AI的可能性,從建立最強大的 AI 模型,到調度龐大的AI代理羣,以及管理最複雜的推理任務。其中TPU 8t定位爲訓練效能引擎,經過最佳化處理,可將前沿模型的開發時間從數個月縮短至數週。透過系統平衡大量的運算吞吐量、共享記憶體和晶片間頻寬,同時提供最佳能源效率和高產能的運算時間。
TPU 8i是專爲驅動代理式AI(agentic AI)服務打造推理引擎,只需要提出問題、將任務委派給AI代理,就能立即獲得迴應,利用288 GB的高頻寬記憶體,內建384MB的SRAM(靜態隨機存取記憶體),容量較上一代增加三倍,能將模型使用中的工作集完全保存在晶片上。
Google Cloud推出專爲訓練效能與推理打造的第八代張量處理器(TPU),首度推出雙架構,TPU 8t(左)定位爲訓練效能引擎,TPU 8i(右)專爲驅動代理式AI(agentic AI)服務打造推理引擎,能夠大幅縮短模型運算時間,協助企業更高效率邁向「代理式企業」的轉型。Google/提供