金山云全面接入文心4.5系列開源模型
金山云瀚海平臺全面接入文心4.5開源模型,為文心大模型開源后首批接入的平臺之一。
作為綜合性的企業AI解決方案,金山云瀚海平臺(以下簡稱“瀚海平臺”)可為企業提供從模型訓練、評估、推理到應用開發的全流程能力。隨著更多優質模型的接入,瀚海平臺能在更加多樣化的業務場景中助力企業提升業務效率,加速其數智化轉型。
金山云瀚海平臺部署文心4.5系列開源模型流程:
進入模型管理頁面,找到文心4.5系列開源模型,點擊部署;
填寫推理服務名稱,設置推理資源組和副本數,點擊啟動,等待服務上線即可。
調用模型服務:
支持內網直接調用模型;
支持接入瀚海應用平臺后,根據應用場景需要來使用模型。
據悉,文心4.5系列開源模型共10款,涵蓋了激活參數規模分別為47B和3B的混合專家(MoE)模型(最大的模型總參數量為424B),以及0.3B的稠密參數模型。文心4.5系列模型針對MoE架構提出了多模態異構模型結構,通過跨模態參數共享機制實現模態間知識融合,同時為各單一模態保留專用參數空間。
文心4.5系列模型均使用飛槳深度學習框架進行高效訓練、推理和部署。在大語言模型的預訓練中,模型FLOPs利用率(MFU)達到47%。實驗結果顯示,該系列模型在多個文本和多模態基準測試中達到SOTA水平,在指令遵循、世界知識記憶、視覺理解和多模態推理任務上效果尤為突出。
文心4.5系列開源模型的接入,不僅拓寬了金山云在平臺模型服務領域的廣度,也為公司助力企業構建自主智能體與行業應用奠定了堅實的基礎。未來,金山云瀚海平臺將持續接入更多優質模型,為 金融 、政企、醫療等領域的客戶提供更優服務,助推產業智能化升級。