機器之心原創

作者：澤南

上周科技領域這場備受關注的大會，展示的都是前沿 AI 應用。

【資料圖】

利用神經網絡求解，在中科院大連化學物理研究所，以前用超算也無法完成的水分子運動方程計算效率提高了 1000 倍。?

通過跨模態統一表征學習，中科院自動化所和武漢人工智能研究院聯合打造的「紫東太初」2.0，讓大模型第一次進入了全模態時代，同時支持多輪問答、文本創作、圖像生成、3D 理解、信號分析等任務。

在 6 月 16 日的人工智能框架生態峰會 2023 上，我們見證了科學和 AI 領域的一系列技術突破，這些進展的背后都是 AI 框架昇思 MindSpore 在提供支持。

人工?智能的發展正在催生出前所未有的應用，AI 框架的重要性逐漸凸顯，而在這個過程中，昇思已成為很多公司機構的 AI 基礎設施。

在峰會現場，昇思生態的參與者們公布了圍繞 AI 框架生態的一系列合作，包括但不限于：啟動上海昇思 AI 框架和大模型創新中心、發布「共建人工智能框架生態，繁榮中國人工智能產業」聯合倡議、成立昇思 MindSpore 開源社區理事會。

還有新技術和新方向，昇思的 2.0 正式版在易用性、生態兼容和 AI for Science 等方面有了里程碑式的提升。

其中最引人關注的，是事關 AI 算力的重要一步：走南向。

實現「多芯一生態」

我們知道，AI 框架在人工智能技術構建的流程中承擔著「操作系統」一樣的關鍵角色。它集成了算法封裝、數據處理、計算資源調用等能力，面向開發者提供方便的開發界面和高效的執行平臺，是現階段 AI 算法開發的必備工具。

昇思 MindSpore 在機器學習開發的過程中起到上承應用、下接芯片的橋梁意義。

為了持續拓展連接的廣度，AI 框架需要向兩個方向不斷延伸：「南向」為 AI 芯片算力帶來標準化，「北向」與開發者和算法廠商開展技術聯創，圍繞場景創新、重要需求創造更多可能性。

在生態峰會上，昇思宣布了「南向」的新進展：昇思已兼容適配 20 余家芯片廠商伙伴的硬件設備，打通云端智能、邊緣智能、端側智能，實現端邊云全場景協同。現在，昇思已經讓智能無所不在。

統一生態是昇思一直以來努力的目標。通過兼容不同架構、不同廠商的算力，昇思現在可以在 AI 框架的層面上實現統一、無感知的調用，而無需擔心硬件適配能力，這種能力覆蓋 NPU、GPGPU、CPU 等主流計算架構。對開發者來說，昇思從開發界面、框架能力等多個方面都做到了統一視角，應用可以同時在多種硬件后端之間平滑遷移。

實際的應用效果如何？現在在云上環境中，開發者的同一套腳本可以不受資源限制地使用，比如可以先用 GPU 進行訓練，當 NPU 資源可用時，不進行腳本修改就能直接切換至 NPU 繼續訓練。對于端側的 AI 應用，昇思可以將云側訓練的模型無縫部署到端側進行推理。

這種能力大幅降低了 AI 開發的門檻。面向異構算力，通過昇思提供的標準南向接口與算子集，開發者可以讓整體芯片使能周期大大縮短，無需再進行全量重新開發。同時借助于框架的公共能力，如自動并行、自動微分、模型導出等，我們在新硬件上也能快速完成 AI 應用的開發、訓練、推理全流程。

通過軟硬件垂直整合方式搞優化，融合不同算力，還讓它們都能發揮出最大能力，昇思所做的事在 AI 框架上屬于意義重大，但難以實現。讓算力在 AI 框架層面上實現統一面臨很多挑戰：首先，不同架構的芯片在算力配比、通信能力、內存規格等方面都有一定差異，而要充分發揮芯片算力，要解決算子執行效率、存儲、運行時調度優化等問題。

從技術架構上，昇思 MindSpore 為支持多硬件統一也做了不少事，包括：

實現后端架構的解耦，快速支持新芯片插件化對接，包括支持第三方自定義圖優化 Pass 注冊，屏蔽資源管理細節，及驅動層接口注冊； 支持抽象硬件類型建模，讓對接流程實現標準化； 支持抽象算子封裝，統一了算子接口，支持多平臺算子庫動態注冊，框架層實現異構算子選擇； 支持第三方圖 IR 接入，以充分發揮芯片的架構優勢。 公共組件實現跨硬件復用，如內存復用算法、內存池實現、統一運行時等。

現在，開發者用同一套腳本就可以在多個硬件后端上執行 AI 任務，無需做面向硬件的修改。另外，框架的能力，如自動并行、自動微分、融合優化等都是基于統一 IR 來構建的，因此可以在多個硬件后端上進行復用，也無需芯片廠商進行重新適配。

面向異構的執行環境，如 CPU+GPU、CPU+NPU 等，昇思的統一 IR 支持做異構的子圖切分，不同的子圖可以下發到不同的異構硬件上執行，這些異構切分可以由框架自動完成，同時也支持用戶手動指定執行硬件。

昇思的目標很明確：做 AI 應用和異構算力間的橋梁，降低開發者使用算力的門檻，讓芯片算力能夠觸及更多的開發者和應用場景。通過大力發展「南向」，昇思幫開發者解決了核心問題，也可以實現更大規模的并行化，例如跨算力中心的協同計算和異構計算，這無疑會大大加速大模型等技術的應用。

另一方面，通過連接昇思這一流行 AI 框架的生態，國產化 AI 算力在這一過程中也能被更好地應用起來。

做業界領先的 AI 框架

自 2020 年 3 月發布首個版本以來，昇思作為業內矚目的 AI 框架經歷了快速發展。圍繞昇思的社區，已是國內最具創新活力的 AI 開源社區。

過去十年，AI 領域經歷了從技術突破到應用落地的階段轉換，眾多科技公司、研究機構發布 AI 框架，但只有少數成為了主流，其中既包括 TensorFlow、PyTorch、JAX 等國外框架，也有昇思 MindSpore 和飛槳這樣的國內佼佼者。

科研論文數量是衡量創新能力的重要指標，基于 MindSpore 的頂會論文如今已超過 900 篇，據 Papers with Code 統計，2022 年使用 MindSpore 的頂級會議論文在國內 AI 框架中排名第一，全球范圍內僅次于 PyTorch，位列第二。

昇思的開源生態匯集了超過 1.3 萬貢獻者，通過超 10 家高校參與的社區模型眾智活動，目前其平臺已有超過 400 個主流模型，這些成果不斷推動著 AI 能力的全場景應用，有超過 5500 家企業應用了昇思能力實現了智能化技術落地。

可以說，昇思訓練 - 推理 - 全場景協同、全流程降低開發門檻、全架構統一的三大愿景已在逐步實現。從地球系統模擬、自動駕駛，到預訓練大模型訓練，再到蛋白質結構預測，各行業的開發者在昇思上實現了 AI 開發自由，不斷推動著技術創新和應用落地。

在 2.0 的大版本更新上，昇思在大模型能力、科學計算和 AI 技術落地上繼續實現大幅改進。

目前行業內的新需求是生成式 AI 落地，在這方面昇思有自己的獨特優勢：三年前首版本發布時，昇思主打的就是面向大模型的自動并行特性。作為一款 AI 框架，昇思將大模型開發的系統工程難題集成到軟件框架中解決，沉淀出了整套從預訓練到場景應用的大模型實踐方案。

首先是基礎模型，昇思社區開源了超過 15 個基礎預訓練模型以及訓練腳本，包括當前最具備代表性的 BLOOM，LLaMA 等。人們可以方便地以此作為基礎，然后通過昇思 2.0 正式推出的大模型全流程解決方案完成從開發 - 訓練 - 微調到部署的全過程。

以 LLaMA 模型為例：在腳本開發階段，從 Transformer 模型庫中一鍵導入 LLaMA 并調用 Trainer 高階 API，你只需要十行代碼就能完成算法腳本的開發。在訓練階段，如果算力有限，昇思可以通過異構與存儲優化技術實現基于一臺服務器，八張訓練卡支持千億參數大模型訓練。

而面向大規模集群方案，昇思原生了支持業界最完善的 9 種數據和模型并行模式，以及斷點續訓等高可靠方案，算力資源利用率比業界水平要高 15%。

進入場景微調階段，昇思 2.0 通過集成多種低參微調的算法，如 LoRA，Adapter 等，可實現一行代碼運行 LLaMA 的低參微調，也支持千億級模型進行 RLHF。

在推理部署階段，昇思提供模型壓縮工具，結合不同的硬件能力，支持模型規模 5~20 倍壓縮，同時精度損耗小于 0.5%，并且支持異構及多級存儲優化的能力，單卡推理規模提升至千億。

過去三年，昇思社區幫助業界完成了紫東。太初、鵬程系列等百億、千億級大模型，根據《中國人工智能大模型地圖研究報告》中的數據，基于昇思孵化的產業落地大模型，占到國內總數的 40%。

除大模型之外，昇思也一直在推動 AI 使能科學計算，并積極推動進一步降低 AI 應用門檻，針對行業重點場景，打造了系列場景化開發套件。通過與啟智 OpenI 社區聯合打造的 MS-Adapter 項目，昇思在保留原生 API 能力的同時，實現了業界主流框架 Pytorch 大多數 API 的兼容。

MindSpore 生態的未來

簡單來說，通過昇思 MindSpore 業界領先的能力，大模型可以更快落地，更多行業可以實現智能化重塑。

在 AI 領域，新技術的探索讓我們找到未來方向，而 AI 框架可以幫助我們將技術轉化為生產力。昇思已為我們鋪好了路，通過提供開箱即用的套件，它正在滿足各領域開發者的需求。

通過一系列共建與合作，昇思正在不斷完善生態伙伴體系和「朋友圈」，基于 AI 框架的多芯一體生態還會不斷壯大。

未來，昇思還將持續提升框架的易用性，兼容業界生態，降低開發者編程門檻。在技術上進一步提升自動并行的核心能力，實現大模型從訓練到推理部署的端到端閉環。

昇思 AI 框架，將會成為更多行業的首選。

關鍵詞：