廣州市人民政府辦公廳關于印發《廣州市數字政府改革建設“十四五”規劃》的通知（穗府辦〔2022〕22號），提出夯實自主可控的數字政府新底座，健全數據技術支撐體系：推進人工智能基礎平臺建設。搭建廣州市人機協同開放平臺，形成數據結構化、技術工具化、算法模塊化、知識系統化、接口標準化的基礎支撐能力。依托人機協同開放平臺，集約建設人工智能能力基礎平臺，強化人工智能算法中心、人工智能原子能力中心等支撐，為數字政府建設運行提供人工智能技術實驗場，形成人工智能和城市管理業務間相互協同的生態鏈。

通過建立全市統一的人工智能大模型平臺，為全市提供統一的人工智能大模型基礎通用服務能力。一是實現人工智能大模型基礎平臺和共性能力的充分共享，減少人工智能的重復建設問題，節省信息化建設投資；二是全面降低各委辦局技術創新成本及門檻，加速各委辦局業務創新進度。同時，通過政務辦公與政務服務場景試點建設，推動政務辦公與政務服務自動化與智能化升級，為打造智慧型、服務型政府樹立業務創新標桿。

項目目標：

廣州市政務領域統一人工智能大模型平臺提供統一的數據工程、開發部署、應用開發、國產算力遷移工具等端到端基礎共性能力，打造一站式開發運營管理平臺，實現各類模型一站式部署、運行、管理、資源調度和統一服務，為全市各單位提供統一的大模型開發部署、基礎服務能力，將廣州市打造成為全省乃至全國通用人工智能創新引領地，形成“數據融合、模型共放、應用涌現”的良好發展格局。

打造一站式模型開發部署平臺，實現各廠家NLP模型一站式數據處理、模型開發、模型部署、模型評測、模型調優等共性服務能力，避免基礎平臺重復建設降低投資；降低各委辦局業務智能化轉型技術門檻和使用成本，加速委辦局業務敏捷創新。同時，模型開發部署平臺具備良好的可擴展性，除本期項目統一建設的NLP基模型外，平臺需具備CV、多模態和預測大模型統一開發部署的平滑擴展能力，靈活滿足各委辦局多樣化模型需求。

建設統一大模型運營平臺，為全市各部門提供全面的模型、算法、工作流資產運營管理服務，包括用戶組織管理、資產管理、資產共享、運營管理等全流程服務，實現全市模型算法的統一管理與便捷共享。

建設全市統一的NLP基礎大模型、智慧搜索/內容審核等配套模型；智能語音ASR/OCR識別等AI原子能力，為各委辦局提供上述通用的基礎AI能力，全面賦能委辦局業務創新；同時，通過試點場景，將AI賦能廣州市現有的OA系統、政務大廳服務等具體場景，提高廣州市政務辦公和政務服務的效率和質量。

項目架構：

整體架構：

建設全市政務領域統一的人工智能大模型平臺，為各市直單位、區級單位提供統一的大模型開發部署、對外服務能力，實現“算力換人力、智能增效能”，以AI賦能政務精準服務、城市高效治理。

基于智能算力和通用算力等高性能算力基礎設施，以及算力池化多租，多網融合管理能力，建設全市政務領域統一人工智能大模型平臺。大模型平臺整體架構分為基礎設施層、大模型支撐層、大模型應用開發平臺、模型樞紐層、模型應用層、場景模型層、模型運營平臺以及模型應用層。

其中大模型開發平臺從滿足廣州市實際訴求出發，為市直單位、區級單位提供大模型應用開發者一套行業模型迭代的能力、一套進行搭建復雜智能體搭建的能力，讓大模型具備專業領域知識的“專知”能力，通過豐富的行業場景的智能體構建工具箱來搭建產業級可應用的最佳實踐。具體包含知識中心、模型中心、評測中心、智能體工廠組成。模型樞紐層提供模型倉庫、多模態立方、內容審核、AI原子能力；模型應用層包括智能搜索、數據工程、插件中心；

大模型支撐平臺提供大模型智能算力、存儲和網絡等相關大模型需要的支撐服務能力。模型運營平臺為平臺開發的或者外部導入的模型提供管理、運營監測和應用管理，賦能更上層應用。整體架構如下所示：

圖6-1?總體框架圖

1、基礎設施層：

通過廣州市政務云提供統一規劃的服務器、網絡交換機、機房、CPU/GPU物理算力等基礎設施。

2、模型支撐層：

基于先進的算力平臺，提供不同類型AI算力的資源池，支持不同模型以及對應的訓練框架在訓練時選擇適配的算力或GPU（圖形處理器）進行調用。對于模型的使用過程提供清晰的監控日志，幫助快速排查和定位訓練過程中的故障和修復。同時支持算力資源狀態進行運維監控并對故障快速感知并主動上報，提升硬件故障的感知能力，縮短硬件故障的響應時間，降低節點重調度數據復原時長，提升快速恢復效率，保障模型的長穩訓練。

3、模型開發平臺：

大模型應用開發平臺整合行業領域的豐富的知識和數據能力，具備廣泛的應用能力。它可以涵蓋行業多個領域的問題，并提供準確的、全面的答案。用戶可以通過這個平臺一站式獲取各個行業領域的信息和解決方案，方便快捷。

模型樞紐層：

模型樞紐層提供本項目需要的基礎大模型、開源第三方模型接入、多模態接入等相關的數據管理、鏡像管理、文件管理能力，大模型內容安全相關信息審核能力，提供AI原子能力本期提供語音識別ASR、OCR識別等能力。

模型應用層：

提供相對成熟的領域模型生產能力，其中包括智慧搜索、數據工程、插件中心。

場景模型層：

針對政務辦公場景，利用全市通用大模型的語義理解、意圖識別、公文生成、信息提取能力，通過本地數據訓練出適合廣州市的政務辦公模型和政務服務模型。接入OA定制設計用戶交互界面，并提供API接口供各委辦局業務系統集成。

模型運營平臺：

通過構建用戶組織管理、資產管理、資產共享、運營管理模塊，以支撐各委辦局查看、調用全市優秀模型資產，為智能化建設提供決策參考。針對大模型開發運營管理平臺上已經收納部署的大模型，提供對不同用戶角色的權限管理、算力資源的使用量監控、模型調用量統計等服務運營相關的功能支撐。

本期項目建設廣州市政務領域統一人工智能大模型平臺，能夠無縫兼容DeepSeek等多種AI大模型，提供多模型開發部署及運營管理能力，統一的NLP基模型及智慧搜索模型、內容審核模型配套模型能力，以及OCR、ASR通用標準AI原子能力、滿足各部分委辦局的共性需求。同時，平臺支持CV、多模態和預測大模型的統一開發部署，后續可根據實際需求實現按需擴展，靈活滿足各委辦局多樣化模型需求。根據本期試點場景的建設需求，為NLP大模型、智慧搜索模型等AI模型，總共提供不少于100P的訓練與推理算力。

基于本次建設的全市政務領域統一人工智能大模型平臺，本次項目還包含了政務辦公、政務服務兩個場景化模型訓練，通過廣州市本地數據微調訓練，提供公文助手、收文助手、知識中心、政務服務助手場景化模型，通過與市黨政機關協同辦公平臺（OA）、穗好辦等系統的對接，實現政務辦公、政務服務智能化與智慧化。未來可根據實際業務場景擴充其他場景化模型。

由市政務服務和數據管理局統籌建設大模型底座，包含大模型開發管理平臺，全市通用基礎大模型（本期為NLP自然語言大模型，配套搜索大模型、內容審核模型），通用場景化推理模型（政務辦公模型、政務服務模型）、以及AI原子算法（OCR、ASR）、模型運營管理平臺等基礎共性能力，為業務部門提供基礎通用能力支撐。?

由各委辦局牽頭進行業務場景梳理、場景數據集構建、場景模型開發調測及效果評估、開發出符合部門需求的場景化模型，同時實現與部門應用層業務系統集成等工作，并自行進行立項實施。

圖3-2?業務架構

由市政務服務和數據管理局牽頭建設全市政務領域統一人工智能大模型平臺，由業務部門牽頭，梳理業務需求，準備數據語料集，并進行業務場景模型微調訓練與業務應用系統改造，通過廣州市本地數據訓練出適合廣州本地特色的各類政務場景化模型。

本項目先行試點辦公大模型及政務服務模型兩個模型場景，賦能政務協同辦公系統（OA）、政務服務中心，提升政務辦公效率和政務服務滿意度。

圖6-3?應用架構

針對試點政務辦公場景，基于平臺層NLP大模型的語義理解、意圖識別、公文生成、信息提取能力，通過本地數據訓練出適合廣州市的政務辦公場景化大模型（公文助手、知識中心），結合搜索模型、內容審核模型、公文OCR模型等其他配套AI模型，為政務協同辦公OA系統提供公文草稿生成、公文摘要生成、公文標簽生成、公文段落修改、知識搜索問答AI能力，由業務部門進行OA系統改造，并調用本項目政務辦公AI服務接口能力，實現與OA系統對接集成，賦能政務辦公智慧化，提升廣州市工作人員公文寫作、公文修改、公文批示、公文收文、知識搜索問答各環節效率。

針對試點政務服務場景，基于平臺層NLP大模型的AI生成式自然語言大模型自然語言內容的理解和生成能力，由業務科室牽頭訓練出政務服務模型，構建具備多輪理解、交互理解、話術生成、文本生成、內容摘要等功能的廣州市政務服務中心自有政務服務智能助手，并與現有政務服務中心業務系統對接（I智能大廳導辦助手（豎屏）、大廳取號機系統）、穗好辦，為市民提供樓層咨詢、智能取號、辦事問答、填報信息答疑服務，提升政務服務導辦效率，提高政務服務滿意度。

物理網絡架構的總體規劃遵循“分區+分層+分平面+安全”的設計理念。

“分區”是指按照業務特點和安全要求劃分不同的業務區域，各區塊間通過核心交換機連接在一起，不同類型的流量，通過VRF進行隔離。

“分層”是指采用核心層和接入層兩層扁平結構。

“分平面”是指采用AI高性能計算平面、業務平面、管理平面等分離的設計方法，各自獨立組網，保證平臺可靠性。同時避免了各類網絡之間的競爭和由此產生的擁塞，從而提高提高系統的可擴展性、安全性和可維護性。

圖6-4?網絡架構

廣州市政務領域統一人工智能大模型平臺計劃部署在廣州市政務云上，復用政務云服務能力，因此網絡層選用廣州市政務云平臺網絡資源。本次大模型各組件部署在廣州市政務云資源池內，要求對應的政務云網絡資源、IT資源具備AI資源池構建能力，如AI訓練、ROCE組網等。網絡基礎設施是平臺正常運營的基礎，在選擇網絡架構時不僅僅要滿足當前業務的需求，更要考慮業務3-5年的發展需求。當性能擴容或新業務上線時，確保物理網絡的變更不應對已有業務產生影響。廣州市政務人工智能大模型平臺須支持IPv6訪問。