人們常說，石油是工業時代的血脈。那麼，AI 時代，又是什麼為企業的騰飛奠定堅實基礎？將 AI 融入企業營運遠不只是選擇模型那麼簡單。模型背後，還需要一套能夠長期支撐訓練、推理、數據流動、安全治理的技術底座。AI 基礎建設就是為此而做。AI基礎建設由運算硬件、儲存、網絡、軟件調度、數據中心設施，監察等部分組成。這些環節能否協同運作，會直接影響 AI 應用能否穩定擴展、控制成本、符合企業的營運要求。 本文將為你揭示：AI 基礎建設是什麼、包含哪些核心組件、企業部署 AI 基礎建設有哪些先決條件，以及未來發展趨勢，助你了解 AI 基礎建設如何為企業創造價值。
AI 基礎建設是什麼？企業數碼轉型的算力底座
AI 基礎建設是支援人工智能模型開發、訓練、推理、企業級部署的一整套技術環境。它是一個由運算、網絡、儲存、軟件、數據管道、保安、營運管理共同組成的完整體系，是生成式 AI 與大型語言模型（LLM）運算的核心技術底座。上層模型能否穩定運行、快速迭代，正取決於底層運算、網絡、儲存、調度能否協同配合。 對於大型企業而言，AI 基礎建設正變得愈發重要。OECD 數據顯示，2025 年全球主要雲端供應商的 531 個可用區域中，只有約 66% 能提供支援 AI 工作負載的 GPU 算力。當企業愈來愈依賴 AI 處理大量推理任務、完成複雜工作流程，算力不足、機房空間不足、資源供應受限、伺服器散熱等問題的影響就越大，容易拖慢產品開發，影響產品迭代與生產部署。香港寸土寸金，機房空間、電力供應、散熱這些問題容易制約AI基礎建設。倘若 AI 基礎建設不足，系統在擴張規模後，AI基礎設施條件便會直接影響可部署的規模、系統的運行情況與整體成本。
AI 基礎建設的核心組件：從硬件設施到軟件優化
企業規劃 AI 基礎建設設施時，可把核心組件理解為以下四個互相依賴的層面：
- 高密度運算晶片與伺服器：GPU、其他 AI 加速器及伺服器負責模型訓練與推理。企業選型時除了要比較單一晶片性能，還需要按工作負載評估吞吐量、記憶體容量、延遲及資源使用率。
- 高頻寬儲存與網絡架構：大型模型訓練及推理涉及大量數據在運算節點、儲存系統與應用之間移動。高速網絡與合適的儲存設計可減少數據傳輸成為運算瓶頸。
- 軟件調度與模型優化：容器、Kubernetes、工作負載排程、GPU 虛擬化及 AI orchestration 可協助企業分配資源、管理多模型環境及提高基礎設施利用率。
- 數據中心實體設施：高密度 AI 運算需要穩定電力、散熱、機房空間及維護機制。這些條件直接影響部署規模、可用性與總體成本。
前沿大型語言模型正不斷推高 AI 基礎建設要求。然而，在企業級用戶，全公司規模的應用中，AI 落地仍處於非常早期的階段。因為大企業要讓大模型深入業務層面，還需要搭建相應的硬件基礎設施、具備企業資料解決方案，以及擁有安全部署與監測 AI 的工具。
以 Moonshot AI 的 Kimi K3 為例，官方資料顯示其模型規模達 2.8 萬億參數、每個 token 啟用約 1,040 億參數，並支援最高 100 萬 token 上下文，推理時便需處理更多模型權重、上下文、快取資料，對高吞吐運算、記憶體容量及記憶體頻寬提出更高要求。 隨著模型規模、上下文長度及複雜 Agent 工作流程增加，底層硬件設定亦須相應提升。
MTR Lab 在AI領域的投資佈局著眼於支撐大規模企業應用落地的核心能力建設。因此，我們認為 AI 價值鏈的投資機遇不僅存在於基礎模型層亦涵蓋 AI 編排、中間層工具、企業數據基礎設施，以及企業級網絡安全等關鍵環節。
AI 基礎建設散熱：為何高密度 GPU 機櫃要考慮液冷？
伺服器消耗的電力最終幾乎都會轉化為熱量。國際能源署（IEA）估計，散熱系統佔數據中心用電的比例，由高效超大型設施的約 7%，到效率較低的企業數據中心逾 30% 不等。Uptime Institute 2025 年全球數據中心調查顯示，受訪者最常見機櫃功率密度的平均值已由 2024 年的 8.3kW 升至接近 9kW，但逾八成受訪者的設施內仍沒有 30kW 以上的機櫃。AI 伺服器把大量 GPU 集中在同一機櫃，熱量愈集中，只靠冷空氣就愈難有效散熱，所以需要利用液冷系統作為主要散熱手段。
現時三種常見液冷方式分別是：後門熱交換器、直接晶片液冷（冷板貼近 GPU／CPU）及浸沒式液冷；液冷系統一般可用較高水溫運行，減少對機械製冷的依賴。香港全年平均氣溫及相對濕度 較高，可利用室外冷空氣散熱的時間相對有限，規劃 AI 基礎建設散熱方案時，更需要提早評估供電與冷卻容量。
AI 基礎建設的軟件調度：雲端運算調度策略
如今，企業擁有比以往更多的 AI 模型可供選擇。然而，要將 AI 真正投入應用，遠不止為特定任務挑選最合適的模型那麼簡單。企業還必須善用各種全球模型、開源模型及區域模型，並將它們與內部數據、搜尋能力及業務工具相結合。
當企業由單一模型走向多模型、多雲或混合環境時，如何分配運算資源、協調模型與數據流，便成為架構設計的重要問題。雲端運算調度與架構優化的重點，正是讓有限的算力按不同工作負載靈活分配。
動態運算調度
其中，動態運算調度（Dynamic Compute Scheduling）能夠把有限的 GPU、CPU 、記憶體資源按工作負載需要分配。模型訓練、批量推理、AI 應用的運算需求通常並不固定，往往存在明顯的高峰與低谷。透過資源池化及工作負載排程，企業可以把閒置算力重新配置至有需要的任務，按照業務優先次序調整資源，改善整體基礎設施利用率。
AI 編排
而 AI 編排（AI Orchestration）則將排程的理念進一步延伸。AI 編排負責在模型、數據、工具與工作流程之間協調，決定何時調用哪個模型、使用哪些資料、分配多少資源，是規模化 AI 落地的中樞。部分雲端算力平台正把這類能力整合至 AI 基礎建設。以 Cloudsway 的 MaaS（模型即服務） 方案為例，讓企業經單一平台存取多個託管模型,並提供即時搜尋 API；其 Fusion 模型則以同一個接口接收請求，在系統內按任務進展判斷下一步應調用哪種模型能力、是否值得再投入運算資源，最後輸出單一答案。其智能編排（Intelligent Orchestration）可動態優化資源配置與工作負載排程，並結合高吞吐、低延遲儲存及GPU 間高速網絡，支援訓練與推理。這類架構讓企業不必只靠增加 GPU，而是透過排程、網絡、儲存與資源配置優化，更有效管理不同 AI 工作負載，在不無限擴充硬件的情況下提升現有算力使用效率。隨著企業 AI 應用愈趨複雜，如何在多模型、多工具環境下提升資源調配能力，亦成為 AI 基礎建設的重要考量之一。
模型提供的是智慧，而編排層則圍繞其運作。它協助企業在統一的環境中獲取模型、即時資訊及相關工具，並在幕後將任務分配給最合適的模型。我們在此領域的投資，正是基於我們的觀察，企業正逐步由單一模型應用發展至多模型、多工具及跨平台環境，AI 編排將協助企業應對日益複雜的 AI 格局，以及在加速大規模實用推廣方面發揮重要作用。
MTR Lab看到整個 AI 價值鏈中的龐大機遇 —— 從基礎技術與基礎設施，到應用層與工作流程層。 隨著 AI 的持續演進，將繼續堅定地支持各方建設者，共同塑造 AI 價值鏈的下一個階段。
本地部署 vs 雲端 AI 基礎建設：決策因素與成本比較
本地部署和雲端各有取捨，兩者最大的成本差異，在於企業是選擇預先投入資本建立專用算力，還是按實際使用量持續購買雲端運算資源。企業可通過以下維度進行比較：
| 成本項目 | 本地部署 | 雲端部署 |
| GPU／AI 伺服器 | 需要預先採購 GPU、CPU、記憶體及伺服器，初期資本投入較高 | 毋須自行購買硬件，通常按實例使用時間、運算量或服務合約付費 |
| 高速網絡與儲存 | 需要自行配置高頻寬網絡、交換器及高效能儲存，以避免 GPU 等待數據而降低利用率 | 基礎硬件由雲端供應商提供，但高效能儲存、跨區域傳輸及數據流量可能另行收費 |
| 電力與散熱 | 高密度 GPU 可能需要升級供電、機架及冷卻系統，是容易被低估的建置成本 | 電力與散熱已包含於雲端基礎設施，但相關成本會反映在運算服務價格之中 |
| 軟件與系統整合 | 需要部署虛擬化、Kubernetes、AI orchestration、監察、保安及模型管理工具 | 可直接採用雲端管理服務，但平台、模型 API、監察及安全服務可能產生額外費用 |
| 維護與技術人力 | 企業需要自行承擔設備維護、平台管理、更新及故障處理 | 部分底層維護由供應商承擔，但企業仍需要管理成本、架構、模型及雲端安全 |
| 擴容成本 | 增加容量通常需要再次採購設備，亦受機房、電力及採購周期限制 | 可按需求較快增加 GPU 資源，適合短期高峰或需求尚未確定的工作負載 |
| 閒置成本 | 即使 GPU 沒有滿載，企業仍需承擔設備折舊、電力及維護成本 | 可按需要釋放資源，但若排程及成本治理不足，閒置實例同樣可能持續產生費用 |
| 數據傳輸成本 | 內部數據傳輸成本相對可控，但需要自行建設網絡 | 大量數據上雲、跨區域傳輸或資料輸出可能增加額外成本 |
從成本曲線來看，雲端通常更適合需求仍在探索階段、工作負載波動較大、需要快速取得算力的企業。企業毋須在項目開始前預先購買大量設備，可以先以較低的固定投入進行 PoC、模型測試及短期推理。
相反，當 AI 工作負載已經較穩定，而且 GPU 能夠維持較高使用率時，本地部署的成本會較容易預測。企業雖然需要承擔較大的初期建置成本，但可以把硬件投資分攤至較長的使用周期，同時掌握數據、基礎設施及資源調度方式。
企業部署 AI 基礎建設有哪些要求？四個階段的實務路線與先決條件
企業可按以下次序規劃AI 基礎建設設施：
階段一：業務需求與數據準備度評估
首先須明確企業導入 AI 的核心業務目標：是用於模型訓練、批量推理，還是支撐 AI Agent 工作流？據此預估對應的使用規模、併發需求與延遲性能指標。
同時需要盤點數據來源、數據質素、敏感程度及存取權限。如果數據仍然分散於不同系統，或缺乏一致的數據治理，即使增加算力亦未必能直接提升 AI 應用成效。
階段二：電力供應與機房環境審查
若企業完善AI 基礎建設設施，下一步需要評估現有機房能否支援高密度運算。
GPU 伺服器除了需要較高的電力容量，亦會增加散熱、機架密度、網絡及儲存方面的要求。企業應檢視供電容量、備援電力、冷卻系統、機房空間、高頻寬網絡，以及現有設施是否需要升級。
階段三：混合算力架構選型
完成需求及基礎設施評估後，企業便可根據不同工作負載的 AI 基礎建設要求，決定哪些工作適合在本地、私有雲或公有雲運行。
例如，涉及敏感數據、長期穩定負載或需要較高環境控制的工作，可考慮部署於本地或私有環境；短期模型訓練、需求高峰或需要快速調用特定 GPU 及模型服務的工作，則可使用公有雲。
混合算力架構的核心並不是同時使用多種平台，而是按工作負載特性分配最合適的運算資源，同時建立一致的身份權限、數據治理、網絡連接及監察機制。
階段四：試驗計畫（PoC）
正式大規模投入前，可先選擇具代表性的 AI 工作負載進行概念驗證（Proof of Concept，PoC）。
除了測試模型準確度以外，PoC 亦應同時記錄推理延遲、吞吐量、GPU 使用率、記憶體需求、數據傳輸效率、能源使用、單位運算成本等資訊， 驗證既定的AI 基礎建設要求是否與實際工作負載相符。
當技術表現、營運流程及成本模型均獲得驗證後，企業才適合逐步擴大資源配置，把 AI 工作負載由試驗環境推向更大規模的生產應用。
未來趨勢：智慧城市與 PropTech 的 AI 運算生態圈
AI 基礎建設正由傳統數據中心，逐步延伸到智慧城市和房地產科技（PropTech）場景。智慧建築、交通設施、大型物業每天產生大量設備、能源、環境、營運數據。企業要把這些數據與 BIM、物聯網、雲端平台和人工智能分析連起來，才能支援設備監察、預測性維修、能源管理及資產營運決策。
市場數據亦反映這個趨勢的規模。國際能源署《World Energy Outlook 2025》估計，2025 年全球數據中心投資將達約 5,800 億美元，超過全球石油供應投資的約 5,400 億美元；聯合國貿易和發展會議（UNCTAD）《2025 年技術和創新報告》則預測，人工智能到 2033 年將成為規模達 4.8 萬億美元的全球市場。算力投資持續擴大，AI 的價值愈來愈取決於能否落地到建築、交通及城市管理等實際場景。
這個轉變在香港尤其值得關注。根據政府《香港氣候行動藍圖2050》節能綠建資料，建築物佔全港用電量約 90%，逾 60% 的碳排放來自建築物耗能相關的電力生產。換言之，如果 AI 能提升建築物的設備監察與能源管理效率，對城市減碳的影響相當直接。
在 PropTech 場景，AI 基礎建設除了提供模型運算能力，也要把實體資產、數據平台和分析模型接連起來。當 BIM、數碼孿生、IoT 和 AI 整合在同一個營運環境，企業便能更持續掌握建築及設備即時狀態，把分散的數據轉化為日常營運可執行的洞察。
這個方向亦與 MTR Lab 的科技投資視角相符。MTR Lab 以企業創投身份關注智慧城市、可持續發展、人工智能等領域，透過投資與生態圈合作支持具實際應用潛力的創新企業。2023 年，MTR Lab 與戈壁大灣區共同投資建築科技企業 isBIM，提升建築項目的營運效率及能源效益，令工程更安全。可以說，AI 價值鏈的投資與應用機會，正由模型層面擴展至安全治理、智慧城市、PropTech 等落地環節。
結論與建議
AI 基礎建設已成為企業數碼轉型、智慧城市升級的戰略核心。AI基礎建設既要具備高效能運算硬件，也要有成熟的軟件調度能力，讓運算、數據、模型、網絡、安全、營運協同運作。當 AI 應用由 PoC 走向日常營運，成功的算力部署必須軟硬兼顧：硬件效能決定上限，軟件優化與整體營運效益則決定實際可用程度。架構能否擴展、能否監察、能否管控，以及成本是否合理，與模型效能同樣重要。
面對 AI 價值鏈的下一階段，前沿創新者應主動尋找兼具資本實力與真實應用場景的戰略夥伴。 MTR Lab 以企業創投身份，專注智慧城市、可持續發展及人工智能等領域，能為具潛力的創新方案提供資本、場景、生態圈支援。MTR Lab 誠邀深耕 AI 基礎建設、智慧城市、房地產科技、企業級 AI 解決方案的團隊提交合作方案。只要方案能對應真實場景、具清晰商業價值，MTR Lab 都歡迎你提交方案，共同探索合作機會。
常見問題（FAQ）
1. 企業在部署 AI 基礎建設時，除了資源與技術，為何還需要尋找像 MTR Lab 這類的戰略與生態圈夥伴？
AI 基礎建設從建置到應用落地，不僅需要龐大的資金與技術，更需要真實的商業應用場景與生態圈驗證機會。MTR Lab 作為企業創投，除了提供資本支援，更專注於智慧城市、房地產科技（PropTech）及可持續發展等領域。MTR Lab 能協助創新團隊將科技對接至大型物業、建築與交通等真實場景，並透過生態圈合作協同推進安全治理與營運優化，加速方案由概念驗證（PoC）邁向大規模商業落地。
2. 企業在導入多模型與 AI 編排時，如何確保系統安全及可靠整合？
可先建立統一身份與權限管理，再為模型、工具及數據來源設定清晰存取邊界，同時保留日誌、監察與審計機制。企業亦應測試模型切換、服務中斷、供應商失效及敏感資料處理等情境，避免編排平台成為新的單點風險。
3. PropTech 與智慧建築如何整合 AI 基礎建設？
智慧建築可把感應器、BIM、能源管理、設備維修及其他營運數據連接至 AI 平台，再按延遲、私隱與成本要求決定哪些工作在邊緣設備、本地系統或雲端處理。重點不是把所有數據集中到同一位置，而是建立可治理的數據流與運算架構，支援預測維護、能源優化及設施管理等實際應用。
參考資料
NVIDIA — Building AI Factories for the Enterprise
NVIDIA — Infrastructure Layer Software
Moonshot AI — Kimi K3
Moonshot AI — Kimi Forum — K3 inference capacity
