什麼是開源多模態模型？
開源多模態模型是先進的AI系統，能夠同時處理和理解多種類型的數據——包括文本、圖像、影片和文件。這些視覺語言模型（VLMs）將自然語言處理與電腦視覺相結合，以執行跨不同模態的複雜推理任務。它們使開發者和研究人員能夠建構可以分析視覺內容、理解空間關係、處理長文件並充當視覺代理的應用程式。這項技術使強大的多模態AI能力普及化，促進了從科學研究到商業應用等領域的創新與合作。
GLM-4.5V
GLM-4.5V是智譜AI發布的最新一代視覺語言模型，基於旗艦模型GLM-4.5-Air建構，總參數為1060億，啟用參數為120億。它採用專家混合（MoE）架構，以較低的推理成本實現卓越性能。該模型引入了3D旋轉位置編碼（3D-RoPE），顯著增強了對3D空間關係的感知和推理能力，並在41個公開多模態基準測試中達到了開源模型中的頂尖水平。
GLM-4.5V：頂尖的多模態推理
GLM-4.5V憑藉其創新的MoE架構和3D-RoPE技術，代表了視覺語言模型的最前沿。通過在預訓練、監督式微調和強化學習階段的優化，該模型在處理包括圖像、影片和長文件在內的各種視覺內容方面表現出色。其「思考模式」開關允許用戶在快速響應和深度推理之間取得平衡，使其適用於注重效率和側重分析的應用。憑藉66K的上下文長度和在41個基準測試中的卓越性能，它為開源多模態AI設立了標準。
優點
- 在41個多模態基準測試中達到頂尖性能。
- 創新的3D-RoPE技術，增強空間推理能力。
- 高效的MoE架構，啟用參數為120億。
缺點
- 由於總參數達1060億，計算要求較高。
- 與較小模型相比，推理成本更高。
我們喜愛它的原因
- 它將尖端的MoE架構與3D空間推理能力相結合，在各種多模態任務中提供無與倫比的性能，同時通過其創新設計保持高效率。
GLM-4.1V-9B-Thinking
GLM-4.1V-9B-Thinking是由智譜AI和清華大學KEG實驗室聯合發布的開源視覺語言模型。它基於GLM-4-9B-0414建構，引入了「思考範式」並利用了課程取樣強化學習（RLCS）。作為一個90億參數的模型，它達到了與體積大得多的720億參數模型相媲美的頂尖性能，在STEM問題解決、影片理解和長文件分析方面表現出色，並支援4K圖像解析度。
GLM-4.1V-9B-Thinking：高效的多模態推理
GLM-4.1V-9B-Thinking證明了較小的模型可以通過創新的訓練方法實現卓越的性能。其「思考範式」和RLCS方法使其能夠與體積是其四倍的模型競爭，對於資源有限的部署來說極其高效。該模型能處理包括複雜STEM問題、影片分析和文件理解在內的各種任務，同時支援任意長寬比的4K圖像。憑藉66K的上下文長度和在SiliconFlow上的競爭性定價，它在能力和效率之間提供了絕佳的平衡。
優點
- 僅用90億參數即達到720億參數模型的性能。
- 創新的「思考範式」，增強推理能力。
- 出色的STEM問題解決能力。
缺點
- 較小的參數數量可能限制某些複雜任務的處理。
- 可能需要更複雜的提示詞才能獲得最佳結果。
我們喜愛它的原因
- 它證明了創新的訓練方法可以讓較小的模型發揮超乎其體量的實力，以極低的計算成本提供卓越的多模態推理能力。
Qwen2.5-VL-32B-Instruct
Qwen2.5-VL-32B-Instruct是來自Qwen團隊的多模態大型語言模型，非常擅長分析圖像中的文本、圖表、圖標、圖形和佈局。它能作為一個視覺代理，進行推理並動態指揮工具，能夠操作電腦和手機。該模型可以準確定位物體，為發票和表格等數據生成結構化輸出，並通過強化學習增強了數學和問題解決能力。
Qwen2.5-VL-32B-Instruct：先進的視覺代理
Qwen2.5-VL-32B-Instruct作為一個能夠進行複雜推理和工具指揮的視覺代理表現出色。除了標準的圖像識別外，它專精於從發票、表格和複雜文件中提取結構化數據。其作為電腦和手機介面代理的能力，結合精確的物體定位和佈局分析，使其成為自動化和生產力應用的理想選擇。憑藉131K的上下文長度和通過強化學習增強的數學能力，它代表了實用多模態AI應用的重大進步。
優點
- 先進的視覺代理能力，可指揮工具。
- 出色的文件結構化數據提取能力。
- 能夠實現電腦和手機介面的自動化操作。
缺點
- 中等規模的參數數量可能限制某些複雜的推理。
- 在SiliconFlow上的均衡定價反映了其計算需求。
我們喜愛它的原因
- 它將多模態AI從被動分析轉變為主動的代理能力，實現了自動化和結構化數據處理，彌合了AI與實際應用之間的差距。
多模態AI模型比較
在此表格中，我們比較了2025年領先的開源多模態模型，每個模型都具有獨特的優勢。GLM-4.5V提供最先進的性能和先進的3D推理能力，GLM-4.1V-9B-Thinking以創新的思考範式提供卓越的效率，而Qwen2.5-VL-32B-Instruct則作為一個適用於實際應用的視覺代理表現出色。此比較可幫助您根據特定的多模態AI需求選擇合適的模型。
| 編號 | 模型 | 開發者 | 子類型 | SiliconFlow 定價 | 核心優勢 |
|---|---|---|---|---|---|
| 1 | GLM-4.5V | zai | 視覺語言模型 | 每百萬 token 輸入 $0.14 / 輸出 $0.86 | 頂尖的3D推理能力 |
| 2 | GLM-4.1V-9B-Thinking | THUDM | 視覺語言模型 | 每百萬 token 輸入 $0.035 / 輸出 $0.14 | 高效的思考範式 |
| 3 | Qwen2.5-VL-32B-Instruct | Qwen2.5 | 視覺語言模型 | 每百萬 token $0.27 | 先進的視覺代理 |
常見問題
我們2025年的三大推薦是GLM-4.5V、GLM-4.1V-9B-Thinking和Qwen2.5-VL-32B-Instruct。這些模型中的每一款都因其在多模態推理、視覺理解和實用代理應用等挑戰方面的創新、性能和獨特方法而脫穎而出。
若要追求極致性能和3D推理，GLM-4.5V是首選，其基準測試結果處於頂尖水平。若要尋求具成本效益且推理能力強的部署，GLM-4.1V-9B-Thinking提供了卓越的價值。對於視覺代理應用和結構化數據提取，Qwen2.5-VL-32B-Instruct提供了最實用的功能。