2025年大模型研究系列：多模態(tài)大模型洞察大模型向多模態(tài)發(fā)展深入產(chǎn)業(yè)端垂直場景釋放技術(shù)價值

中國多模態(tài)大模型產(chǎn)業(yè)洞察——未來展望

通過不同策略構(gòu)建多模態(tài)輸入輸出空間、設(shè)計(jì)對齊架構(gòu)與訓(xùn)練策略、進(jìn)行全面可靠評測，以及將輸入輸出擴(kuò)展框架應(yīng)用于具身智能場景，最終目標(biāo)是構(gòu)建具有一般性能力的世界基座模型

多模態(tài)大模型未來展望分析（將離散或連續(xù)模態(tài)表示與文本空間結(jié)合）

主流策略

構(gòu)建混合空間：以連續(xù)形式整合模態(tài)信息，并與離散文本對齊。

統(tǒng)一離散表示：使用離散化的形式建模多種模態(tài)，確保生成與理解任務(wù)的統(tǒng)一處理。

優(yōu)勢對比

混合空間：在理解類任務(wù)上表現(xiàn)出色，但在多模態(tài)生成任務(wù)中支持有限。

統(tǒng)一離散表示：適配生成與理解任務(wù)，在理解任務(wù)上的效果略遜。

未來展望

學(xué)術(shù)社區(qū)正在積極探索更高效的模態(tài)表示方法和編碼器，旨在兼顧生成和理解任務(wù)。

離散與連續(xù)模態(tài)表示的選擇和優(yōu)化目標(biāo)密切相關(guān)，兩者在設(shè)計(jì)思路和訓(xùn)練方法上存在互相借鑒和促進(jìn)的可能性。

多模態(tài)大模型未來展望分析（設(shè)計(jì)模型架構(gòu)與訓(xùn)練策略）

問題2：如何設(shè)計(jì)模型架構(gòu)與訓(xùn)練策略，完成多模態(tài)輸入輸出空間的對齊？

模型架構(gòu)

根據(jù)輸入空間設(shè)計(jì)對應(yīng)的輸入端對齊模塊，根據(jù)不同模態(tài)的輸出形式設(shè)計(jì)輸出對齊模塊。

引入額外的內(nèi)部模塊，以更好地建?？缒B(tài)的交互。

訓(xùn)練策略

經(jīng)歷預(yù)訓(xùn)練和指令微調(diào)兩個階段，前者用于對齊多模態(tài)表示，后者學(xué)習(xí)多模態(tài)場景下的指令遵循能力。

根據(jù)應(yīng)用和優(yōu)化的目標(biāo)選擇和混合訓(xùn)練數(shù)據(jù)，確保數(shù)據(jù)的豐富度、質(zhì)量和規(guī)模。

根據(jù)模型架構(gòu)設(shè)定合適的參數(shù)，如可訓(xùn)練參數(shù)等。

挑戰(zhàn)與機(jī)遇

模型架構(gòu)的設(shè)計(jì)存在多種選擇，且不同設(shè)計(jì)間存在tradeoff，需要通過實(shí)證性分析獲取相對較優(yōu)的設(shè)定。

訓(xùn)練策略的選擇同樣重要，需要平衡數(shù)據(jù)豐富度、質(zhì)量和規(guī)模，以及模型架構(gòu)的復(fù)雜性。

知前沿，問智研。智研咨詢是中國一流產(chǎn)業(yè)咨詢機(jī)構(gòu)，十?dāng)?shù)年持續(xù)深耕產(chǎn)業(yè)研究領(lǐng)域，提供深度產(chǎn)業(yè)研究報(bào)告、商業(yè)計(jì)劃書、可行性研究報(bào)告及定制服務(wù)等一站式產(chǎn)業(yè)咨詢服務(wù)。專業(yè)的角度、品質(zhì)化的服務(wù)、敏銳的市場洞察力，專注于提供完善的產(chǎn)業(yè)解決方案，為您的投資決策賦能。

轉(zhuǎn)自頭豹信息科技南京有限公司 研究員：袁栩聰/陳慶民