蘋果公司于2024年10月13日發(fā)布了最新版本的多模態(tài)AI大模型MM1.5，這一升級版在前代MM1的基礎(chǔ)上進行了顯著改進。

多模態(tài)AI是指能夠處理和理解多種類型數(shù)據(jù)（如文本、圖像、音頻等）的AI技術(shù)。據(jù)悉，MM1.5模型擁有300億參數(shù)規(guī)模，能夠處理圖像識別和自然語言推理任務(wù)。該模型繼續(xù)遵循數(shù)據(jù)驅(qū)動的訓(xùn)練原則，重點研究在不同訓(xùn)練周期中混合不同類型數(shù)據(jù)對模型性能的影響。

MM1.5模型不僅提升了OCR（光學(xué)字符識別）能力，支持任意圖像長寬比和高達4M像素的分辨率，還擅長理解富含文本的圖像。此外，通過額外的高質(zhì)量多圖像數(shù)據(jù)進行監(jiān)督微調(diào)（SFT），進一步提高了模型的上下文學(xué)習(xí)和開箱即用的能力。這一版本還增強了對文本密集型圖像的理解、視覺指代和定位以及多圖像推理的能力。

蘋果公司在MM1.5模型中改進了數(shù)據(jù)混合策略，顯著提升了模型在多文本圖像處理方面的表現(xiàn)。該模型提供了從10億到300億多種參數(shù)規(guī)模，能夠應(yīng)對各種復(fù)雜任務(wù)。相關(guān)模型文檔已在Hugging Face上發(fā)布，供研究人員和開發(fā)者參考。

蘋果的AI戰(zhàn)略包括對多模態(tài)大模型MM1的開發(fā)。在人工智能領(lǐng)域，蘋果公司的發(fā)展歷程可以分為幾個重要階段，從早期的硬件布局到后來的軟件和生態(tài)系統(tǒng)整合，再到最近推出的Apple Intelligence系統(tǒng)，從封閉到開放、從硬件到軟件的轉(zhuǎn)變。

蘋果公司正在加大對AI領(lǐng)域的投入，特別是在生成式AI的應(yīng)用上。例如，蘋果計劃每年投資10億美元，將生成式AI應(yīng)用于iOS、Siri、Apple Music和Xcode等一系列產(chǎn)品和服務(wù)中。2024年的全球開發(fā)者大會（WWDC）上，蘋果推出了名為Apple Intelligence的新個人智能系統(tǒng)。該系統(tǒng)集成了生成式大模型，并深度整合到iOS、iPadOS、macOS等操作系統(tǒng)中，未來還將拓展到watchOS、tvOS以及visionOS。Apple Intelligence提升了設(shè)備端的AI能力，還通過端云結(jié)合架構(gòu)優(yōu)化了數(shù)據(jù)處理和用戶體驗。

在硬件方面，蘋果專注于AI芯片與AI硬件創(chuàng)新。蘋果公司于2023年12月發(fā)布了新的機器學(xué)習(xí)框架MLX，這是一個專為Apple Silicon芯片設(shè)計的開源框架，旨在優(yōu)化在蘋果芯片上的機器學(xué)習(xí)模型訓(xùn)練和部署。同時，蘋果也在自主研發(fā)AI服務(wù)器，計劃在未來三年內(nèi)生產(chǎn)7萬至8萬臺，大部分將使用Nvidia的芯片。

在軟件層面，蘋果正在重新設(shè)計其Siri數(shù)字助手，以更智能的方式提供查詢服務(wù)，并將AI聊天機器人融入其軟件生態(tài)。此外，蘋果還與OpenAI合作，重點關(guān)注其自研的Ajax大模型的進展。

AI布局上，蘋果公司除了自研還有收購，蘋果公司在今年年初就收購了DarwinAI，以組建其人工智能團隊。據(jù)市場調(diào)研，從2017年至2023年，蘋果共收購了32家AI初創(chuàng)公司，這一數(shù)字超過了谷歌、Meta和微軟。這些收購包括專注于語音識別、圖像識別和面部表情識別的公司。

蘋果在AI領(lǐng)域的戰(zhàn)略調(diào)整體現(xiàn)在多個方面，公司放棄了持續(xù)十年的電動汽車項目“Titan計劃”，并將資源轉(zhuǎn)向生成式AI項目。

公司網(wǎng)址：rollmke.com