人工智慧小模型(SLM)的重要性,蘋果人工智慧和他人究竟有何不同?

人工智慧小模型

小模型和大模型

兩種模型的區別

ChapGPT為例的生成式人工智慧仰賴的是人工智慧模型,人工智慧模型的功能,基本上和它能處理的參數個數成正比。但參數數目愈大, 耗費的資源,運算力就愈大,所需的成本和時間就愈大。

參數數目很重要

因此,人工智慧模型參數數目較小者,我們把他們稱為小模型,用以區別一開始的人工智慧大模型。至於數目的多少,並沒有一個絕對的數字做為切割點。一般而言,50或40億個參數數目的人工智慧模型,可以被視為小模型。

魚與熊掌不能兼得

參數數目和人工智慧大或人工智慧小模型的功能正好成反比,取捨就是個兩難的問題,魚與熊掌不可能兼得。

人工智慧大模型

大模型很強,但不實用

大模型很強,但不實用。全球只有曲指可數的少數很有錢的上市公司和國家,才有深不見底的口袋,花上最少幾十億的資本支出,持續投資更新,建立可以執行人工智慧大模型,而且屬於自己的資料中心和伺服器設備。

大模型難推廣

任何突破性的科技要成功必需被大眾接受,否則不可能成功,史上有太多的例子,在此不再詳述。

愈多人使用才能成功

一般大眾會接觸的是手機或電腦等終端設備,不是工程師們或少數人生活下的資料中心功能強大的伺服器和複雜的設備或設定。

但終端設備運算能力和儲存空間有限,參數越多,模型的學習能力越強。

小模型的優勢

隐私

所有人工智慧大模型都需要透過雲端連上科技巨擘們的資料中心,交由遠端伺服器運算後再傳回給使用者。在此過程,就會牽涉到個人隐私的問題,沒有人希望谷歌公佈你上網查詢,或是連線拜訪的敏感或見不得人的網站吧!

蘋果堅稱,他們正研發和其他同業不同的資料中心和遠端伺服器運算方式,堅守客戶的隐私,這點有別於業界目前的做法,困難度也高上許多。

透過蘋果獨特的私有雲運算(Private Cloud Compute,PCC)與第三⽅人工智慧解決方案的供應商(例如已簽約的OpenAI,可能合作的谷哥,Meta,百度,阿里巴巴等)進⾏整合、讓蘋果和合作伙伴都受益取得雙贏,蘋果可以⿂與熊掌兼得。

但這也是蘋果為何在人工智慧大模型發展一路落後,但在六月中旬的WWDC發表他的人工智慧未來的路線圖後的短短兩天內,股價漲勢兇猛,重回全球市值第一的關鍵原因之一。

可在終端設備上執行

人工智慧大模型不能在終端設備上執行,終端設備的運算力,規模,和儲存空間有限,只能退而求其次採用人工智慧大模型降階後的人工智慧小模型,這樣才能在一般人的手機和電腦上執行。

而且,在一般人的手機和電腦上執行的人工智慧小模型,由於不需連線到遠端,回應速度和效率會好很多。

三大科技巨擘的小模型

以下是目前各家主要的人工智慧小模型的參數數目比較:

  • 蘋果的小模型的參數數目約30億個。
  • 微軟最新的Phi-3-mini模型,只擁有38億個參數。
  • 谷歌的Gemini Nano-1和Nano-2分別只有18億個和32.5億個參數。

OpenAI的小模型

以上三大科技巨擘考慮到他們都有自己的手機和電腦產品,為了能在他們自己的手機和電腦上執行,參數的數目基本上都很小。我們來看一看功能最強大,公認業界最領先的OpenAI的小模型;OpenAI目前自己並沒有手機和電腦等終端裝置,因此設計上以功能考量為主。

OpenAI的GPT-4o是一個以ChatGPT 4.0大模型為基礎,再經過最佳化而來的小模型。GPT-4是OpenAI開發的最新語言模型,其參數數量達到驚人的1.76兆。相較之下,目前最大的語言模型GPT-3有1750億個參數,而GPT-2有15億個參數。而Google發布的PaLM-E包含5620億參數,GPT-4則包含數萬億等級參數。

ChatGPT-4o小模型,根據 OpenAI API 文件的內容,其最大的語法單元(token)的限制為 128,000。微軟的Copilot+ PCs就是使用了ChatGPT-4o小模型。

蘋果在人工智慧上的作法與眾不同

使用自己的私有雲和晶片

蘋果的人工智慧模型所用的是蘋果自己搭建的私有雲,不使用其它業者的資料中心。此外,蘋果的資料中心將採用自己設計的人工智慧處理器,而不是業界普遍採用的輝達的晶片。

透過屬於自己的軟硬體設備,蘋果對人工智慧將擁有絕對的控制權,藉此保護客戶的權益,也能建構不同於他人的功能。

隐私的作法

蘋果表示,Apple Intelligence的一大特點是藉助私有雲運算,靈活調整和擴展其運算能力,如在面對複雜的請求時調用較大的基於伺服器的模型,而這些模型都將在由蘋果晶片驅動的伺服器上運行。在這樣的硬體基礎下,蘋果能夠確保資料不會被儲存或暴露。

Apple Intelligence由兩個基礎模型組成:一個是可在手機等終端運行的本地模型,另一個則是需要在雲端運算,接入ChatGPT的大模型。前者是有30億參數的“小模型”,而後者的模型參數卻是以兆為單位的。

為了保護用戶隱私,蘋果的本地模型從不使用用戶的私人資料進行訓練。對於那些IOS 系統無法處理的請求,將會轉送給ChatGPT。如此一來,用戶得清楚如果AI 的回答不令人滿意的話,責任在於GPT 而不是蘋果。

採用區塊鏈

WWDC 大會中,蘋果軟體資深副總裁 Craig Federighi 提到蘋果的人工智慧模型所用的是蘋果自己搭建的私有雲,是採用「類區塊鏈」的技術來保護隱私。用來驗證正確的作業系統與軟體;其中包括三個部分:

  • 採用區塊鏈最為人推崇的透明、防篡改日誌,也就是資料傳輸時的加密。
  • 在使用者的裝置端上進行比對,確保系統、軟體是一樣的。
  • 採用蘋果 PCC 軟體的虛擬環境,在配備蘋果的設備上執行。確認簽名比對是一致的,防止過程中被更動。

限制合作廠商

首先是蘋果與OpenAI的合作不具排他性;事實上蘋果已在與谷歌,百度和Anthropic等其他人工智慧公司洽談類似的合作。

蘋果會根據蘋果公司的作用,以及使用者的需要,決定採用那一種合作廠商的回應最為有利。例如,在中文的環境下,沒有意外的話,會採用百度的文心一言大模型;因為不論就模型的整體效能,中文語法和複雜度,百度多年所累計的資料和經驗,都遠非谷歌或OpenAI能提供的。

以目前已經確認的而言,OpenAI提供的ChatGPT-4o只有在使用Siri或寫作工具時才會作為選擇提供。而且蘋果每次都會提醒你,你將把資料發送到 ChatGPT 進行文章資料的分析,藉此提供使用者資料和稳私的保護,並取得使用者的確認。此外,當用戶透過蘋果設備連接到 ChatGPT 時,蘋果會混淆或隱藏使用者的 IP 位址,這也使得 ChatGPT 很難關聯多個對話來識別出用戶。蘋果還在雙方簽約的合作條款中載明,禁止OpenAI取得使用者的 IP 位址,以防止濫用。

人工智慧小模型
credit: Ideogram

相關文章

重要聲明

  • 本站內容為作者個人意見,僅供參考,本人不對文章內容、資料之正確性、看法、與即時性負任何責任,讀者請務必自行判斷。
  • 對於讀者直接或間接依賴並參考本站資訊後,採取任何投資行為所導致之直接或間接損失,或因此產生之一切責任,本人均不負任何損害賠償及其他法律上之責任。

在〈人工智慧小模型(SLM)的重要性,蘋果人工智慧和他人究竟有何不同?〉中有 3 則留言

  1. 蘋果思想真的太過超前了,庫克希望“人類從滑手機中解放”,我思來想去,想到了亞馬遜被Shopify卡脖子的例子,結果只有蘋果才能卡蘋果的脖子,這種反商業邏輯的事情太精采了。

    1. Ruby您好,
      我想要補充的有幾點:
      (1).在人工智慧上,又再度證明我在書中和本部落格的觀點:蘋果很少發明全新的技術,在技術和功能整合甚至採用上都不會搶在競爭對手前,會等到技術成熟或時機成熟後才推出,這一點很重重要,也是蘋果能成功的主要原因。
      (2).蘋果有13至14億iPhone用戶,手握如此龐大數量的消費者,使蘋果成為AI浪潮中的中流砥柱,請注意iPhone用戶比Android用戶或電腦用戶有更高的營收貢獻度和使用黏度。
      (3).蘋果是第一家公司,成功定義了人工智慧在使用者的裝置上,未來應該的長像,在細節上更優化與全面,再靠著蘋果最為強大的「產品線與使用黏著度」優勢,深入使用者的細微環結。

      1. 上述3點深有同感:
        蘋果推出產品的最重要的基點是「我到底能為用戶做什麼」,這種堪比段永平先生所言「利潤之上」的追求之企業文化,造就這間公司不凡;另外文中所提對消費者隱私的重視,亦有助於消弭深偽技術(Deepfake)的擴散。

        惟文章提到「可在手機等終端運行的本地模型…..為了保護用戶隱私,蘋果的本地模型從不使用用戶的私人資料進行訓練」,請問既不使用用戶資料預訓練,此本地模型數據來源為何呢?

留言功能已關閉。

error: Content is protected !!