小模型和大模型
兩種模型的區別
ChapGPT為例的生成式人工智慧仰賴的是人工智慧模型，人工智慧模型的功能，基本上和它能處理的參數個數成正比。但參數數目愈大， 耗費的資源，運算力就愈大，所需的成本和時間就愈大。
關於人工智慧的成本，詳情請見我的貼文《生成式人工智慧的成本》
參數數目很重要
因此，人工智慧模型參數數目較小者，我們把他們稱為小模型，用以區別一開始的人工智慧大模型。至於數目的多少，並沒有一個絕對的數字做為切割點。一般而言，50或40億個參數數目的人工智慧模型，可以被視為小模型。
魚與熊掌不能兼得
參數數目和人工智慧大或人工智慧小模型的功能正好成反比，取捨就是個兩難的問題，魚與熊掌不可能兼得。
人工智慧大模型
大模型很強，但不實用
大模型很強，但不實用。全球只有曲指可數的少數很有錢的上市公司和國家，才有深不見底的口袋，花上最少幾十億的資本支出，持續投資更新，建立可以執行人工智慧大模型，而且屬於自己的資料中心和伺服器設備。
大模型難推廣
任何突破性的科技要成功必需被大眾接受，否則不可能成功，史上有太多的例子，在此不再詳述。
愈多人使用才能成功
一般大眾會接觸的是手機或電腦等終端設備，不是工程師們或少數人生活下的資料中心功能強大的伺服器和複雜的設備或設定。
但終端設備運算能力和儲存空間有限，參數越多，模型的學習能力越強。
小模型的優勢
隐私
所有人工智慧大模型都需要透過雲端連上科技巨擘們的資料中心，交由遠端伺服器運算後再傳回給使用者。在此過程，就會牽涉到個人隐私的問題，沒有人希望谷歌公佈你上網查詢，或是連線拜訪的敏感或見不得人的網站吧！
蘋果堅稱，他們正研發和其他同業不同的資料中心和遠端伺服器運算方式，堅守客戶的隐私，這點有別於業界目前的做法，困難度也高上許多。
透過蘋果獨特的私有雲運算（Private Cloud Compute，PCC）與第三⽅人工智慧解決方案的供應商（例如已簽約的OpenAI，可能合作的谷哥，Meta，百度，阿里巴巴等）進⾏整合、讓蘋果和合作伙伴都受益取得雙贏，蘋果可以⿂與熊掌兼得。
但這也是蘋果為何在人工智慧大模型發展一路落後，但在六月中旬的WWDC發表他的人工智慧未來的路線圖後的短短兩天內，股價漲勢兇猛，重回全球市值第一的關鍵原因之一。
可在終端設備上執行
人工智慧大模型不能在終端設備上執行，終端設備的運算力，規模，和儲存空間有限，只能退而求其次採用人工智慧大模型降階後的人工智慧小模型，這樣才能在一般人的手機和電腦上執行。
而且，在一般人的手機和電腦上執行的人工智慧小模型，由於不需連線到遠端，回應速度和效率會好很多。
三大科技巨擘的小模型
以下是目前各家主要的人工智慧小模型的參數數目比較：
- 蘋果的小模型的參數數目約30億個。
- 微軟最新的Phi-3-mini模型，只擁有38億個參數。
- 谷歌的Gemini Nano-1和Nano-2分別只有18億個和32.5億個參數。
OpenAI的小模型
以上三大科技巨擘考慮到他們都有自己的手機和電腦產品，為了能在他們自己的手機和電腦上執行，參數的數目基本上都很小。我們來看一看功能最強大，公認業界最領先的OpenAI的小模型；OpenAI目前自己並沒有手機和電腦等終端裝置，因此設計上以功能考量為主。
OpenAI的GPT-4o是一個以ChatGPT 4.0大模型為基礎，再經過最佳化而來的小模型。GPT-4是OpenAI開發的最新語言模型，其參數數量達到驚人的1.76兆。相較之下，目前最大的語言模型GPT-3有1750億個參數，而GPT-2有15億個參數。而Google發布的PaLM-E包含5620億參數，GPT-4則包含數萬億等級參數。
ChatGPT-4o小模型，根據 OpenAI API 文件的內容，其最大的語法單元（token）的限制為 128,000。微軟的Copilot+ PCs就是使用了ChatGPT-4o小模型。
蘋果在人工智慧上的作法與眾不同
使用自己的私有雲和晶片
蘋果的人工智慧模型所用的是蘋果自己搭建的私有雲，不使用其它業者的資料中心。此外，蘋果的資料中心將採用自己設計的人工智慧處理器，而不是業界普遍採用的輝達的晶片。
透過屬於自己的軟硬體設備，蘋果對人工智慧將擁有絕對的控制權，藉此保護客戶的權益，也能建構不同於他人的功能。
隐私的作法
蘋果表示，Apple Intelligence的一大特點是藉助私有雲運算，靈活調整和擴展其運算能力，如在面對複雜的請求時調用較大的基於伺服器的模型，而這些模型都將在由蘋果晶片驅動的伺服器上運行。在這樣的硬體基礎下，蘋果能夠確保資料不會被儲存或暴露。
Apple Intelligence由兩個基礎模型組成：一個是可在手機等終端運行的本地模型，另一個則是需要在雲端運算，接入ChatGPT的大模型。前者是有30億參數的“小模型”，而後者的模型參數卻是以兆為單位的。
為了保護用戶隱私，蘋果的本地模型從不使用用戶的私人資料進行訓練。對於那些IOS 系統無法處理的請求，將會轉送給ChatGPT。如此一來，用戶得清楚如果AI 的回答不令人滿意的話，責任在於GPT 而不是蘋果。
採用區塊鏈
WWDC 大會中，蘋果軟體資深副總裁 Craig Federighi 提到蘋果的人工智慧模型所用的是蘋果自己搭建的私有雲，是採用「類區塊鏈」的技術來保護隱私。用來驗證正確的作業系統與軟體；其中包括三個部分：
- 採用區塊鏈最為人推崇的透明、防篡改日誌，也就是資料傳輸時的加密。
- 在使用者的裝置端上進行比對，確保系統、軟體是一樣的。
- 採用蘋果 PCC 軟體的虛擬環境，在配備蘋果的設備上執行。確認簽名比對是一致的，防止過程中被更動。
限制合作廠商
首先是蘋果與OpenAI的合作不具排他性；事實上蘋果已在與谷歌，百度和Anthropic等其他人工智慧公司洽談類似的合作。
蘋果會根據蘋果公司的作用，以及使用者的需要，決定採用那一種合作廠商的回應最為有利。例如，在中文的環境下，沒有意外的話，會採用百度的文心一言大模型；因為不論就模型的整體效能，中文語法和複雜度，百度多年所累計的資料和經驗，都遠非谷歌或OpenAI能提供的。
以目前已經確認的而言，OpenAI提供的ChatGPT-4o只有在使用Siri或寫作工具時才會作為選擇提供。而且蘋果每次都會提醒你，你將把資料發送到 ChatGPT 進行文章資料的分析，藉此提供使用者資料和稳私的保護，並取得使用者的確認。此外，當用戶透過蘋果設備連接到 ChatGPT 時，蘋果會混淆或隱藏使用者的 IP 位址，這也使得 ChatGPT 很難關聯多個對話來識別出用戶。蘋果還在雙方簽約的合作條款中載明，禁止OpenAI取得使用者的 IP 位址，以防止濫用。
相關文章
- 《2024年諾貝爾物理獎得主辛頓（Geoffrey Hinton）無意中幫助輝達從圖形晶片商突然變成人工智慧的霸主》
- 《2024年諾貝爾化學獎頒給三位利用AI準確預測蛋白質3D結構的學者》
- 《人工智慧小模型（SLM）的重要性，蘋果人工智慧和他人究竟有何不同？》
- 《谷歌反壟斷被判定成立，為何股票大跌的是蘋果？》
- 《生成式人工智慧的成本》
- 《目前獲利豐厚的五大人工智慧商》
- 《因人工智慧風潮獲益的產業和廠商》
- 《負面醜聞慣犯的美超微（Supermicro）估值不合理且不可持續，目前股價水準並不具長期投資價值》
- 《資本市場的人工智慧泡沫正在形成》
- 《無所不能的華為（Huawei）是如何賺錢的？》
- 《人工智慧投資的陷井》
- 《美股主要的人工智慧上市公司》
- 《生成式人工智慧新星OpenAI和爆紅的ChatGPT》
- 《資料中心是仍在高速成長的半導體領域 》
- 《再論輝達：人工智慧，資料中心，和繪圖的絕對領先者》
- 《輝達（nVidia） 如何賺錢？輝達改變了產業的遊戲規則 》
- 《為什麼輝達（nVidia）併購安謀（ARM）會失敗？》
- 《考慮字母（Alphabet）吧！如果只能買1支股票並靠它退休》
- 《微軟（Microsoft）靠什麼在賺錢？未來會何去何從？》
- 《超微（AMD）如何賺錢？企業史上罕見的反敗為勝案例》
- 《長年老二的超微（AMD）表現為何令人瞠目結舌？》
- 《博通（Broadcom）如何賺錢？經營方式的1項重大改變》
- 《蘋果的多重長期複利資本鍊金術根本原因：是12年間使在外流通股減少了41.9%的股票回購》
- 《關於蘋果的股票回購，輝達的資本操作，特斯拉，人工智慧泡沫化，Willow量子晶片，本部落格關掉留言》
重要聲明
- 本站內容為作者個人意見，僅供參考，本人不對文章內容、資料之正確性、看法、與即時性負任何責任，讀者請務必自行判斷。
- 對於讀者直接或間接依賴並參考本站資訊後，採取任何投資行為所導致之直接或間接損失，或因此產生之一切責任，本人均不負任何損害賠償及其他法律上之責任。
