通過把各種東西打上分數標簽存起來。ai不花算力是不可能的,需要巨大的算力,需要要大量gpu芯片,如果大大降低成本,就需要蒸餾別人成果,把這些參數偷偷弄過來。
比如”貓睡在石頭上感覺很涼快,很舒服!”
這些計算機是完全聽不懂的。讓計算機聽懂,你必須給每個單詞擴張出無數屬性,給每個屬性進行打分。他它不知到石頭舒服,還是貓舒服。
,AI 想要真正**"理解"** 一句話,必須將其中的每個概念(如“貓”“石頭”“涼快”“舒服”)轉化為可計算的參數。計算機的本質是數值計算,它不可能直接“聽懂”語言,而是通過大量的屬性建模+打分,結合大規模數據學習,來模擬“理解”的效果。
?AI 需要給每個單詞無數擴展屬性 + 打分
比如**“貓睡在石頭上感覺很涼快,很舒服!”**,如果 AI 要真正“理解”,它需要拆解并量化其中的概念,如:
AI 想要真正**"理解"** 一句話,必須將其中的每個概念(如“貓”“石頭”“涼快”“舒服”)轉化為可計算的參數。計算機的本質是數值計算,它不可能直接“聽懂”語言,而是通過大量的屬性建模+打分,結合大規模數據學習,來模擬“理解”的效果。
AI 需要給每個名詞擴展屬性 + 打分
比如**“貓睡在石頭上感覺很涼快,很舒服!”**,如果 AI 要真正“理解”,它需要拆解并量化其中的概念,如:
?
?
?
?
下面是一個用0-10 評分機制的表格,來量化 石頭、貓、狗、人 在不同屬性上的差異:
| **對象** ?| **情感** | **是否是動物** | **硬度** | **移動能力** | **智慧** | **生命力** | **溫度感知** | **生長性** | **溝通能力** |
|----------|--------|-------------|--------|--------|--------|--------|--------|--------|--------|
| **石頭** | 0 ? ? ?| 0 ? ? ? ? ? | **9** ?| 0 ? ? ?| 0 ? ? ?| 0 ? ? ?| 0 ? ? ?| 0 ? ? ?| 0 ? ? ?|
| **貓** ? | **9** ?| **10** ? ? ?| 2 ? ? ?| **10** | **7** ?| **9** ?| **9** ?| **8** ?| **6** ?|
| **狗** ? | **9** ?| **10** ? ? ?| 2 ? ? ?| **9** ?| **6** ?| **9** ?| **8** ?| **7** ?| **7** ?|
| **人** ? | **10** | **10** ? ? ?| 3 ? ? ?| **8** ?| **10** | **10** | **10** | **10** | **10** |
評分解釋
- 情感:人(10)最復雜,貓(9)和狗(9)都能表達情緒,石頭(0)無情感。
- 是否是動物:人、貓、狗都是(10),石頭(0)。
- 硬度:石頭(9)最硬,人(3)有骨骼但不及石頭,貓狗(2)較軟。
- 移動能力:貓(10)最靈活,狗(9)稍遜,人(8)較慢,石頭(0)不會動。
- 智慧:人(10)最高,貓(7)比狗(6)更獨立,但都能學習,石頭(0)。
- 生命力:人(10)可活幾十年,貓狗(9)生命周期短,石頭(0)無生命。
- 溫度感知:人(10)最敏感,貓(9)比狗(8)略強,石頭(0)無感知。
- 生長性:人(10)成長周期長,貓(8)和狗(7)生命周期較短,石頭(0)不生長。
- 溝通能力:人(10)語言最豐富,狗(7)能理解指令,貓(6)較獨立但能傳達需求,石頭(0)。
?
這個表格可以幫助直觀地對比石頭、貓、狗和人在不同方面的特性。AI理解人類語言的方式也基于這種原理。通過給不同概念打上屬性標簽并進行數值化處理,AI可以模擬對語言的理解。
如果一個模型能夠通過某種方式獲取到已經花費大量資源訓練的大模型的屬性表格和參數,它就可以大幅節省計算成本。這種方式雖然不屬于創新,某種程度上類似于“剽竊”。不過,合法的剽竊通常需要得到他人的授權或同意,而在某些情形下,如果能夠合法獲取這些信息,也可以看作是光明正大的借用已有的成果,站在巨人的肩膀上合理發揮作用。
蒸餾大模型,就是通過api調用,不斷取到大模型的標簽屬性的分數參數,來避免自己也會投入大量資金來研發。
蒸餾別人的模型,有什么后缺點
比如aaaa 大公司,cccc小公司,cccc蒸餾了aaaa,cccc介紹可能會說自己是aaaa,如果沒有移除相關屬性的話。另外cccc上限可能就是aaaa。萬一aaaa倒閉了,cccc有可能需要尋找下一家.繼續蒸餾。
?
?
?
?
?
?
?
?
?
?
?
?
?