訓練AI自生成輸出模塊化代碼,生成元代碼級別的AI功能單元代碼,然后再由AI組織為另一個AI,實現AI開發AI的能力;用AI協助探索迭代新構型AI將會出現,并成為一種新的技術路線潮流。
有限結點,無限的連接形式,也是實現一種復雜性的方式。擴展結點、增加參數,是另一種外延式的實現復雜性的方式,這種方式,也可以看作是有限結點、動態連接形式,是等效的,當連接權重置值0,就相當于連接消除,連接構型中相當于沒有這個連接。兩者概念的區別是:后者這種形式的動態連接形式,是區域限定的,是在有限域上的動態,“有限域”的概念是,連接形式是在搭建模型時,初始連接形式作為一個域,是框架限定的,權重置0的連接,是在這個“有限域”的初始模型連接形式范圍內的消除剪枝。進一步思考,當模型訓練到一定程度后,能否引入一個迭代機制,重新跳到第一步,把模型的初始連接構型按某種規則,在訓練到一定程度的模型基礎上,擴展重置初始構型,這樣設想的目的,把“有限域”擴展為模型自己探索的“動態域”,簡單地說,預訓練到一定程度的模型,按某種嘗試、獎勵機制,自動探索擴展初始連接構型,重新開始一輪新的訓練。模型自己按某種嘗試、獎勵機制,自動化探索擴展初始連接構型,中間肯定會產生很多垃圾構型,那就自動淘汰,模型自動化探索擴展的初始連接構型,訓練后的識別效果或收斂效率參照其前一個狀態,如果退步則淘汰,如果更優則覆蓋,也可以理解為AI模型自己探索設計AI模型,升級方向總是以自身效果為參照,如果AI自己會自動化升級,那是一種智能形式。AI自動化升級的一種形式是,在訓練過程中調整參數的權重;現在思考,探索和擴展AI自動化升級的方式,AI自動化升級的另一種形式,除了調整參數,是否讓模型可以自己探索新構型。
生物神經系統的進化,從最簡單到人類復雜的大腦,這個進化是連接構型擴展的過程;而對一個既定的個體,則是連接構型框架定了以后,參數權重升級的過程。生物神經系統,就明顯有兩個升級模式,從最簡單到人類復雜的大腦,既有結點的擴展,也有鏈接構型的擴展。比較大象、海豚、鯨魚的大腦和人類大腦,神經元數量在一個量級,這里面的差別,主要是構型的差別,結點規模效應的差別不是主要,可以認為是一樣的。
知識蒸餾的概念不同于模型蒸餾的概念,模型蒸餾是對模型進行壓縮,而知識蒸餾是對訓練數據資源進行壓縮。知識蒸餾的預訓練模型例子說明,知識A:人是會死的。知識B:蘇格拉底是人。知識C:蘇格拉底會死。三個知識,知識A、知識B、知識C可以壓縮,進行知識壓縮,即所謂知識蒸餾,壓縮為知識A、知識B就包含了前面ABC的完整信息。互聯網上的海量數據,進行知識蒸餾壓縮,可以得到最核心的原子級知識,這個信息池也許不大,所以訓練的計算量不需要很大,然后從這些元級數據可以形式化為無窮無盡的知識。設計一個壓縮驗證模型,就是給它一大堆的數據,讓他輸出盡可能小的數據集,這個小數據集可以包含輸入的全部信息數據。比如,給它輸入,知識A:人是會死的。知識B:蘇格拉底是人。知識C:蘇格拉底會死。三個知識,它會推出這里面內含的知識冗余,然后自動化的剪切掉冗余數據。