大模型日報

?

2024-06-05

?

大模型資訊

?

1. AI氣象預測取得重大進展：單臺桌面電腦即可運行全球天氣模型

?

• 摘要: 一項新的人工智能天氣預測模型已經取得重大進展，該模型能夠在一臺普通的桌面電腦上運行，預測全球天氣。這意味著即使沒有復雜的物理計算，AI也能有效進行天氣預報。

?

1. SimPO：提升大語言模型RLHF效率與可擴展性的新方法

?

• 摘要: SimPO突破參考模型限制，解鎖大語言模型強化學習人類反饋（RLHF）的高效與可擴展性。人工智能不斷進化，重點在于優化算法以提升大模型的性能和效率。

?

1. HuggingFace發布FineWeb：用于LLM預訓練的大規模數據集

?

• 摘要: HuggingFace推出FineWeb數據集，包含15萬億個標記和44TB磁盤空間，旨在提升大語言模型（LLM）的訓練效果。

?

1. 微軟推出大語言模型在線對齊的主動偏好引導方法

?

• 摘要: 微軟的機器學習研究引入了一種主動偏好引導方法，用于大語言模型（LLMs）的在線對齊。這些模型因其增強的跟隨人類指令能力，在近期取得了顯著進展。

?

1. 多標記預測：大語言模型性能與效率的飛躍

?

• 摘要: 研究人員探索了多標記預測技術在大語言模型中的應用，顯著提升了模型的性能和效率。這一突破性的研究為大語言模型的發展帶來了新的可能性。

?

1. ChatMOF：預測和生成金屬有機框架的人工智能系統

?

• 摘要: ChatMOF是一種人工智能系統，專為預測和生成金屬有機框架（MOFs）而設計。該系統利用大型數據集和先進的AI技術，能夠高效地生成和評估MOFs，為材料科學和化學研究提供重要支持。

?

1. IPA子公司BioStrand推出用于電子健康記錄的先進大語言模型

?

• 摘要: IPA（IMMUNOPRECISE ANTIBODIES LTD.）的子公司BioStrand宣布推出一款用于電子健康記錄（EHR）的先進大語言模型。此次發布旨在提升EHR的處理和分析能力，為醫療行業帶來新的創新和效率。

?

1. 亞馬遜在秋季發布會上為Alexa引入生成式AI

?

• 摘要: 亞馬遜在秋季發布會上宣布為Alexa引入生成式AI，并推出多款新設備，包括第三代Echo Show 8、Echo Hub等。

?

1. SAP與Mistral AI合作：AI技術與專業知識的結合

?

• 摘要: SAP與領先的大型語言模型制造商Mistral AI達成合作。這次合作是AI專業知識與技術的共生結合，旨在推動雙方在AI領域的發展與創新。

?

1. AI在國際象棋中的表現：部分出色，部分令人失望

?

• 摘要: 新的基準測試顯示，即使是最新的大型語言模型（LLMs）在國際象棋方面也不是最強的選手。AI在推動棋子的能力上表現出部分出色和部分令人失望的結果。

?

大模型產品

?

大模型論文

?

1. PlanAgent:基于多模態大語言模型的車輛運動規劃

?

• 摘要: PlanAgent利用多模態大語言模型，通過環境轉換、推理引擎和反思模塊，實現車輛運動規劃的常識推理和廣泛適應性，優于現有方法。

?

1. MMLU-Pro: 更具挑戰性的多任務語言理解基準

?

• 摘要: MMLU-Pro通過增加推理題和擴展選項，提高挑戰性和穩定性，顯著降低模型準確率，更好評估AI進展。

?

1. Helix: 異構GPU集群上的LLM高效分布式服務

?

• 摘要: Helix通過最大流模型優化LLM推理，使用MILP算法提高異構GPU集群的吞吐量和降低延遲，性能顯著提升。

?

1. LoFiT: 局部微調LLM表示

?

• 摘要: 本文提出LoFiT框架，通過選擇特定注意力頭進行局部微調，提高LLM在真確性和推理任務中的表現，且參數修改量顯著減少。

?

1. 信息瓶頸視角的檢索增強生成噪聲過濾

?

• 摘要: 提出信息瓶頸理論用于檢索增強生成，過濾噪聲，提升問答數據集生成答案的正確性和簡潔性。

?

1. 大語言模型與大腦映射的質疑

?

• 摘要: 研究質疑大語言模型與人腦語言處理的相似性，發現高腦分數主要由句子長度和位置等簡單特征解釋。

?

1. 大語言模型的低資源安全增強方法

?

• 摘要: 提出一種無需監督微調或人類反饋強化學習的低資源安全增強方法，通過知識蒸餾提升未對齊模型的防御能力。

?

1. 大語言模型中概念幾何結構的研究

?

• 摘要: 本文研究了大語言模型中語義編碼的兩個基礎問題：分類概念的表示和概念間的層次關系。

?

1. 輸出嵌入中的令牌概率編碼研究

?

• 摘要: 本文研究了語言模型輸出嵌入中的令牌概率信息，發現編碼稀疏性，并通過刪除無關維度優化輸出分布。

?

1. 通過覆蓋性理解偏好微調

?

• 摘要: 本文分析了在線RL和離線對比方法在偏好微調中的異同，提出了結合兩者優勢的HyPO算法，提高了性能和效率。

?

大模型開源項目

?

1. 跨平臺GPT-4o實現

?

• 摘要: gpt-4o項目支持在Windows、macOS和Ubuntu上運行，使用Python語言編寫，提供跨平臺AI解決方案。

?

1. VinciGit00: AI Python爬蟲

?

• 摘要: VinciGit00是一個基于AI的Python爬蟲項目，用于自動化數據抓取，提升效率和準確性。

?

1. ToonCrafter:生成卡通插值研究

?

• 摘要: ToonCrafter是一個用Python編寫的AI項目，旨在研究生成卡通插值技術，助力動畫制作與創意設計。

?

1. 基于NVIDIA Isaac Sim的機器人學習框架

?

• 摘要: isaac-sim是一個統一的機器人學習框架，基于NVIDIA Isaac Sim構建，使用Python語言編寫。

?

1. 微軟生成式AI入門教程

?

• 摘要: 微軟發布18課生成式AI入門教程，幫助初學者使用Jupyter Notebook語言構建生成式AI應用。

?

1. 從零開始用PyTorch實現ChatGPT

?

• 摘要: 本項目在Jupyter Notebook中，逐步實現了一個類似ChatGPT的大語言模型，使用PyTorch框架進行構建。

?

1. MiniCPM-Llama3-V 2.5手機端多模態LLM

?

• 摘要: MiniCPM-Llama3-V 2.5是一款在手機上運行的GPT-4V級別多模態大語言模型，使用Python編寫。