LLMs on a Phone：指在手機設備上運行的大型語言模型。

Scalable Personal AI：指用戶可以在個人設備上對AI模型進行微調的技術。

Responsible Release：發布AI模型時考慮社會、法律和倫理影響的做法。

Multimodality：AI模型能處理和理解文本、圖像、聲音等多種類型數據的能力。

LLaMA：Meta公司開發的大型語言模型，社區泄露后引發創新和開發。

RLHF (Reinforcement Learning from Human Feedback)：通過人類反饋訓練AI模型的方法。

LoRA (Low Rank Adaptation)：一種通過低秩分解降低更新矩陣大小的模型微調技術。

Chinchilla：可能指提高大規模語言模型效率的技術或模型結構。

Stable Diffusion：一個開源圖像生成AI項目，使用生成對抗網絡（GANs）產生高分辨率圖像。

Dall-E：OpenAI開發的根據文本描述生成圖像的AI模型。

Fine-tuning：在預訓練模型基礎上進一步訓練優化特定任務性能的過程。

Stackable：指微調方法可堆疊應用，逐一疊加不同微調以提升模型表現。

Low rank：指矩陣中非零奇異值數量較少，微調時改變部分參數，保持結構大體不變。

Full-rank updates：更新模型所有參數的方法。

Datasets and tasks：機器學習模型訓練所需的數據樣本集合和模型需要完成的特定問題。

Distillation：一種模型壓縮技術，訓練小型神經網絡模仿大型網絡行為。

Model weights：連接神經網絡神經元的參數，訓練中學習得到，用于預測。

ULM (Universal Language Model)：設計處理、理解、生成不同任務和領域內文本的模型。

Instruction Tuning：優化語言模型以更好理解并執行自然語言指令的過程。

Conversation Tuned：優化語言模型以提高進行自然語言對話的能力。

Alpaca：斯坦福大學發布的項目，對LLaMA模型進行指令調整。

alpaca-lora：GitHub代碼庫，使用低秩微調技術在RTX 4090上數小時內訓練模型。

Quantization：減少模型權重位數，以減小模型大小并加速推理的過程。

Vicuna：發布與Bard功能相當的13B參數模型的跨大學合作項目。

GPT-4-powered eval：使用GPT-4模型評估技術，對其他模型輸出進行定性比較。

ChatGPT API：提供外部開發者和應用程序訪問ChatGPT功能的接口。

GPT4All：Nomic創建的模型及生態系統項目。

μ-parameterization (Micro-parameterization)：模型規模優化方法，提高性能。

Parameter Efficient Fine Tuning (PEFT)：參數高效微調技術，用較少可學習參數有效微調模型。

LLaMA-Adapter：使用PEFT技術，對LLaMA模型添加指令調整和多模態能力，快速訓練。

ScienceQA：針對多模態科學問答的基準測試，評估模型性能。

Koala：加州大學伯克利分校發布的對話模型，使用公開數據訓練。

Pythia-12B：12B參數的語言模型，用于LLaMA之外的實驗和開發。

ChatGPT：OpenAI發行的基于GPT架構的大型對話式語言模型。

Data quality scales better than data size：優質數據對模型影響大于數據量增加的原則。