開源大模型的源代碼可以在多個平臺上找到,以下是一些知名的開源大模型及其源代碼的獲取方式:
1. **艾倫人工智能研究所的開放大語言模型(Open Language Model,OLMo)**:
? ?- 提供了完整的模型權重、訓練代碼、訓練日志、消融研究、訓練指標和推理代碼。
? ?- 包含了一個高達3T token的預訓練開源語料庫,以及產生這些訓練數據的代碼。
? ?- 提供了四個不同架構、優化器和訓練硬件體系下的7B大小的模型,以及一個1B大小的模型,所有模型都在至少2T token上進行了訓練。
? ?- 提供了用于模型推理的代碼、訓練過程的各項指標以及訓練日志<searchIndex index="1" />。
2. **BERT**:
? ?- BERT項目的源代碼可以在GitHub上找到,地址為:https://github.com/google-research/bert#fine-tuning-with-bert<searchIndex index="2" />。
3. **ELMo**:
? ?- ELMO的源代碼可以在GitHub上找到,地址為:https://github.com/allenai/allennlp<searchIndex index="2" />。
4. **螞蟻集團的CodeFuse**:
? ?- CodeFuse是一個代碼大模型,已經開源,可以在HuggingFace下載模型。
? ?- 開源內容包括代碼框架、模型等,其中模型包括CodeFuse-13B、CodeFuse-CodeLlaMa34B-MFT兩個大模型。
5. **DeepSeek Coder**:
? ?- DeepSeek Coder是一個智能代碼助手,可以在Hugging Face和GitHub上開源。
? ?- 在國際權威數據集的測試中表現出色<searchIndex index="3" />。
6. **LLaMA**:
? ?- LLaMA的源碼可以在transformers倉庫中找到,地址為:https://github.com/huggingface/transformers<searchIndex index="4" />。
請注意,獲取開源大模型的源代碼時,需要遵守相應的許可協議,并在使用時引用原始來源。同時,由于開源項目的更新和維護可能會發生變化,建議直接訪問上述提供的鏈接以獲取最新的源代碼和相關信息。