LoraConfig target modules加入embed_tokens
- 更好且成本更低的方法
-
- 嵌入層（embedding layer）的 lora_embedding_A 和 lora_embedding_B
- 頭部（head）是否需加入目標模塊列表
- 用戶警告
- 解除權重綁定
- 解綁以后是隨機權重，怎么辦
更好且成本更低的方法
“有沒有一種更好且成本更低的方法呢？”
當然有！誰說我們不能給嵌入層（embedding layers）附加適配器（adapters）呢？不如換種方式 —— 把它加入到目標模塊（target modules）列表中吧：
config = LoraConfig(
r=8,
lora_alpha=16,
lora_dropout=0.05,
bias="none",)
![for in+邏輯表達式 生成迭代對象，最后轉化為列表 ——注意list是生成器轉化為列表，但[生成器]得到的就是一個列表，其中包含一個生成器元素](http://pic.xiahunao.cn/for in+邏輯表達式 生成迭代對象，最后轉化為列表 ——注意list是生成器轉化為列表，但[生成器]得到的就是一個列表，其中包含一個生成器元素)
