模型推理

現在，我們的模型應該能夠針對輸入的任何短句生成類似尤達大師風格的句子作為回應。

該模型要求其輸入格式規范。我們需要構建一個 “消息” 列表 —— 在這個案例中，就是來自用戶的消息 —— 并通過提示表明輪到模型進行輸出，以促使其做出回答。
add_generation_prompt參數的作用正在于此：它會在對話的末尾添加<|assistant|>，這樣模型就能預測下一個詞，并持續預測直到生成<|endoftext|>標記為止。
下面的輔助函數會按照對話格式組合一條消息，并對其應用聊天模板，同時在末尾附加生成提示。

  def gen_prompt(tokenizer, sentence):converted_sample