服務器使用vllm運行大模型,今天在Dify中使用插件LocalAI配置模型供應商后,使用工作流的時候,報錯:“Run failed: PluginInvokeError: {"args":{},"error_type":"ValueError","message":"User message content must be str"}”
場景:上傳文件后,然后再次提問機會出現錯誤如下:
剛開始懷疑是模型參數之類的問題,但是用ollama配置的模型就不會報錯。原因不明。于是改成使用Vllm插件重新添加模型供應商。
然后又可以開心的玩耍了。