Spring AI 系列之二十二 - ImageModel

之前做個幾個大模型的應用,都是使用Python語言,后來有一個項目使用了Java,并使用了Spring AI框架。隨著Spring AI不斷地完善,最近它發布了1.0正式版,意味著它已經能很好的作為企業級生產環境的使用。對于Java開發者來說真是一個福音,其功能已經能滿足基于大模型開發企業級應用。借著這次機會,給大家分享一下Spring AI框架。

注意由于框架不同版本改造會有些使用的不同,因此本次系列中使用基本框架是 Spring AI-1.0.0,JDK版本使用的是19
代碼參考: https://github.com/forever1986/springai-study

目錄

  • 1 Spring AI 的 ImageModel
    • 1.1 ImagePrompt
    • 1.2 ImageResponse
  • 2 示例演示

上一章講了一個非常重要的EmbeddingModel,這一章來講講ImageModel。

1 Spring AI 的 ImageModel

前面提到聊天模型和嵌入模型時,都說過Spring AI封裝了一個ChatModel和EmbeddingModel,所以關于圖像模型,Spring AI 同樣封裝了一個ImageModel接口,為了統一各個模型供應商的封裝。下面是ImageModel的源碼:

import org.springframework.ai.model.Model;@FunctionalInterface
public interface ImageModel extends Model<ImagePrompt, ImageResponse> {// 返回圖像ImageResponse call(ImagePrompt request);
}

可以看到ImageModel 非常簡單,就是只有一個方法call用于調用大模型的API,并返回圖像。但是關于call方法,需要關注的是其參數ImagePrompt和返回值ImageResponse。

1.1 ImagePrompt

關于ImagePrompt,它包括兩個重要部分:ImageMessage和ImageOptions:

  • ImageMessage:這個參數包括一個提示語和一個權重值,提示詞當然就是提示生成圖片的提示語,而權重值則需要模型能夠支持權重設置的模型才起作用
  • ImageOptions:這個是配置選項,包括:模型、生成幾張圖片、高度、寬度等等信息,當然這個也是需要模型本身支持某些配置選擇才行。比如可以看一下智譜實現的ZhiPuAiImageOptions,里面僅僅包括設置模型,并沒有其它配置選項。

1.2 ImageResponse

關于ImageResponse,它包括兩個重要部分:ImageGeneration和ImageResponseMetadata:

  • ImageGeneration:繼承自 ModelResult 類,用于表示輸出響應(也就是圖片)以及關于該圖片的相關元數據。這是一個list,也就是支持多張圖片生成(如果模型允許的話)
  • ImageResponseMetadata:該對象用于存儲有關人工智能模型響應的元數據。

2 示例演示

代碼參考lesson18

示例說明:這里使用智譜的免費圖像模型CogView-3-Flash進行圖片生成演示

1)關于如何找圖片大模型,可以去各大模型平臺上面找,比如下面是在智譜官方的文生圖模型

在這里插入圖片描述

說明:這次選用CogView-3-Flash,因為免費。。。

2)新建lesson18子模塊,其pom引入如下:

<dependencies><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-web</artifactId></dependency><dependency><groupId>org.springframework.ai</groupId><artifactId>spring-ai-starter-model-zhipuai</artifactId></dependency>
</dependencies>

3)配置application.properties文件

# API KEY
spring.ai.zhipuai.api-key=你的智譜模型的API KEY

4)新建演示類ImageModelController:

import jakarta.servlet.http.HttpServletResponse;
import org.springframework.ai.image.ImageMessage;
import org.springframework.ai.image.ImagePrompt;
import org.springframework.ai.image.ImageResponse;
import org.springframework.ai.zhipuai.ZhiPuAiImageModel;
import org.springframework.ai.zhipuai.ZhiPuAiImageOptions;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.http.MediaType;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RequestParam;
import org.springframework.web.bind.annotation.RestController;import java.io.IOException;
import java.io.InputStream;
import java.net.URI;
import java.net.URL;@RestController
public class ImageModelController {private final ZhiPuAiImageModel imageModel;@Autowiredpublic ImageModelController(ZhiPuAiImageModel imageModel) {this.imageModel = imageModel;}@GetMapping("/ai/imagegenerate")public void generate(@RequestParam(value = "message", defaultValue = "生成一只老虎!") String message, HttpServletResponse response) throws IOException {ImageResponse image = this.imageModel.call(new ImagePrompt(new ImageMessage(message)// ZhiPuAiImageOptions參數可以設置模型、圖片數量、圖片大小等信息,這里必須是圖像模型, ZhiPuAiImageOptions.builder().model("cogview-3-flash").build()));// 返回的URLString url = image.getResult().getOutput().getUrl();// 將URL轉為Stream輸出到HttpServletResponseURL imageURL = URI.create(url).toURL();InputStream inputStream = imageURL.openStream();response.setHeader("Content-Type", MediaType.IMAGE_PNG_VALUE);response.getOutputStream().write(inputStream.readAllBytes());response.getOutputStream().flush();}}

5)新建啟動類Lesson18Application:

import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;@SpringBootApplication
public class Lesson18Application {public static void main(String[] args) {SpringApplication.run(Lesson18Application.class, args);}}

6)演示效果:

http://localhost:8080/ai/imagegenerate

在這里插入圖片描述

結語:本章介紹Spring AI的ImageModel,包括其源碼、參數和返回值。同時也通過示例演示如何訪問智譜的圖像模型,可以看出Spring AI對于圖像模型也是封裝了一個非常簡便的ImageModel,讓用戶無需關心底層的訪問邏輯。下一章將繼續講非聊天大模型之音頻大模型。

Spring AI系列上一章:《Spring AI 系列之二十一 - EmbeddingModel》

Spring AI系列下一章:《Spring AI 系列之二十三 - AudioModels》

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/pingmian/90327.shtml
繁體地址,請注明出處:http://hk.pswp.cn/pingmian/90327.shtml
英文地址,請注明出處:http://en.pswp.cn/pingmian/90327.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

Redis集群高可用與性能優化實戰指南

Redis集群高可用與性能優化實戰指南 一、業務場景描述 在大型分布式系統中&#xff0c;Redis不僅承擔緩存職責&#xff0c;還常用于限流、排行榜、會話管理等高并發場景。隨著訪問量的激增和集群規模的擴展&#xff0c;如何保證Redis服務的高可用性與高性能&#xff0c;成為后端…

基于SpringBoot+Vue的高校特長互助系統(WebSocket實時聊天、協同過濾算法、ECharts圖形化分析)

“ &#x1f388;系統亮點&#xff1a;WebSocket實時聊天、協同過濾算法、ECharts圖形化分析”01系統開發工具與環境搭建前后端分離架構項目架構&#xff1a;B/S架構運行環境&#xff1a;win10/win11、jdk17前端&#xff1a;技術&#xff1a;框架Vue.js&#xff1b;UI庫&#x…

于縱橫交錯的矩陣間:二維數組與多維數據的默契和鳴

大家好啊,我是小象?(?ω?)? 我的博客:Xiao Xiangζ????? 很高興見到大家,希望能夠和大家一起交流學習,共同進步。* 接著上節課的內容,這一節我們來學習二維數組,學習二維數組的概念和創建,明白二維數組的初始化,學會不完全初始化,完全初始化,按照行初始化的…

SHA-3算法詳解

SHA-3&#xff08;Secure Hash Algorithm 3&#xff09;是美國國家標準與技術研究院&#xff08;NIST&#xff09;于 2015 年發布的新一代密碼哈希算法標準&#xff0c;其核心基于比利時密碼學家團隊設計的Keccak 算法。SHA-3 的誕生旨在應對 SHA-1 和 SHA-2 系列算法可能面臨的…

前端筆記:同源策略、跨域問題

只有前端才會有跨域問題后端不受限制 一、什么是“同源策略”&#xff08;Same-Origin Policy&#xff09; ? 定義&#xff1a; 瀏覽器的 同源策略 是一種 安全機制&#xff0c;限制一個源的 JavaScript 訪問另一個源的資源&#xff0c;以防止惡意網站竊取用戶敏感信息。 ? “…

java通過com進行pdf轉換docx丟失

使用&#xff0c;通過com調用&#xff0c;發現pdf轉換成docx后&#xff0c;沒有看到docx輸出到指定目錄。直接說解決方案:關閉的保護模式即可&#xff0c;打開工具&#xff0c;編輯->首選項 找到安全性(增強)&#xff0c;關閉啟動時啟用保護模式關閉后&#xff0c;docx正常輸…

SQL基礎? | 視圖篇

0 序言 本文將系統講解數據庫中視圖的相關知識&#xff0c;包括視圖的定義、作用、創建&#xff08;單表、多表、基于視圖創建&#xff09;、查看、更新、修改與刪除操作&#xff0c;以及視圖的優缺點。 通過學習&#xff0c;你能夠掌握視圖的基本概念&#xff0c;理解何時及如…

移動云×華為昇騰:“大EP+PD分離”架構實現單卡吞吐量跨越式提升!

在面向下一代AI基礎設施的關鍵技術攻關中&#xff0c;移動云與華為昇騰計算團隊深度協同&#xff0c;實現了大模型推理引擎的架構級突破。雙方基于昇騰AI基礎軟硬件平臺&#xff0c;針對DeepSeek大模型完成了大規模專家并行&#xff08;Expert Parallelism&#xff0c;簡稱“大…

配電自動化終端中電源模塊的設計

配電自動化終端中電源模塊的設計 引言 配電終端設備的可靠性和自動化程度,直接影響到整個配電自動化系統的可靠性和自動化水平。由于配電終端設備一般安裝于戶外或比較偏僻的地方,不可能有直流電源提供,因此,配電網終端設備的直流供電方式成為各配網自動化改造中必須要研究…

性能測試-groovy語言1

課程&#xff1a;B站大學 記錄軟件測試-性能測試學習歷程、掌握前端性能測試、后端性能測試、服務端性能測試的你才是一個專業的軟件測試工程師 Jmeter之Groovy語言Groovy簡介為何性能測試中選擇Groovywindows下載Groovy進入官網配置環境變量Groovy的數據類型groovy的保留字字符…

天邑TY1613_S905L3SB_安卓9-高安非-高安版-通刷-TTL線刷固件包

天邑TY1613_S905L3SB_安卓9-高安非-高安版-通刷-TTL線刷固件包刷機說明&#xff1a;本固件為TTL刷機方式&#xff0c;需要準備如下工具&#xff1b;電烙鐵TTL線刷機優盤TTL接觸點位于處理器左側&#xff0c;從上往下數第二腳GND、3TXD、4RXD跑碼工具-【工具大全】-putty跑碼工具…

【硬件-筆試面試題】硬件/電子工程師,筆試面試題-7,(知識點:晶體管放大倍數計算)

目錄 1、題目 2、解答 3、相關知識點 晶體管的電流分配關系 直流電流放大系數\(\overline{\beta}\) 交流電流放大系數\(\beta\) 晶體管的放大條件 總結 【硬件-筆試面試題】硬件/電子工程師&#xff0c;筆試面試題匯總版&#xff0c;持續更新學習&#xff0c;加油&…

力扣-152.乘積最大子數組

題目鏈接 152.乘積最大子數組 class Solution {public int maxProduct(int[] nums) {int[] dpMax new int[nums.length]; //包括nums[i]的乘積最大值int[] dpMin new int[nums.length]; //包括nums[i]的乘積最小值int res nums[0];dpMax[0] nums[0];dpMin[0] nums[0];fo…

HTTP/1.0、HTTP/1.1 和 HTTP/2.0 主要區別

一句話總結 HTTP/1.0: 短連接&#xff0c;每次請求都需要建立一個新的 TCP 連接&#xff0c;性能較差。HTTP/1.1: 長連接&#xff0c;默認開啟 Keep-Alive&#xff0c;連接可復用&#xff0c;解決了 1.0 的大部分問題&#xff0c;是目前使用最廣泛的版本。HTTP/2.0: 二進制、多…

Navicat 17.3 正式發布 | 現已支持達夢、金倉和 IvorySQL 數據庫

&#x1f680;&#x1f680;&#x1f680; Navicat 很高興地宣布&#xff1a;Navicat 17.3 版本正式發布。此次更新包含多項突破性功能&#xff0c;包括新增對達夢、金倉和 IvorySQL 等數據庫的支持&#xff0c;全面強化 AI 功能并新增阿里通義千問等 AI 大模型&#xff0c;同…

前端性能新紀元:Rust + WebAssembly 如何在瀏覽器中實現10倍性能提升(以視頻處理為例)

前端性能新紀元&#xff1a;Rust WebAssembly 如何在瀏覽器中實現10倍性能提升&#xff08;以視頻處理為例&#xff09; JavaScript&#xff0c;作為 Web 開發的基石&#xff0c;是動態的、靈活的&#xff0c;但在性能上&#xff0c;它也存在著天生的“軟肋”。對于那些計算密…

Web前端:JavaScript find()函數內判斷

&#x1f3af; find是什么&#xff1f;find() 是 JavaScript 數組&#xff08;Array&#xff09;提供的一個內置方法&#xff0c;用于在數組中查找第一個滿足條件的元素。簡單來說&#xff1a;它像偵探一樣遍歷數組&#xff0c;找到第一個符合條件的成員就返回它。?? 核心作用…

MySQL詳解三

MySQL詳解三事務ACID特性原子性一致性隔離性持久性事務的隔離級別讀未提交(Read Uncommitted)讀已提交&#xff08;Read Committed&#xff09;可重復讀&#xff08;Repeatable Read&#xff09;串行化&#xff08;serializable&#xff09;MVCC聚集索引的隱藏列read view鎖全局…

ABQ-LLM:用于大語言模型的任意比特量化推理加速

溫馨提示&#xff1a; 本篇文章已同步至"AI專題精講" ABQ-LLM&#xff1a;用于大語言模型的任意比特量化推理加速 摘要 大語言模型&#xff08;LLMs&#xff09;在自然語言處理任務中取得了革命性的進展。然而&#xff0c;其實際應用受到巨大的內存與計算開銷的限制…

kafka的shell操作

Kafka 提供了豐富的 shell 命令工具&#xff0c;位于 Kafka 安裝目錄的 bin/ 目錄下&#xff08;Windows 系統為 bin/windows/&#xff09;。這些命令用于管理主題、生產者、消費者、分區等核心組件。以下是常用的 Kafka shell 操作大全&#xff1a;一、主題&#xff08;Topic&…