二、任務場景
2.1. 無條件生成
無條件生成是指生成模型在生成圖像時不受任何額外條件或約束的影響。模型從學習的數據分布中生成圖像,而不需要關注輸入條件。
2.2. 有條件生成
有條件生成是指生成模型在生成圖像時受到額外條件或上下文的影響。這些條件可以是類別標簽、文本描述、特定屬性等。有條件生成廣泛應用于需要模型理解并滿足特定條件的任務。例如,給定文本描述,生成與描述相符的圖像;或者在生成特定類別的圖像時,提供類別標簽。
2.2.1. 類別條件生成
類別條件生成是非常常見的一種場景,也有許多相關的任務,其中 ImageNet 是最常見的一種,ImageNet 常用于圖像分類任務,每個圖像都有一個類別標簽,總共有 1000 個類別。在圖像生成領域,可以指定對應的類別標簽,然后讓模型按照類別生成圖像。
如下圖所示為基于 ImageNet 訓練后,按類別生成的圖像結果(來自 ViT-VQGAN):
DALL-E、Stable Diffusion 等 20+ 圖像生成模型綜述