AIGC相关深度学习基础模型、出现时间及主要特点

深度学习模型

出现时间

特点

Diffusion

2020 年

1.通过增加噪声破坏训练数据来学习，然后找出如何逆转这种噪声过程以恢复原始图像。

2.经过训练，该模型可以应用这些去噪方法，从随机输入中合成新的“干净”数据。

GPT-3

2020 年

1.具备 1750 亿参数量的超大规模的自然语言深度学习模型，训练文本数据量高达 45TB。

2.减少了对标签数据的过分依赖，在没有模型精调的情况下也能在下游的任务中表现良好。

CLIP

2021 年

1.进行自然语言理解和计算机视觉分析。

2.使用已经标注好的“文字-图像”训练数据。一方面对文字进行模型训练。另一方面对图像进行另一个模型的训练，不断调整两个模型内部参数，使得模型分别输出的文字特征值和图像特征值并确认匹配。