一、目标

通过AI的生成能力,开发出工具可通过文字、草图方式生成人脸、物品、场景。

二、算法

2.1 语义分割算法

需要对数据集进行语义分割,后续算法需要对应的分割数据集。

论文解读:语义分割论文解读-Deeplab系列

工具:PaddleSeg官方教程

2.2 文字生成真实场景

目前算法比较多,有些算法依赖未开放的数据集(GPT-3),DALL-E 2.0和Parti。

开源的算法CLIP:文字匹配图片

TODO:调研

2.3 语义图生成真实场景

开源的算法有:

StyleGAN2: 动漫类型目标图片,莫奈画风图片

GauGAN:高分辨率图片,比如宣传画

2.4 大厂的算法解读

从CLIP到场景图

三、项目开发

分类: 未分类