CogView3-Plus 是由智谱技术团队推出的图像生成模型,它是 CogView3 的 DiT 版本。在CogView3(ECCV'24)的基础上引入了最新的 DiT 框架,以实现整体性能的进一步提升。CogView3已将代码、模型和技术报告开源,模型已经发布在始智AI wisemodel开源社区,wisemodel社区上也已经提供了CogView3的镜像,可以通过创建开发环境来使用CogView3模型了。
01
使用CogView3-Plus-3B-Deploy镜像直接运行
cd /home
cd CogView3
cd inference
进入inference路径之后直接执行:
CogView3-Plus-3B服务正常启动
通过notebook的操作也基本类似。
02
使用基础镜像重新开始安装部署
创建开发环境部署,进入wisemodel的“算力”模块,选择3090-24G-PCIe,点击“创建开发环境”。CogView3-Plus生图大概占用20GB左右的显存。
分别填写好“中文名称”、“英文名称”,选择好”开发环境标签“、“选择镜像”、“资源配置”和“模型文件”后,具体选择可以参考图中红框内容,点击下一步。
选择好“停止时间”后,点击“提交订单”。
开发环境此时创建完成。需要注意右上角,等待20秒左右会变成绿色的启动成功,状态变成“运行中”。
此时,我们可以选择使用SSH进行开发,或者使用notebook进行开发,此处我们提供notebook的教程。
进入notebook后,点击Terminal,打开终端。
进入开发环境之后,可以先执行nvidia-smi查看一下GPU相关的信息。
可以发现目录下包括code、dataset和model三个文件夹,进入code文件夹,从github上下载CogView3仓库文件。进入CogView3文件夹,可以发现仓库文件已经被下载到code文件夹中。
进入inference文件夹中,可以发现文件夹中有一个requirements.txt文件。使用pip install -r requirements.txt安装推理所需要的python库。(速度慢可切换pip的清华镜像)
同时,我们可以在wisemodel的“服务端口”中申请端口,并且将得到的端口信息填到gradio_web_demo.py文件最后一行中。
将得到的端口信息填到gradio_web_demo.py文件最后一行中。
此时,如果我们运行python gradio_web_demo.py会发现遇到以下问题:
经查,发现是环境中的torchvision版本过低,安装0.19.0版本的torchvision解决问题。
使用命令pip install torchvision==0.19.0。之后我们再运行python gradio_web_demo.py。
可以发现,模型能够正常加载。
用浏览器打开““服务端口”中的“域名地址”,输入prompt,即可生成图像。生成一张图像大概需要1分钟左右。
加入图像生成群
整理:开源共创志愿者 潘佳栋
wisemodel相关
系统升级
关于wisemodel更多