大家好,今天继续和大家分享科技圈最近发生的那些事儿!
一、女博士 OnlyFans 创业
这事看着还挺离谱...
美国一位名叫扎拉·达尔(Zara Dar)的计算机科学女硕士因放弃攻读博士学位,转而全职经营 OnlyFans 平台,成功赚取百万美元并还清学生贷款。
她拥有计算机和生物学位,曾在 YouTube 上创建频道讲解神经网络、机器学习、梯度下降等知识:
Zara Dar 在德克萨斯大学取得计算机硕士学位后,继续攻读计算机科学博士学位。
起初只是把 OnlyFans 当副业,但随着收入的逐渐增长,她选择退学全职经营。
这一决定让她在短时间内赚取了 100 万美元,并还清了家里的抵押贷款。
二、ColorFlow
对于喜欢画漫画的人来说,给黑白线稿上色,是一项既耗时又需要高超技巧的过程。
好在AI算法不断更迭,这样的工作交给AI,可以极大提高工作效率。但目前的AI在处理线稿序列的时候,可控能力还是有些差的,一方面是很难保持角色颜色的一致性,另一方面是配色天马行空,生成的作品可能不是最合适的。
为了解决上述问题,清华大学联合腾讯提出了ColorFlow,一个全新的图像自动上色方法!
ColorFlow是一个基于扩散的三阶段框架,不同于现有需要对每个身份进行微调或显式身份嵌入提取的方法,是一种新颖且具有高度通用性的检索增强上色流程,用于对图片进行相关色彩参考的上色。
具体的实现流程分为三步:增强检索流程(Retrieval-Augmented Pipeline,RAP)、上下文内上色流程(In-context Colorization Pipeline,ICP)和引导超分辨率流程(Guided Super-Resolution Pipeline,GSRP)。每个部分都很重要,它们共同保证了在黑白图像序列中,物体的颜色保持一致,同时实现高质量的上色效果。
ColorFlow也和其他的工作进行了对比,可以看到最左侧是原始图像,第二列是黑白图像,参考图像即为原故事已有的色彩图像,可以看到ColorFlow生成的作品,还原度和艺术感非常高。
如果你感兴趣的话,可以访问 ColorFlow 的主页自行体验一下。
官方地址:
https://zhuang2002.github.io/ColorFlow
在线体验Demo:
https://huggingface.co/spaces/TencentARC/ColorFlow
三、MEMO
我在今年七月份介绍过Echomimic,仅需一张图片 + 一段音频,就能生成一段数字人视频。
https://mp.weixin.qq.com/s/KdgsIbDW1Sfp-JP0vSLNGg
现在,比Echomimic更自然更具表现力的算法出现了,那就是MEMO,是由Skywork、南洋理工大学和新加坡国立大学共同推出的音频驱动肖像动画框架。
这是官方主页上提供的demo示例,音唇同步保持的很好,整体很生动自然。
MEMO是一个端到端的音频驱动扩散模型,用于生成身份一致且富有表现力的对话视频。MEMO主要有两个组件:参考网络(Reference Net)和扩散网络(Diffusion Net)。MEMO的主要贡献在于扩散网络中的两个关键模块:记忆引导的时间模块和情感感知音频模块,它们共同作用从而实现音视频同步并生成自然的表情。
MEMO 支持英语、普通话、西班牙语、日语、韩语和粤语等多种语言。如果你感兴趣的话,可以访问 MEMO 的主页自行体验一下。
官方地址:
https://memoavatar.github.io/