豆包大模型再造爆款：抖音“AI绘本特效”播映超11亿
发表时间：2024-10-13 23:57:26 来源：车辆NVH
国庆期间，抖音上一款名为“AI治好绘本”的特效招引了数百万用户投稿。该特效采用了动态绘本的拟物玩法，初次使用了3D立体翻书的办法，奇妙地将首张用户图作为书皮出现，玩法新颖风趣。到现在，依据该特效投稿的“成为绘本里的温暖主角”线亿。
雷峰网(大众号：雷峰网)了解到，“AI治好绘本”特效底层使用了字节跳动豆包大模型的图画生成才能，技能团队经过多项自研算法，确保了模型有更好的风格呼应度、画面漂亮度，让风格化作用更赋有表现力，而且更大程度复原了人物面部特征、服装样式、色彩、配饰等主体特征，在“美且像”的维度上取得了杰出的作用。
为出现更好的交互办法，技能团队使用了自研的主体抹除、扩图才能，对风格化作用图进行后处理，使得多张作用图能够在端上进行切换。上述过程中应用到的IP坚持技能 RealCustom 和 AI扩图和AI消除技能ByteEdit，两项作用别离当选CVPR2024和ECCV2024。
RealCustom是一种个性化定制技能即IP坚持，关于恣意敞开域物体或人物 IP 均可完成无需微调的实时定制化生成，在AI绘本中首要起到坚持输入图片特征的作用。
不同于以往风格化特效顶用的图片特征坚持办法， RealCustom不只仅能够复原图片的细节特征，还具有对图片的笼统语义了解，然后能够依据文本输入自适应地做出改变，并生成更调和的作用。
为了更好的复原主体外观，RealCustom 使用了多个层次的图片信息交融，为了让视觉信息跟文本信息能更好的交融，RealCustom 经过自适应模块学习了视觉条件与文本条件之间的对齐才能，并依据不一起间的状况精确地推导出相应的视觉条件。然后能对用户多种多样的输入做出自适应的处理，在确保美观的风格化作用的一起，安稳的坚持图片特征。
特效顶用到了AI扩图和AI消除的才能，其间AI消除是指消除图画中指定的某个物体或区域，并依据周围的布景来填充消除方位的内容；AI扩图则依据指定的扩展份额来延展原图画的内容。这两个使命本质上都是依据已知图画的内容去填充周围的区域，要点在于怎么让填充的内容和原图没有违和感。
为了到达这个意图，首要，技能团队增大了练习数据量级，让模型「看到」更多泛化场景。此外，ByteEdit 提出了一种立异的结构，使用反应学习来增强生成性图画编辑使命。ByteEdit 经过集成图画奖赏模型来提高美学质量、图画与文本的一致性，并引进密布的像素级奖赏模型以增强输出的一致性，让期望填充的区域和非填充区域愈加的调和。此外，提出了一种对抗性和渐进式反应学习战略，以加快模型的推理速度。
除此之外，“AI治好绘本”特效能支撑用户上传多张图，在做才能布置时，技能团队针对该场景独自做了一套多服务并行逻辑以及功能加快战略，最大极限保证了在流量高峰期时，能够在最短时刻之内将风格化作用图、后处理作用图等顺畅返回到端上。端上获取多张作用图后，技能团队依托自研的书本3D运动和暗影跟从算法，对书内各个物体的运动曲线进行参数自动化调整，在模仿书本翻页以及内页跳出的过程中，暗影作用能够随册页天然移动，更大程度保留了册页翻动的立体感与天然感，边际的暗影过渡相对流通。
国庆期间，抖音特效团队上线了同样是温暖治好系的“金秋绘本风特效”，特效投稿已超百万，相关线亿。
2024我国非公有制企业500强陈述出炉：民企成科学技能立异重要主体 互联网职业研制投入抢先
AsiaBill联合创始人冯援：做风控过于急进，当心会被反噬丨出海百人谈
出海不是救命稻草，我国品牌出海先做好亏掉100万美金的预备｜出海百人谈
