欧博APP手机版注册开户AI自动生成国风视频欧博APP手机版注册开户AI自动生成国风视频，两分钟带你梦回大唐，两分钟带你梦回大唐

河南卫视去年春晚的舞蹈《唐宫夜宴》爆火出圈, 央视虎年春晚舞蹈《只此青绿》同样爆火出圈, 它们令无数人梦回大唐, 只因有着“风吹仙袂飘飖举, 犹似霓裳羽衣舞”的美妙。近日, 在美国波士顿举办的科技峰会EmTech Digital上, 有一支中国风视频受到与会者瞩目, 他们纷纷感叹中国传统文化具有巨大魅力。

更受关注的是, 有那么一支两分钟技术演示视频, 它名为“虎年春晚上的中国文化”, 它那是依托大模型技术由AI自动生成的, 其背后技术源于百度研究院的智能视频合成平台VidPress。为了能更好地展现“国风”, 有这样一个由VidPress自动化制作的视频, 它的画面不但生动丰富起来, 还采用中国传统乐器古筝当作背景音乐, 并且配上自动语音合成的解说来进行生动解读。

EmTech数字科技峰会上, 百度有位美国研发中心副总经理李幸, 作为现场唯一被邀的中国科技公司代表, 在一场演讲当中, 详细解读了VidPress后的技术。VidPress是被百度研究院催生出的, 是业界开始有的支撑多用途的可以大规模生产的智能视频合成平台, 用户只要在系统里输入新闻图文内容链接一下, 就能够全部地自动操控好视频的生成的流程事项, 整个制作流程全部结束, 需要的时间是只达到几分钟这样情况。

VidPress原理揭秘，五大步骤实现图文自动转视频

VidPress的工作原理跟剪辑师制作视频的步骤存有相似的地方: 最先要准备文字脚本, 接着要去收集媒体素材, 之后把素材处理成视频片段, 把脚本配音跟视频予以对齐, 最终开展编辑与检查。借助AI技术, VidPress能够达成文字分析与摘要、视频内容搜索、素材智能化处理、音视频对齐, 以及智能剪辑等五个步骤的自动化。

诸如输入某条新闻事件的链接这类图文内容后, 平台会借助多个自然语言处理模型, 对文字内容予以分析, 经过文字摘要模型, 它可自动生成一篇字数满足要求且契合视频呈现的解说词, 借助百度文字转音频服务（TTS）合成解说词语音, 通过语义理解模型, 平台辨别故事里的关键信息, 涵盖主题、段落主旨、核心人物或者机构等。

随后, 平台会依据对原文的理解, 借助自有视频库以及精准搜索能力, 智能化聚合最新且最适宜呈现的内容, 还会从同一主题相关新闻里抽取更多的素材及其语义表征, 以此充分保障素材内容的丰富度与相关性。对于收集到的视频素材, 平台基于图像识别、视频内容理解等计算机视觉技术进行进一步的解析与理解, 自动剪切并精选视频素材。

将故事里的每一句话当作一个搜索目标, 去寻找相应的视频片段加以拼接, 这是一种很直接的处理方式, 然而对于音视频对齐剪辑而言, 它属于关键的一步。用户切实关注的是故事里的关键点, 在技术领域被称作兴趣锚点（anchor point）。借助VidPress特有的时间轴对齐算法, 从文本里选取出兴趣锚点, 接着对媒体片段与兴趣锚点进行相关度打分, 把优质媒体片段优先放置到时间轴, 并且结合恰当的素材搭配组织, 从而确保视频的整体观感以及用户兴趣能够持续被激发。在时间轴生成完毕这个情况之后, 数据被转交给渲染器, 进而生成一个完成了的视频。

菲律宾菲龙网官网

文心大模型对VidPress起到助力作用, 在此基础上, 为AIGC智能创作展开想象空间大门。

VidPress运用了诸多自然语言处理方面的技术, 来针对图文内容展开分析, 并且, 这些技术是离不开百度文心大模型给予的支持的。

去年12月之时, 百度跟鹏城实验室一块儿发布了双方共同去研发的全球首个知识增强千亿大模型, 也就是鹏城 - 百度·文心, 其模型版本号为ERNIE 3.0 Titan , 模型参数规模达到了2600亿, 它是目前全球最大的中文单体模型, 致力于去解决传统AI模型泛化性差问题, 还强依赖于昂贵的人工标注数据, 以及落地成本高等应用难题, 并且会降低AI开发与应用门槛。

深圳这座城市里的百度·文心, 于机器阅读理解、文本分类、语义相似度计算等六十多项任务当中, 收获了最为理想的成效, 并且极大程度地刷新了小样本学习任务的基准。VidPress平台的文本摘要以及语义分析模型, 皆是依据文心大模型训练所产生的结果。

另外, 存在着名为VidPress事物, 其采用了文心跨模态大模ERNIE-ViL。通过一种叫作飞桨深度学习平台分布式训练领先优势状态或情况, 百度公司的某个ERNIE-ViL出现了首次这般行为与经历, 它把场景图即Scene　Graph这种知识融入到多模态预训练事件当中。并且, 这个ERNIE-ViL的这项所作所为呀是有成果表现的, 它曾在中国乃至世界范围内5项多模态任务项目成果区域去刷新为最好效果状态之举。接下来再看, 这种文心跨模态大模呀还能够开展对有关媒体片段呢与所谓存在的一个兴趣点之间的相关度得出打分分数动作及行为, 可以从中去查找发现、找到比较契合相关故事的那部分与片段, 事情就是讲的这样子。

它在视频素材检索方面, 以及内容质量提升方面, 有着源自百度积累多年的视觉技术, VidPress凭借智感超清作为基础来进行画质提升, 依靠多模态预训练大模型进而实现语义理解。它秉持着领先同时实用的理念, 百度视觉技术在近年来已经获得40余项世界冠军, 相关专利在申请量方面处于中国第一, 质量方面也是中国第一, 获得行业、政府以及国家认可达到10余次, 视觉公有云能力在IDC/Forrester等评选中连续多次位居市场第一。

来自, EmTech Digital科技峰会的主办方, 麻省理工科技评论的高级AI编辑Will Heaven评价说, 人工智能正变得越来越多模态, 语言人工智能和视觉人工智能正在以一种非常酷的方式结合在一起, 百度的视频生成系统VidPress充分融合了人工智能最具代表性的各个模型, 是跨模态AI的代表应用。

当下, AIGC也就是人工智能内容生产, 正演变成越来越具重要性的新型内容生产方式, VidPress图文转视频身为其中关键部分, 未来会以更大规模、更优状况服务于用户, 这不但会提高效率, 还会开拓出更多内容创作的想象空间。

文章来源:https://baijiahao.baidu.com/s?id=1729531205314539743&wfr=spider&for=pc