站长之家（ChinaZ.com）4月20日 消息:Nvidia公布了其基于Stable Diffusion 模型开发的文本转视频模型—— Nvidia Video LDM。Nvidia通过对现有模型的微调，大大减少了生成视频的过程和时间。
该模型增加了一个时间维度，可以在多个帧上实现时间对齐的图像合成。该团队训练了一个视频模型，以512x1024像素的分辨率生成几分钟的汽车行驶视频，在大多数基准测试中达到SOTA。
注：图片来自Nvidia Video LDM项目截图
【资料图】
除了这个与自动驾驶研究特别相关的演示之外，研究人员还展示了如何将现有的Stable Diffusion 型转换为视频模型。
该团队在微调步骤中用视频数据短时间训练Stable Diffusion，然后在网络中每个现有空间层后面添加额外的时间层，并用视频数据对其进行训练。此外，该团队还训练了时间稳定的放大器，以根据文本提示生成1，280x2，048分辨率的视频。
以 Stable Diffusion 作为视频模型的基础，团队无需从头开始训练新模型，可以从现有的能力和方法中获益。例如，尽管使用的 WebVid-10M 数据集仅包含真实世界的视频，基于底层的Stable Diffusion模型，该模型也可以生成艺术视频。所有视频的长度都在3.8到4.7秒之间——具体取决于帧速率。
研究团队还该展示如何使用 Dreambooth 对视频模型进行个性化设置。，生成包含不属于原始训练数据的对象的视频。这为内容创作者开辟了新的可能性，他们可以使用 DreamBooth 进行视频创作。
注:Dreambooth 是对整个神经网络所有层权重进行调整，会将输入的图像训练进 Stable Diffusion 模型，它的本质是先复制了源模型，在源模型的基础上做了微调（fine tunning）并独立形成了一个新模型。
Nvidia Video LDM项目页面上有更多示例，不过该模型目前尚未对外开放。
项目网址:https://research.nvidia.com/labs/toronto-ai/VideoLDM/
（举报）
标签：
Nvidia公布了其基于Stable+Diffusion+模型开发的文本转视频模型——+Nvidia+Video+LDM。Nvidia通过对现有模型的微调，大大减少了生成视频的过
近日，上海社科中心联合“学习强国”上海学习平台等单位举办了“社科少年成长营”活动，来自沪上26所中小学的30多位营员参与
海口网4月20日消息（记者史子杨通讯员吴昊陈思琪）4月20日，海南离岛免税政策实施迎来12周年。据海口海关统计，海南离岛免税政策自2011年4月20
1、法人独资企业是一种企业形式，是指法人出资经营、归法人所有和控制、由法人担经营风险和享有全部经营收益的企业。2、主要盛
鲁中网淄博4月19日讯为进一步加强食堂管理，提高食堂从业人员的综合素质，确保园所食品安全、卫生、规范，4月18日下午，桓台县唐山镇薛庙幼儿
西安公租房选房顺序是固定的，不能更改变化，选房按照已有的顺序决定。一、高新公租房选房规则西安高新区保障性住房建设管理中心集中组织小区
党史教育进校园红岩精神永相传, 延吉新闻网4月20日讯（记者王朔）4月19日，北山街道丹岭社区关工委联合北山街道关工委、北山街道新时代文明
【中国人民银行：多措并举促进房地产市场平稳运行】中国人民银行今天（20日）在一季度金融统计数据新闻发布会上，中国人民银行货币政策司司长
四月暖阳大作战版本灿烂登场，超多精彩活动上线，快来一起快乐嗨翻天！
解读新商业的财经新媒体,报道资本市场,解读上市公司,追踪财经热点,专栏入驻开放平台
极简待办app怎么用极简待办使用教程,
人民银行4月20日公告称，为维护银行体系流动性合理充裕，2023年4月20日人民银行以利率招标方式开展了340亿元7天期逆回购操作，中标利率为2 00%
强化安全意识，严守安全红线
宝宝百日宴长辈送百个花馒头祝福：最大的超过8斤,原标题：宝宝百日宴长辈送百个花馒头祝福：最大的超过8斤，宝宝母亲：仪式结束后亲戚朋友把馒
中新社台北4月19日电台湾水情持续严峻，据台当局“水利署”即时水情统计，主供嘉义、台南地区灌溉用水的全台最大水库曾文水
把握正确舆论导向，关注百姓生活，侧重报道社会生活中的知识性、趣味性、服务性新闻；突出新闻性、可读性、实用性。在继承、发扬品牌优势的基
r76800h目前是市面上主流的处理器，主要应用在游戏本和轻薄本中，搭载了r76800h的笔记本电脑在续航和性价比中是用户的第一手选择。但也有很多
1、上海2、旅顺3、天津4、大同5、温州6、宁波7、无锡8、海口9、开封10、重庆。本文到此分享
不得不说，如今广东这个打法已经成为了CBA的常态化战术，因为这个战术确实高效，而且也不需要太搭配阵容，之前在CBA的外援接受国外媒体采访时
4月19日，*ST中昌股价再次跌停，至此已录得连续11个跌停板，是近期连续跌停次数最多的股票。截至4月19日收盘，公司股价已连续9个交易日低于人
4月19日下午，“国家发展改革委与美在华跨国企业高层圆桌会——粤港澳大湾区站”在穗举行。此次活动由国家发展改革委国际司与广州市政府共...
在热门游戏霍格沃兹之遗里许多玩家可能都还不清楚《霍格沃兹之遗》变形学庭院收藏箱位置一览是什么呢？接下来本站就整理了相关信息策略给大家
中国农科新闻网是农业科技报社顺应网络时代新媒体发展趋势，在三农领域倾心打造的集资讯、互动、网上展示于一体的全媒体平台。
在工厂里割断左手中指上节应获赔多少钱？
今天来聊聊关于高手下山我不会武功但我是仙，先天罡气是一种什么样的武功的文章，现在就为大家来简单介绍下高手下山我不会武功但
集微网消息，据国家发改委网站今（19）日发布，发言人孟玮表示，在推进高水平对外开放、积极利用外资方面，国家发改委接下来将重点做好研究合
北京时间4月20日，据《TA》报道，曼城准备为刚刚签约不足一年的哈兰德提供一份新合同，一方面要将其当前的40万镑周薪继续上调，以褒奖哈兰德本
日前，海关总署发布《2023年1至3月全国出口重点商品量值表（人民币值）》，数据显示，3月份，我国未锻轧铝及铝材出口量、出口额同比降低；钢材
险资一季度净买入债券现券5510亿元利率债、“二永债”是大头
德国大众汽车在华投资10亿欧元将引进国产车先进技术
Copyright © 2015-2022 每日服装网版权所有 备案号：浙ICP备2022016517号-15 联系邮箱：5 146 761 13 @qq.com
意大利海空军F-35战机同时登上加富尔号航母 
