点击右上角微信好友

朋友圈

请使用浏览器分享功能进行分享

正在阅读:值得买科技与人大高瓴人工智能学院首个多模态领域联合研究成果亮相CNCC2024
首页> IT频道> 今日头条 > 正文

值得买科技与人大高瓴人工智能学院首个多模态领域联合研究成果亮相CNCC2024

来源:央广网2024-10-26 18:51

  10月24-26日,2024中国计算机大会(简称CNCC2024)在横店举行。在24日的“AI+影视创作超级论坛”上,中国人民大学高瓴人工智能学院长聘副教授宋睿华围绕与值得买科技合作的首个研究成果《TiVA:Time-aligned Video-to-Audio Generation》(《TiVA:时序同步的视频到音频生成》)进行了主题演讲,具体阐述了该项技术能为内容创作所带来的突破性进展:除了提升AIGC内容生成尤其是声音生成方面的质量和智能化水平之外,也有望为AIGC内容生成带来更丰富的模态和更多想象空间。

  本次大会由中国计算机学会主办,是我国计算领域涉及面最广、规模最大、影响力最强的学术、技术、教育和产业盛会。大会以“发展新质生产力,计算引领未来”为主题,邀请图灵奖获得者、国内外院士、国内外计算机领域知名专家和教育家、企业家及专业人士汇聚一堂,共享学术新进展、应用新技术、创意新理念,分享创新成果、展望前沿趋势。

  据悉,此次的研究成果《TiVA:Time-aligned Video-to-Audio Generation》,在今年7月还被国际多媒体学术会议(ACM International Conference on Multimedia 2024,简称ACM MM 2024)录用,并被选为口头报告。该会议由国际计算机协会(ACM)发起,是多媒体处理、分析与计算领域最具影响力的国际顶级会议。同时,此次研究成果已获得国家发明专利授权(专利名称:音频生成方法、视频生成方法、装置、设备和介质,公开号ZL 202410613827.3)。

  早在2023年6月,值得买科技就与中国人民大学高瓴人工智能学院宋睿华团队达成合作,聚焦大模型、AI内容创作等相关内容研究。除TiVA外,双方还将在近期发布面向电商领域的共享基座检索增强架构(BSharedRAG)、多模态知识增强的视觉信息查询(MuKA)等多个AI研究成果。

  此次TiVA研究成果主要聚焦在多模态内容创作和交互领域。当前,视频和音频的同步生成一直是多模态内容生成的技术挑战,大多数现有方法主要关注匹配视觉和声音模态的语义,而无法在时间对齐上实现精确同步。值得买科技与中国人民大学宋睿华团队通过深入研究,提出了新颖的时序同步的视频到音频生成框架-TiVA,该框架通过音频布局的概念,实现了视频内容到音频的高质量生成。其核心在于音频布局的创新使用,通过低分辨率的Mel频谱图来提供粗略的音频结构布局,帮助模型更好地理解和预测声音的起始和结束时间,从而实现更精确的时间对齐。

  宋睿华具体阐释了TiVA的实现路径:通过新的音频信息表征形式Audio Layout,即极低分辨率的梅尔谱,来表示音频的粗粒度语义和时间信息。在一个无声视频中,可以先对其视觉语义进行编码并预测Audio Layout,然后利用语义编码和预测的Audio Layout作为条件信息,学习一个扩散模型生成音频。“各项客观和主观实验表明,我们的方法在生成质量、语义匹配和时间同步精度方面优于现有的SOTA方法。”宋睿华介绍。

  在TiVA、BSharedRAG、MuKA等整个创新框架研究的过程中,值得买科技为研究提供了必要的集群算力支持和高质量脱敏的数据支持;平台积攒的大量真实用户图文、视频等素材和全方位的用户行为,也帮助研究人员获取了真实的消费互联网验证场景。实验结果表明,TiVA在提高语义匹配和精确时间同步的同时,将生成速度加快了约40%。

  宋睿华在现场表示,合作的研究项目不仅在技术上取得了突破,更在学术研究和实际应用之间架起了一座桥梁。这离不开研究人员的专业和严谨,离不开值得买科技对学术研究的支持,相信这为学术界与产业界的合作树立了典范,“希望双方持续携手探索AI的新边界,为学术研究与创新应用带来更多价值”。

  作为技术驱动型公司,值得买科技始终坚持以先进技术提升供需两端的连接效率。值得买科技坚信,优质内容具有不可替代的价值,在消费领域,不仅体现在助力消费者高效决策,也能有效帮助品牌与平台建立用户认知与认可。为此,值得买科技始终坚持以内容为核心,以技术为驱动,而此次合作成果,正是以AI技术能力提升内容创作水平的有机结合。

  今年5月,值得买科技正式发布全面AI战略,不仅基于AI对现有业务、产品进行升级重塑,还利用AI重塑内容生产流程、不断提升内容生产能力和质量。在建设自身AI能力方面,值得买科技构建了由“1个大模型、2个数据库、3个引擎、4类应用”组成的AI产品矩阵;并将“什么值得买APP”升级为“AI原生的什么值得买GEN2”,打造成一个“基于用户的个性化兴趣,应用AI技术对全网消费内容进行搜集、分析、提炼、推荐的消费内容平台”,借助AI主动为用户提取和理解内容、商品、价格等消费信息,基于用户兴趣给到消费者真正的“答案”。而已上线的AI购物助手“小值”,能够在深度理解用户意图的基础上,总结全网实时消费经验与电商信息,提供口碑总结、商品对比、商品推荐、全网比价等服务。

  除了自身AI能力的持续提升,值得买科技还注重连接外部多领域合作伙伴,共建“AI+兴趣”双轮驱动的消费生态:在AI生态方面,与月之暗面、智谱华章、讯飞星火、MiniMax、腾讯云、百度云等通用大模型企业合作;在内容生态方面,与36氪、汽车之家、省广集团等进行合作;在产学研协同方面,与中国人民大学、南开大学、中欧国际工商学院、中央财经大学商学院等高校联合进行,共同探索AI创新协同新路径,近期与人大共同研究的两项AI创新成果也即将面世。

  未来,值得买科技将坚持全面AI战略,携手更广泛、更多领域的合作伙伴,共同探索AI在学术、技术、商业上的创新和应用,共同推动AI生态创新协同发展,为创造消费信息自由流动的美好世界做出贡献。

阅读剩余全文(

相关阅读

您此时的心情

光明云投
新闻表情排行 /
  • 开心
     
    0
  • 难过
     
    0
  • 点赞
     
    0
  • 飘过
     
    0

视觉焦点

  • 习近平同巴西总统卢拉共同签署联合声明

  • 习近平同巴西总统卢拉共见记者

独家策划

推荐阅读
11月12日至13日,浏阳市委常委、组织部部长、市家居建材产业链链长唐安石带队,市人大常委会党组副书记、副主任、市家居建材产业链副链长张葵红,市人民政府党组成员、副市长、市家居建材产业链副链长谢波等同志参加,赴广东省佛山市开展家居建材产业链招商考察活动。
2024-11-15 17:20
2024年11月12日,江苏省苏州市荷塘月色湿地公园内向日葵竞相绽放,吸引众多游客前来观赏,乐享秋日美景
2024-11-13 15:29
2024年11月12日,湖南省怀化市通道侗族自治县双江镇的烂阳村,山林色彩斑斓,红叶似火,黄叶如金,松柏常青,宛如大自然的调色盘
2024-11-13 15:28
南泥湾是中国军垦、农垦事业的发祥地,是“自力更生、艰苦奋斗”创业精神的发源地。
2024-10-27 17:37
延安地区拥有丰富的煤炭资源,在采矿井约40家,年开采量约5000万吨,但煤质坚硬、自动化程度低等难题严重制约着煤炭产业的发展。
2024-10-27 17:18
近日,在陕西延安举行的“弘扬延安精神,奋进伟大时代” 网上主题宣传系列访谈中,洛川青怡庄园生物科技有限公司副总裁肖小杰介绍,他们企业的苹果按个卖,一个可以卖到10元。
2024-10-25 18:49
堆积起来的生菌木材冒着热气儿,菌种生产厂房里机器轰鸣,滑子菇大棚里农民忙着收“金疙瘩”。
2024-10-25 18:43
你以为的农村是雨天泥泞,还是道路整洁?爬高上低,还是风景无限?高家原则将山体沟道治理作为城市有机更新和创建文明典范城市抓手,让山体沟道,环境大改善。
2024-10-24 18:11
近日,在陕西延安举行的“弘扬延安精神,奋进伟大时代” 网上主题宣传系列访谈中,延安大学经济与管理学院副教授、数字经济专业负责人王珊珊介绍,从卖苹果到卖服务,这是数字技术非常好的一个创新,和产业结合的非常有深度。通过消费者与大自然以及果树的亲密视觉接触,可以提升他们的体验感,增加对苹果这种产品的客户粘性和客户忠诚度。
2024-10-24 18:08
当陕北说书遇到延安美食,碰撞出延安独特的人文魅力。
2024-10-24 18:06
激昂的旋律回荡在空气中,豪迈的歌声飞扬于天地间。壮丽的情怀澎湃在心田里,不朽的精神传承于岁月中……
2024-10-24 17:59
小孩哥小孩姐把安塞腰鼓课间操跳得超燃!
2024-10-24 17:59
青山环绕、绿水蜿蜒,这是吴起南沟村给记者们留下的第一印象。谁能想到,这个位于陕西省延安市吴起县的小村庄,曾经风沙肆虐、植被稀疏。经过二十多年艰辛努力,光秃秃的黄土高坡绿意盎然。
2024-10-24 17:50
在宝塔区河庄坪镇政府的扶持下,延安菌舰生物科技有限公司采用“企业+合作社+农民”模式,带动400余人家门口就业,人均增收2000元。食用菌产业的蓬勃发展,不仅为农民带来稳定收入,更为乡村振兴注入活力。点赞延安菌舰,为农民增收,为乡村添彩!
2024-10-24 17:48
10月23日,“弘扬延安精神 奋进伟大时代”网上主题宣传媒体团来到了延安新材料产业园,亲身体验石墨烯发热背心,感受科技的温暖拥抱。
2024-10-24 11:18
近期,延安市薛张小流域水土保持项目碳汇交易成功!这不仅是一次生态保护与经济发展的双赢,更为延安乡村振兴注入了新的活力!
2024-10-24 11:16
10月22日,“弘扬延安精神 奋进伟大时代”网上主题宣传媒体团来到了位于延安市安塞区南沟村的苹果基地,在这里记者们亲身体验苹果采摘,倾听果农的心声。同时,记者团还开展了一场特别的直播带货活动,助力果农销售苹果。此次活动不仅展现了果农的辛勤付出,也让更多人了解到延安苹果的魅力,为乡村振兴贡献了一份力量。
2024-10-24 11:07
10月23日,“弘扬延安精神 奋进伟大时代”网上主题宣传“逐梦之路”媒体采访团走进延安宜川县,追寻“悬崖造林队”的故事。
2024-10-24 10:27
陕北说书最近火爆出圈,董宇辉在直播中表示向往陕北文化,想成为一个陕北说书人。这一段陕北说书,带你行走在延安的绿水青山间。
2024-10-24 10:21
近日,在陕西延安举行的“弘扬延安精神,奋进伟大时代” 网上主题宣传系列访谈中,延安数据(集团)有限责任公司董事长高延宏介绍,延安的地域特点适宜建立算力中心,要把平台搭建好,把更多的企业引到延安,建立归属在延安的算力中心,更好的服务延安、服务陕西。
2024-10-24 10:18
加载更多