第三媒体软件中心软件网络资讯互联网资讯 → 阿里巴巴开源大型3D家具数据集 推动3D家居智能研究 TTL

阿里巴巴开源大型3D家具数据集 推动3D家居智能研究

上传:我心乱飞     来源:信息存储服务     日期:2020-03-30

[摘要]  
   与3月30日正式开源业界首个饱含纹理细节的大型3D家具数据集(3D-FUTURE),共同推动3D家居智能研究。并面向全球3D几何与视觉研究爱好者同步启动第一届阿里巴巴3D人工智能挑战赛暨IJCAI-PRICAI 2020 Workshop
 
[正文]    

   阿里巴巴淘系技术部与英国伦敦大学伯贝克学院Steve Maybank教授(Fellow of the IEEE and a Member of the Academia Europaea, the Koenderink Prize in 2008)、悉尼大学陶大程教授(Fellow of the IEEE, ACM and Australian Academy of Science)等国际知名学者合作,与3月30日正式开源业界首个饱含纹理细节的大型3D家具数据集(3D-FUTURE),共同推动3D家居智能研究。并面向全球3D几何与视觉研究爱好者同步启动第一届阿里巴巴3D人工智能挑战赛暨IJCAI-PRICAI 2020 Workshop。

  什么是3D-FUTURE?

阿里巴巴开源大型3D家具数据集 推动3D家居智能研究


  在过去十多年里,科学家们在3D视觉及几何的研究投入了巨大的努力,但是3D人工智能的工业落地任然困难重重,尤其是在家居家装行业。阿里巴巴淘系技术部协同躺平设计家也在持续不断地探索数字化家居建设。以真实家居场景为背景,定义了许多新问题,进行了大量的知识重建,并结合3D人工智能技术初步打造了场景化数字营销,推出了智能设计搭配服务。同时,在相关团队的技术研发过程中发现,海量的高质量3D模型与纹理,以及专业的房屋设计布局是推动未来数字化家居建设的基础。为了启发高质量3D模型理解与重建,并且建立学术研究与工业应用的桥梁。阿里巴巴针对家居场景开源大型3D数据集3D-FUTURE(3D Furniture shape with TextURE)。

阿里巴巴开源大型3D家具数据集 推动3D家居智能研究


  其初版包含20,000+高清室内场景专业设计渲染图,与10,000+精细的高质量3D家具模型及对应的高清且饱含信息的纹理,数据积累沉淀于阿里巴巴官方家装家居设计平台-躺平设计家。目前提供家具实例分割标注,完全真实的2D到3D的对准标注,以及专业的细粒度家具属性标注。阿里巴巴希望持续建设3D-FUTURE,不断为3D几何及视觉研究提供需求的标注以及新特征,包括但不限于已有数据扩充,完整房屋布局信息提供,3D模型分割标注等,以推进学术尖端科技的工业落地。

  为什么需要3D-FUTURE?

阿里巴巴开源大型3D家具数据集 推动3D家居智能研究


  当前大型开源3D数据集都存在一些不足,不足以支持工业级的3D模型重建与纹理恢复等领域的深入细致研究。首先,已开源数据集的大多数3D CAD模型(家具类) 都是从网上收集的,因此普遍存在细节缺失以及无纹理或纹理信息度低等问题,且没有多样专业的属性标签。针对此现象,3D-FUTURE提供多种不同风格且带有丰富细节的高质量3D家具模型,并配备了高清饱含信息的纹理以及多样化的属性标签。其次,目前学界暂无组织较好的大规模室内仿真图像数据集。3D-FUTURE通过最先进的工业3D渲染引擎,在专业设计师所设计的5,000多个场景中渲染产生了20,000+图像,填补了这一空白。最后,现有数据集只提供2D-3D伪匹配,即根据2D图中物体,人工从开源3D模型池里选择与之相似的3D模型作为匹配结果。这种标注过程极有可能忽视掉一些局部的形状细节特征,导致提供的2D-3D匹配结果并非完全一致。因此难以支持数据驱动的高质量三维重建以及高精度形状检索等相关3D研究。与之相比,3D-FUTURE提供的10,000+ 3D模型都是与2D渲染图中的物体真实配对的。我们相信,3D-FUTURE这些特性可以启发高质量3D模型理解和重建等领域的创新研究。

  阿里巴巴3D人工智能挑战赛暨IJCAI-PRICAI 2020 Workshop?

  阿里巴巴淘系技术部联合来自于悉尼大学、英国伦敦大学伯贝克学院、墨尔本大学、中国科学院计算所的顶尖学者举办基于3D-FUTURE的第一届3D人工智能挑战赛暨IJCAI-PRICAI 2020 Workshop。 3D几何与视觉研究是广受关注的基础研究领域,是建设未来3D智能世界必经之路。淘系技术部在人工智能国际顶级会议IJCAI-PRICAI举办workshop及竞赛,旨在总结目前最先进的3D几何与视觉技术,启发高质量3D模型理解与重建,并且建立学术研究与工业应用的桥梁。

  竞赛内容包括三个项目,分别是基于图片的3D模型推荐,基于单张图的3D模型重建,实例分割。信息如下:

阿里巴巴开源大型3D家具数据集 推动3D家居智能研究


  基于图片的3D模型推荐:在该项挑战赛中,参赛者被要求根据2D图片在给定3D池中检索出对应的3D模型。随着极速增长的3D模型数量,建立一个可靠的IBSR(image-based 3Dshaperetrieval)系统不管在工业界还是在学术界都非常重要。比如用户3D场景布局重建的基础就是根据2D图中物体,从大型3D池中找出对应的3D模型。该项竞赛最大的挑战是针对2D与3D是完全不同域以及表征信息的差距,提取具有域不变性且纹理抑制的的特征表示。我们希望参赛者能充分探索最先进的解决方案,并基于此设计出更加精准可靠的IBSR算法。另外,我们也期望通过这项比赛来促进具有鲁棒性的形状检索发展,即在图片中物体存在轻微遮挡以及具有复杂背景的情况下实现较高精度的检索。 我们将用TopK召回率以及TopK平均F-score作为主要性能衡量指标。

  基于单张图的3D模型重建:在该项挑战赛中,参赛者被要求从单张RGB图像重建对应的3D模型,这些图片主物体可能存在轻微遮挡以及少部分残缺。众所周知,3D模型的数量与质量是数据驱动的3D理解研究以及3D相关人工智能应用的基础,比如虚拟场景搭建。然而,目前海量的网络图片中的物体都没有或很难收集到对应的3DCAD模型。另一方面,目前工业界高质量3D模型生产效率很低,无法支持大规模高效生产。这项奖赛旨在总结目前最先进的单目图像3D重建方案,并启发工业级mesh表面细节重建的研究探索思路。Chamfer Distance(CD)以及F-score将作为重建结果质量的评价标准。

  实例分割:在该项挑战赛中,参赛者被要求对渲染的室内场景图进行实例分割。在训练集中,3D-FUTURE将提供场景图中部分物体所对应的带有纹理的3D模型作为辅助信息,期望能提升边缘分割精度。实例分割是学界的基础研究问题,也是室内场景理解的关键之一。高精度尤其是边缘鲁棒的实例分割不仅有利于启发高质量图像合成相关工业应用,例如有潜力部分取代昂贵低效的渲染过程,从而实现高效自动化用户室内搭配编辑生成;也有潜力大幅提升IBSR,3D重建等基础3D问题的效果。 该项挑战赛的评估指标为被广泛认可的Mask Average Precision (mAP)。

  附workshop及竞赛重要信息
  重要日程节点:
  3月30日竞赛开启报名,并开放部分示例数据集。
  4月03日开放完整训练集与验证集。
  5月31日开放相关测试集。
  6月05日竞赛结束。
  6月12日潜在优胜者报告提交截止日期。
  6月17日报告审核以及竞赛最终结果公开。
  7月13日3D-FUTURE Workshop at IJCAI-PRICAI 2020。

  优胜者奖励:
  第一名1500美金,第二名1000美金,第三名500美金。
  受邀请到国际人工智能顶会IJCAI-PRICAI 2020 Workshop进行报告。
  受邀合著Workshop报告。
  需要本次竞赛和数据集详情,请登陆「天池」官网了解。

   (新闻稿 2020-03-30)


频道首页 】【 评论 】 【 打印 】 【 字体:
   上一篇:瞬玩科技联合华为云 携众播互娱亮相华为开发者大会
   下一篇:汽车消费利好消息 北京现代率先重磅推出畅享蓝天计划
导航:报价 | 大全 | 排行榜 | 产品大全 | 参量 | 订阅 
 Advertisement
 十大最受关注的新闻
1  红魔9 Pro带来强悍稳定性能,彰显第三代骁龙8真正实力
2  卡萨帝电视好在哪? 一面画墙看出优势
3  DTC 2023|智慧屏显生态日臻完善,TCL华星大力推动显示产业升级
4  数码相机评测: 拍鸟新贵登场 松下LUMIX G9M2评测
5  为什么在这款硬核军武游戏中,人人都沉迷开箱?
6  《光·遇》二次联动网易云音乐 远没有你想的那么简单
7  0.6秒!手机跑Stable Diffusion创下最快速度,而这仅仅是开始
8  创牌实现逆增!马来西亚教授两次选择海尔冷柜
9  掰开安卓手机,满屏都是三个字:大模型
10  ISSB准则2024年生效,对中国ESG建设有哪些影响?
 十大热门驱动/软件下载
1  [手机驱动]手机usb万能
2  [热门常用软件]QQ2008正式版下载【腾讯QQ2008官方版Beta1】
3  [热门常用软件]E话通下载【E话通4.5 正式版】
4  [手机驱动]Samsung三星 手机USB驱动1.0版For Win98SE/ME/...
5  [手机驱动]Microsoft微软 ActiveSync同步软件4.5中文版Fo...
6  [摄像头驱动]万能摄像头 FOR Windows
7  [热门常用软件]皮皮播放器下载【PPFilm皮皮播放器 2.1.0....
8  [手机驱动]诺基亚 PC套件下载
9  [热门常用软件]面对面游戏下载【面对面视频游戏大厅】
10  [手机驱动]Microsoft微软 Windows Mobile Device Center ...
 十大最受关注的品牌
1  三星手机(SAMSUNG)
2  诺基亚手机(NOKIA)
3  华硕笔记本(ASUS)
4  摩托罗拉手机(MOTOROLA)
5  英特尔CPU(Intel)
6  华硕主板(ASUS)
7  LG手机(LG)
8  索爱手机(Sony Ericsson)
9  联想笔记本(lenovo)
10  宏碁笔记本(acer)
 十大热门常用软件下载
1  QQ2008正式版下载【腾讯QQ2008官方版Beta1】
2  E话通下载【E话通4.5 正式版】
3  皮皮播放器下载【PPFilm皮皮播放器 2.1.0.2版】
4  面对面游戏下载【面对面视频游戏大厅】
5  DVD解码器下载【NVIDIA DVD Decoder 1.02】
6  迅雷5下载【迅雷5.8.1.507官方版】
7  QQ2007 II正式版下载【腾讯QQ2007官方版本】
8  QQ2006正式版下载【腾讯QQ2006官方版本】
9  联众世界游戏大厅下载【联众世界2.7.0.8官方版】
10  MTV下载器【MTV下载精灵 8.31版】
11  pplive最新版下载【PPLive网络电视V1.9.35版】
12  迅雷(Thunder)下载【迅雷v5.7.12.493官方版】
13  腾讯QQ2008下载【腾讯QQ官方版2008极速贺岁版KB1】
14  Total Video Converter下载【Total Video Converter v3.1...
15  QQ拼音输入法下载【腾讯QQQQ拼音输入法V1.4.1版】
16  皮皮高清影视播放器下载【PIPIPlayer 2.7.0.3版】
17  eMule下载【电驴eMule官方v0.49a正式版】
18  极点五笔输入法下载【极点五笔6.1标准版】
19  QQ2009正式版下载【腾讯QQ2009 SP4官方版】
20  Vagaa哇嘎画时代版下载【哇嘎 2.6.5.10】
   >> 查看评论   
 
   >> 查看更多评论   [共有0条评论]
发表评论
        
        
   点评:
   姓名:  
            字数: 0
     
新闻精选
·小度推出添添智能健身镜S40,体积轻盈 小户型
·又一高端冰箱工厂投产!海尔智家继续拓展增长
·海尔智家为何又布局200万台高端冰箱产能?
·AMD年终大秀:MI300正面挑战英伟达,Lisa Su首
·极光闪达(SendCloud)牵手雨课堂 助其高效连
·元戎启行副总裁刘轩谈“人才战略”:只有先向
  ·AI引领未来 云天励飞荣获年度最具投资价值人
·淘宝年终好价节收官,用媒介创新撬动更多快乐
·群擎并举,众芯共魂,龙蜥立于云智融合潮头聚
·三年才颁一次的欧洲汽车大奖,选了神行超充电
·空间管理大师:宁畅B8000挑战冷板液冷极限
·雷军做客央视谈小米14系列热销 水到渠成,澎