当前位置:首页 >  科技 >  IT业界 >  正文

美图与清华合作推出最大规模教程类行为数据集COIN

 2019-03-08 16:58  来源:互联网  我来投稿   A5西瓜的个人主页 撤稿纠错

  各种互联网项目,新手可操作,几乎都是0门槛

近日,美图公司社交产品事业群视觉算法组与清华大学自动化系智能视觉实验室合作,推出了业界最大规模教程类行为数据集COIN(COmprehensive INstructional video analysis),该论文已被计算机视觉与模式识别会议CVPR 2019录用。

教程类行为视频(Instructional Video)可以帮助使用者获取完成各种行为任务的知识,但是现有教程类行为视频数据集在规模性和多样性都存在较大的局限性,难以应用于现实生中的复杂场景。为此,美图公司社交产品事业群视觉算法组与清华大学自动化系智能视觉实验室合作提出了名为COIN的大规模教程类数据集,用于更全面的教程类行为视频分析。

COIN数据集采用分层结构,即第一层是领域(Domain)、第二层是任务(Task)、第三层是步骤(Step),其中包含与日常生活相关的11827个视频,涉及交通工具、电器维修、和家具装修等12个领域的180个任务,共778个步骤。

COIN数据集的分层结构

COIN数据集的设计人员还开发了创新性的标注工具,可以更高效更准确地标注视频行为的步骤信息。此外,为了给数据集提供更准确的基准指标,数据集开发人员还使用了SSN、R-C3D等评价方法对COIN数据集进行了测评。

COIN数据集的步骤定位准确率分析

目前,COIN数据集是业界规模最大、多样性最丰富的教程类视频数据集。该数据集在标注结构上采用分层的组织结构,涵盖了多种不同类型的教程类视频。该数据集的提出,给复杂场景下视频动作时序定位(temporal localization)等问题的研究提供丰富的数据资源,有望加快推动视频行为分析与理解等相关领域的研究。

美图公司社交产品事业群视觉算法组,是美图社交化的重要算法团队之一。随着“美和社交”战略的发布,美图秀秀从过去的纯图片处理软件转变为社区平台。视觉算法组通过人工智能/深度学习算法,理解图像和视频内容中的语义信息,为社区中推荐、搜索、反作弊和垃圾过滤等提供有力的技术支撑。帮助用户处理图片的同时,增加社交功能及软件活性。

数据集链接:https://coin-dataset.github.io

相关标签
美图公司

申请创业报道,分享创业好点子。点击此处,共同探讨创业新机遇!

相关文章

  • 让人深恶痛绝的弹窗广告,是否已无存在的必要?

    12月4日,《人民日报》刊载了一篇题为《弹窗广告不能想弹就弹》的评论文章。文章批评了弹窗广告肆意妄为,影响上网者的心情和工作效率,还会导致木马植入、信息诈骗等一系列问题的出现。文章指出,治理弹窗广告平台责无旁贷,优化行业生态形成管理标准才是“治本”之策。

    标签:
    弹窗广告
  • 有了它,再也别想偷走我的鸡!

    小时候的农村老家里总有一条大黄狗,在那个年代,大黄狗是保卫家庭平安的卫士。不仅在白天人们忙农活的时候要看家护院,在晚上,大黄狗还肩负着看守鸡栏和猪圈的任务,不让人或者是黄鼠狼偷走鸡,也不让老鼠来惊扰小猪们的睡眠。时间一年一年的过去,大黄狗老了,再也没法警惕地面对一切异常的景象。

    标签:
    中国电信
  • 年末给家里最好的礼物是?

    初雪悄然而至,隆冬的气氛也愈发浓郁,不知不觉又到了一年年末,相信不少和我一样在大城市努力打拼事业的朋友们对家的思念也加重了。一年到头,我们回家的机会可以说是如数家珍。心里的思念日渐浓重不说,还十分操心家里人的日常生活。

    标签:
    中国电信
  • 高品质严要求,三只松鼠每日坚果真正的爆款产品

    面对新零售的模式,休闲零食食品领域被大家认为最具有前景和发展潜力的行业,因此不少人纷纷加入其中,三只松鼠作为从业多年的休闲零食品牌,也慢慢从单品类品牌转向全品类零食品牌。

    标签:
    三只松鼠
榜单

热门排行

信息推荐

扫一扫关注最新创业资讯