检索

融合深度信息的人体属性自动提取装置和方法

文章来源:  |  发布时间:2012-10-09  |  【打印】 【关闭

项目概况 :

通过RGB-D摄像头(即可以同时获取场景的RGB信息和深度(Depth)信息的摄像头)实时采集场景的RGB图像数据和深度图像数据,利用本团队研发的视觉算法处理该数据,从而实时提取场景中所出现人物的属性,包括人的生物属性:如人体轮廓,身高,肩宽,性别等;人的服饰属性:如服装颜色,款式,是否携带行李等;人的行为属性:如移动速度,移动轨迹,站立/蹲下/躺下,以及跑、跳、接触、靠近等特定行为。这些算法模块可以固化到算法芯片中,并集成到RGB-D摄像头内部,算法分析结果通过有线或者无线网络进行传输,从而方便部署,并应用于各类实用视觉分析系统。

该技术主要应用在智能视觉监控领域,以及智能广告数字看板应用。目前,该领域的现有技术主要采用2D彩色摄像头作为视频采集设备,采集得到的RGB数据受光照条件影响严重,因而严重制约了现有智能视觉分析系统的性能,无法满足人们对视觉监控的智能化需求。同时,随着近几年深度摄像头制造技术的发展,深度摄像头无论成本还是性能,都有了大幅推进。因而,在该领域,引入深度摄像头以及RGB-D摄像头,融合深度信息和RGB信息来进行人体属性提取,可以大幅提升性能,为市场提供真正可以实用化的智能视觉分析服务和产品。

技术创新点:

RGB-D技术是利用RGB信息和深度(Depth)信息来解决机器视觉问题的技术。相对于传统的只利用RGB信息的2D图像分析技术,深度信息的加入,使目标分割更为鲁棒和准确,且更利于恢复3D场景信息,因而RGB-D技术为突破传统2D图像分析技术瓶颈带来希望,具有广阔的应用前景!

目前RGB-D技术主要应用在人机交互领域,但是在视觉监控领域还未涉足,其中尚有关键技术有待突破。我们的研究突破了深度摄像头在视觉监控应用中碰到的部分技术难题,从而推出融合深度信息的人体属性自动提取软件包,其性能远远超出目前市场上基于2D彩色摄像头的解决方案。我们的成果是RGB-D技术在智能视觉监控领域的开篇之作,目前国内外还没有同类产品出现,具有很强的创新性和实用性。

产学研合作状况:

目前我们在自主研发人体属性提取SDK,已完成其核心功能。我们还在进行软硬件集成,即将我们的视觉分析算法固化到摄像头内部的芯片中,从而推出软硬合一的产品。我们推出的人体属性提取功能包含人的生物属性,服饰属性,以及行为属性,目前部分属性提取功能正在与企业合作,将为其提供解决方案。具体合作状况如下:

人体靠近和接触行为检测系统(属于行为属性),与北京科计通公司合作,目前正在研发;

服饰分析系统(属于服饰属性),与韩国三星公司合作,目前已签署并完成第一笔合作协议;

智能数字看板应用(属于生物属性),与宁波中科公司合作,目前根据需求正在商讨技术方案。

市场化前景:

该技术可以应用在特定场景的智能视觉监控:可以统计通道内来往人流的人数以及相关人体属性数据,从而支持在监控视频流中基于属性的人物查找,如“查找身高在一米八左右,身穿黑色上衣、蓝色长裤,拖红色行李箱的人”;同时也可以针对某类特殊行为进行报警,如尾随,长时间停留,躺倒,接触物品等;另外,也可以应用在家庭、医院、博物馆、以及监狱里的特殊人员和特殊物品的看护。核心功能可以工作在任何光照条件下,不受干扰。该技术也可以应用在智能广告数字看板:通过在广告数字看板后方安装RGB-D摄像头以及本团队的算法模块,可以实时统计浏览广告看板的人数以及相关人体属性数据,从而为广告商提供浏览广告看板人群的全面统计信息,如人数,停留时间、性别、身高分布等。所有功能可以工作在任何光照条件下不受干扰。

潜在用户分析:

监控应用客户:政府公检法部门(特殊看护),自助银行(危险行为报警,找人,防尾随),智能病房(特殊行为报警),博物馆(接触物品报警),门禁出入口及通道(人流统计,防尾随,找人)等;

看板应用客户:广告看板制造商(如长虹),广告商,投放广告的公司等。

个人客户:通过安装我们的设备,实现家庭里的老人、小孩看护。

目前在智能视觉监控领域,普遍采用的是2D视频采集设备,其智能分析性能受光照条件影响强烈,因而市场上还没有真正稳定可靠的智能分析产品出现,目前的视觉监控只是起到录制视频供事后调查取证之用;在智能广告数字看板方面,目前还没有能够自动提取浏览者信息的智能产品出现,其原因也在于目前2D的智能分析技术还不够成熟。通过引入深度摄像头或者RGB-D摄像头,利用我们提供的算法模块,可以大幅提升视觉分析的智能,从而向市场提供真正可用的智能视觉分析产品和服务。我们相信,RGB-D摄像头会逐步取代现有市场上的2D摄像头,我们提供的算法包将会在这场技术变革中发挥核心作用,并带来巨大的商业价值。

预期效果:

目前我们基本完成前期研发的主要工作,功能优化、软硬集成、以及产品外观设计还需资金投入,大概需要100万元(30+50+20)。我们预计一套设备,包括一个RGB-D摄像头和内嵌的智能分析芯片,成本可控在0.1万元以内,基本与现有带红外的2D监控摄像头的售价持平。

我们的销售模式包括三种:其一是销售我们的软件,即融合深度信息的人体属性提取SDK;其二是销售我们的设备,即把我们的算法固化到RGB-D传感器的内部芯片内,成为智能视觉分析设备销售给客户;其三是销售我们的解决方案,即根据用户的需求制定方案,其中包括软硬件以及设备的部署。

合作方式:

技术入股加入门费、专利转让等。

Copyright © 中国科学院北京国家技术转移中心 All Rights Reserved 地址:海淀区中关村保福寺100号 邮政编码:100086
联系电话:010—62565301 传真:010—62653995 网址:http://www.nctt.ac.cn 邮箱:caszyzx@cashq.ac.cn