苹果的计算机视觉团队开发的虚拟键盘 可在任何桌面上呈现

时间:2019-4-9 分享到:

早在今年3月,苹果公司就发布了一份名为“苹果公司队伍一项关于未来虚拟现实键盘的专利”的报告。这项专利主要的意思就是,在未来,用户们不需要实体键盘,只需要戴上头显,然后在任何桌面上都可以投射出虚拟键盘,就比如说航空公司的下拉托盘都作为虚拟键盘。与传统笔记本键盘不同,这款新型的虚拟键盘将为用户提供在公共空间工作的私人空间。

苹果的计算机视觉团队开发的虚拟键盘 可在任何桌面上呈现

  为了开发一款精确度比较高的虚拟键盘,苹果公司一直在研究开发先进的计算机视觉技术。在这项专利申请中,苹果电脑视觉和机器学习主管Daniel Kurtz解释了如何利用基于深度的触摸检测系统,研发下一代虚拟键盘和鼠标技术。Daniel Kurtz于2015年因为苹果收购Metaio来到苹果,他表示这种形式的触摸检测也可能适用于未来的VR游戏。

苹果的计算机视觉团队开发的虚拟键盘 可在任何桌面上呈现

  收购Metaio两年后,苹果在2017年全球开发者大会上推出了AR技术。其软件高级副总裁Craig Federighi演示了如何用iPhone将虚拟的物体放在面前的桌子上。他首先是把一个虚拟咖啡杯放在桌子上,然后在咖啡杯旁边加了一盏灯,当他移动台灯时,我们看到咖啡杯的影子甚至会实时移动。苹果团队现在所做的不仅仅是在用户面前展示AR物体,而是更进一步,让用户能够实时与AR物体进行交互。

  而苹果专利的主要重点是与虚拟键盘进行实时交互,但我们想象这一下,这项发明或许还可以增强VR游戏的互动性,想象一下,在游戏中开门,驾驶汽车,拿武器,与敌人激战这些动作都可以更加真实,而不是只是按Xbox或PS4上的按钮。如果苹果团队能及时将这项技术推向市场,那么潜力将是巨大的。还有苹果的TrueDepth相机,在很多方面也会起到很重要的作用。

  专利背景

  Daniel Kurtz首先简要说明了一下现有系统的不足,然后解释了苹果的这项发明是如何克服基于深度的虚拟触摸检测中的某些问题。首先,他指出,检测到用户的手指何时接触到真实的环境平面,可以使用户和硬件系统(例如计算机或游戏系统)之间实现更直观真实的交互。

  使用相机进行触摸检测比使用嵌入式传感器(如电容式传感器)有很多优势。此外一些现代数码设备,如头戴式设备(HMD)和智能手机都配备了视觉传感器,包括深度相机,比如苹果的所有iPhone X型号上的TrueDepth相机。目前基于深度的触摸检测方法可以使用深度相机来测量相机和手指之间以及相机和表面之间的距离。

  一种方法有缺点就是不能应用于动态场景。另一种方法可以首先识别手指,然后从指尖中心开始填充邻近的像素,这样当填充足够时,就可以检测到触摸。但是由于这种方法没有考虑对像素深度数据标准化,因此很容易出错。另一种方法是,根据预先计算好的参考系、对手部轮廓的分析和深度曲线的拟合来确定的。

  这些方法都需要预先定义阈值来区分触摸和非触摸条件,还有就是要考虑到距离,当手指距离平面10毫米或以下时,可表示触摸。

  专利:基于深度的触摸检测

  苹果的发专利涵盖了以下概念,首先是提供一种基于深度的触摸检测方法,用于获取表面场景的深度图,深度图包含多个值(例如,深度图可以来自深度传感器以及一个或多个光学相机);识别深度图的第一区域,识别对象(例如,该对象可以是手指、手写笔或其他光学不透明对象);根据第一区域识别深度图的表面区域,(例如,该表面可以是平面的或非平面的)。最后根据获得输出,当输出表示物体与表面接触时,执行第一个肯定性操作(如执行与“鼠标点击”相对应的操作)。

  上面所述触摸检测操作可帮助改进接受非键盘输入的计算设备或系统的功能。可以通过使用任意的表面(例如桌面或其他表面)来进行输入操作,而不用传统的键盘和其他设备(例如鼠标或手写笔)。通过改进传统输入方式,可以进一步改进计算机系统的功能,用户可以在任意环境下使用键盘。

苹果的计算机视觉团队开发的虚拟键盘 可在任何桌面上呈现

  下面的苹果专利数据说明了基于深度的触摸检测操作的各个方面信息。苹果的专利图3A是流程图形式,关于触摸检测操作。

苹果的计算机视觉团队开发的虚拟键盘 可在任何桌面上呈现

苹果的计算机视觉团队开发的虚拟键盘 可在任何桌面上呈现

  这项由美国专利局公布的苹果专利申请最初是在2017年第三季度提交的。考虑到这是一项专利申请,目前还不清楚该技术是否能够实现以及上市的时间。

关键字:苹果  虚拟键盘  计算机视觉

编辑:鲁迪 引用地址:http://www.eeworld.com.cn/szds/2019/ic-news040814845.html
本网站转载的所有的文章、图片、音频视频文件等资料的版权归版权所有人所有,本站采用的非本站原创文章及图片等内容无法一一联系确认版权者。如果本网所选内容的文章作者及编辑认为其作品不宜公开自由传播,或不应无偿使用,请及时通过电子邮件或电话通知我们,以迅速采取适当措施,避免给双方造成不必要的经济损失。

上一篇:27寸2K!EIZO发布全新显示器:色域完美
下一篇:最后一页

苹果的计算机视觉团队开发的虚拟键盘 可在任何桌面上呈现
关注eeworld公众号
快捷获取更多信息
苹果的计算机视觉团队开发的虚拟键盘 可在任何桌面上呈现
关注eeworld服务号
享受更多官方福利

推荐阅读

苹果公司正在与京东方商谈,或成为第三个OLED供应商

苹果最大的LCD供应商JDI(Japan Display)已确认,本周将接受近10亿美元的投资,以提高其OLED产能。据报道,7.2亿美元的投资来自一个外部投资集团(据传是中国丝绸之路基金),另外的2.7亿美元来自JDI与日本政府之间的再融资协议。该公告发布后,JDI股价上涨超过10%。 多年来JDI依靠苹果的订单活得非常滋润,但由于苹果公司已转向OLED并减少了LCD订单,因此该公司最近面临艰难时期。预计苹果公司将在2019年或2020年完全放弃LCD显示屏,这有可能使JDI在还没有大规模生产OLED的情况下停业。据报道,苹果公司正在与京东方商谈,为其OLED面板增加第三个供应合作伙伴,目前苹果的OLED屏订单是由三星
发表于 2019-04-08

苹果的计算机视觉团队开发的虚拟键盘 可在任何桌面上呈现

什么原因导致苹果AirPower项目被抛弃?

对于苹果的产品,很多人的印象就是贵。不仅仅是手机,就连苹果的配件也是很多人难以消费的。之所以苹果的产品贵,是因为苹果产品有着超高的品质,以及严格的要求,所以苹果的每一代新品上市之后都会成为大家竞相模仿的对象。这也让我们认为只要苹果想做的产品,一定会做到最好,而且基本上没有苹果搞不定的。但是现在还真出现了苹果搞不定的产品。  早在2017年,苹果就介绍一款产品AirPower,这款产品可以为多款苹果产品进行无线充电。当时苹果表示这款产品会在2018年的某个时间推出,结果却是一直跳票。关于AirPower跳票的原因此前传闻很多,有表示称技术问题的,还有称以为商标问题的。但是没有人会认为这款产品不会上市。&nbsp
发表于 2019-04-08

苹果的计算机视觉团队开发的虚拟键盘 可在任何桌面上呈现

苹果寻求三星合作被拒,5G合作步履艰难

近两年,跌落神坛的苹果发展似乎没有早前顺利:先是iPhone在中国市场的销量不佳,尽管后来其接连的“降价促销”策略让销量有所回升,但口碑大不如前;在历时两年与高通的专利诉讼败诉,苹果赔付大笔罚金;还有近期苹果自信满满推出的流媒体服务业务,也不被看好。有消息称,苹果在日前与三星洽谈5G基带芯片供应被拒…… 如今4G网络基本普及,5G时代刚刚拉开帷幕,各大手机厂商都在暗自发力,试图在5G技术上拔得头筹。 华为或许是最先站在5G时代“C位”的企业,根据金融时报此前的报道,华为在5G技术、商用和产业上,均处于绝对领先,整体领先业内其他设备商一年以上,是目前行业内唯一能提供端到端5G全系统的厂商。 据台媒《电子
发表于 2019-04-04

苹果的计算机视觉团队开发的虚拟键盘 可在任何桌面上呈现

苹果专利建议在自动驾驶汽车底部安装传感器

据外媒报道,几乎所有的驾驶员都需要依靠汽车速度里程表来了解行驶速度,以及汽车移动的总体感觉,从而知道是否自己应该多加注意。而驾驶员在潮湿或结冰的路面与在干燥路面上驾驶时,处理方式会不同,虽然驾驶员可能希望车辆以特定的方式正常行驶,但是在此种情况下,为了达到预期效果,可能不得不过度转动方向盘。再加上轮胎柔度、轮胎尺寸、温度、压力和汽车负载等等可变因素,驾驶就成为一项更加艰难的任务。不断变化的天气和路况对于自动驾驶汽车系统来说,也是一个问题,虽然自动驾驶汽车系统配备了非常多的安全系统,以确保车内人员不受伤害。目前用于确定道路相对速度的系统包括车轮编码器、惯性传感器和GPS信号检测,但是苹果公司认为还远远不够。惯性传感器易受有噪音
发表于 2019-04-03

苹果的计算机视觉团队开发的虚拟键盘 可在任何桌面上呈现

实时了解路况 专利显示苹果开发Apple Car新型雷达系统

在上一个月,Titan项目的四项专利陆续问公布,涵盖了包括光纤照明系统在内的一系列新系统,作为汽车导航系统和夜间传感系统的一部分,而且大灯和尾灯的功率是传统大灯的三倍。最近美国专利局授予了苹果公司第四项专利。这项专利主要是关于苹果的电子稳定控制系统,可以测量所谓的滑移速度,保持车辆稳定并在不同路况下安全行驶。苹果公司授予的专利编号10247816,名为“测量滑移速度的仪器和方法”。这项专利涉及车辆的物理控制。在车辆动力学中,滑移是指轮胎与行驶的路面之间的相对运动。滑移由轮胎的转速大于或小于自由滚动速度引起,也可以由轮胎的旋转平面与其运动方向成一定角度(称为滑移角)引起。为了帮助大家更好地理解这项专利,苹果提供了一个关于这项
发表于 2019-04-03

苹果的计算机视觉团队开发的虚拟键盘 可在任何桌面上呈现

从特斯拉离职的工程副总裁或将出任苹果高级工程总监一职

职场社交平台LinkedIn上更新了Michael Schwekutsch的新去向,这位三月初宣布从特斯拉离职的工程副总裁,加入了被外界普遍认为是肩负造车重任的苹果SPG部门,出任高级工程总监一职。 这已经不知道是苹果从特斯拉挖走的第几位员工了,特斯拉 CEO Elon Musk曾经开玩笑表示,苹果是特斯拉的人才回收站。此番挖走的Michael Schwekutsch是一名资深的动力总成专家,在过去十年一职专注于电动动力系统。 随着Michael Schwekutsch的加盟,苹果正在完善其造车的核心团队搭建,去年8月份,被誉为特斯拉二号人物的Doug Field加入苹果,全面负责苹果汽车业务;去年12月
发表于 2019-04-03

苹果的计算机视觉团队开发的虚拟键盘 可在任何桌面上呈现

版权所有:https://www.shgopi.cn 转载请注明出处