- Tesseract SDK 正式发布,打破兼容壁垒支持GSXR标准
- 来源:VRPinea
4月30日,众多开发者翘首以盼的Tesseract SDK alpha 0.5版本(内测版)在影创科技官网正式发布,并将保持每两周更新一次的频率。该SDK支持GSXR标准,打破兼容性问题壁垒,将大大提高开发与适配效率,共同推动XR行业的发展。让我们一起来看一下,Tesseract SDK alpha 0.5都有哪些亮点?
https://developer.shadowcreator.com/sdk/sdkDownload可下载SDK(文末点击阅读全文可转跳改链接)。
本次发布的Tesseract SDK支持GSXR这一国内最规范、参与厂商最多的标准。原先,不同厂商提供的SDK普遍存在一个兼容性的问题,为了使同一XR内容跨硬件平台实现快速发布,中国移动基于此推出了GSXR标准。GSXR标准是一套API,将通用的硬件操控接口进行标准化定义,使得行业开发者在开发应用时能调用标准化的交互能力。硬件厂商的设备只需要兼容此标准,后续将可以直接运行基于支持此标准的SDK开发的应用,无需进行SDK移植与发布。这些接口的标准化与能力的提升,可以使XR内容在适配不同硬件时更加灵活,提高开发与适配效率,势必极大提升XR行业的发展速度。
影创科技集团和趣立科技,都是第一批大力践行推广GSXR标准的企业。基于Tesseract SDK开发的应用将直接适配影创科技后续推出的所有MR产品以及趣立科技服务的硬件厂商的设备,打破生态壁垒,将碎片化现状向着统一技术标准逐渐进行整合。
大家都很期待持久化对象的功能可以在XR设备上实现,但是目前大部分的XR设备都不支持该功能,只有Magic Leap和HoloLens 2能较好地实现该特性。
现在好消息来了,Tesseract SDK支持持久化对象功能,虽然在alpha 0.5版本中它能实现的功能非常有限,但是,已经足够让你脑海中很酷的创意转变为出色的应用了。
现有功能如下:
i、地图采集重建
鸿鹄的地图数据依靠纯视觉采集,你只需要正常在环境中步行,就能高效地完成采集,生成稀疏点云地图,让你开发出充满想象力和个性的应用。当然,为了向你提供更好的场景转换能力,我们会逐步过渡到稠密点云输出。
ii、地图定位识别
目前鸿鹄在识别预存场景时,整体场景重置时间小于150ms,位移误差厘米级别,整体角度小于1度。虽然现在缓存地图只能保存一张,但我们会在后续的版本更新中开放更多的本地缓存地图。
当前版本存在的问题:
由于我们使用了完整的后端大地图,使得整个系统虽然可以保存大范围的地图,并且进行对象持久化和重新定位,但是,运算量也大幅度增加了,这会导致更高的功耗和略差的性能。此外,由于当前版本没有前端优化器(local BA),这会使得定位经常出现小范围的跳变以及一些漂移感。上述问题,将会在不久后的版本中彻底解决(可能是之后的1-2个更新)。
大家都在JIMO上体验过全自由度的手势功能,这也是目前国内XR设备中最为先进的手势体验。现在,在Tesseract SDK中,手势有了长足的进步,不仅多了许多新的交互特性,延迟也已经降低到100ms附近(我们还在持续优化当前的算法,100ms已经是市面上最接近Oculus Quest 2的产品,不过Oculus Quest 2刚发布了60fps版本的手势追踪,这使得延迟更低了,我们也会继续努力哒)。
相比JIMO,Tesseract SDK中的手势有如下特点:
i、手部射线定位
相比JIMO以头部为中心对手势进行小范围的定位方式来说,Tesseract SDK中的手部射线完全是以手的姿态为基准的定位。这使得手部交互更加方便,我们不需要把手抬得太高就可以进行大部分的功能操作。
ii、低延迟和ATW
如上所述,我们已经把手部延迟降低到了100ms左右,并且加入了ATW功能使得当头部和手部同时运动的时候,手部的姿态会远比没有加入ATW时准确得多。
iii、更多的状态判定
我们增加了更多不同状态的手势的事件大家可以在MRTK的应用中测试这些交互体验。
当前版本存在的问题:
在某些光照环境下,可能会出现手势识别的误检。我们已经认为误检非常少了,但是依然会存在。所以非常希望大家能够给我们更多的数据(可以通过开发者论坛bbs.movisionxr.com提交当前的误检环境的照片)以帮助我们提供更鲁棒的手势系统。我们还在继续优化延迟,但可能不会立刻发布,因为我们需要更多时间和环境的测试。
6DoF手柄是XR交互中十分重要的外设,对于Oculus Quest的成功它几乎是决定性的,现在已经几乎成为了VR设备的标配。但我们没有看到太多的MR设备标配6DoF手柄。Magic Leap虽然有磁力6DoF手柄,但是不够稳定,尺度精度不高,且延迟很大;HoloLens 2、Nreal等设备索性就没有6DoF手柄。
Tesseract SDK提供了标准的6DoF手柄接口,鸿鹄也支持两种不同规格的手柄(使用同一套SDK开发就可以)。由于开发进度原因,目前鸿鹄设备只支持大手柄的6DoF功能,但是它的延迟效果、精度和鲁棒性都达到了不错的状态,几乎可以比肩Quest系列。
Mini手柄将在今年夏天晚些时候发布,由于SDK的兼容性,大家可以先使用大手柄进行内容的开发创作。
持久化对象功能虽然十分令人兴奋,但是也只能作为单机地图进行保存,无法作为大规模联机设备使用(假设有一个商用场景,例如工厂,我们不可能让每一台设备都去对工厂进行一次建图,这会耗费大量人力,而且不能确保每台设备所建立地图的一致性)。因此,云地图给了很好的解决方案,使用专业设备建立一次性的高精度地图,并存储在云端服务器中,本地的眼镜终端可以利用云端大地图进行定位,带来更好更快的定位效果。
当前版本存在的问题:
当前版本只支持非实时的地图构建(虽然这已经很棒了),但是如果多人要在一个陌生环境中进行协作的话,这显然是很不方便的。因此我们正在开发实时的云地图构建系统,未来可以由任意一台设备进行云地图的构建并且实时共享给其他设备。
另外,2021 Qualcomm XR 创新应用挑战赛第五期在线公开课将于今晚上线。本次公开课由林国森(影创科技)、张童(趣立科技)和李文亮(Unity3D资深工程师)主持。本次课程课内里包含了影创XR设备介绍、SDK快速入门教程及行业应用,以及趣立赛道Sonic VR开发机适配方案。感兴趣的小伙伴千万不要错过今天晚上的直播课哦!
大佬说→HTC汪丛青 | 《牧羊人的故事》赖声川
展览汇→WWDC2020 | 索尼PS5 | TGS2019
爱游戏→《钢铁侠VR》 | 《半条命:爱莉克斯》
电影集→愤怒的小鸟2 |狮子王 | 冰雪奇缘2 | 战争电影
跨行业→奢侈品营销 |艺术 | VR旅游 | VR音乐 |乐高
科技
-
-
- 线下展会,市民畅享科技大餐
- 5月28日,是2021中国国际大数据产业博览会线下展最后一天,也是免费向市民开放的公众日。趁此机会,记者继续带您探秘国际综合馆(W1馆)、数字应用馆(W2馆)、前沿技术馆(E1馆)、智慧产业馆(E2馆)4...
- 贵阳晚报
-
-
-
- 为何新药研发、基因测序、卫星遥感的发展提速都需要它?
- 人类第一次完整全基因组的测序花了13年,在新技术的加持下,这个时间已经降低到1天以内;没有这项新技术加持,电影《阿凡达》的渲染可能需要上万年;这项新技术还让新药的研发周期大幅缩短,让卫星遥感定位精度...
- 华为
-
-
-
- 大型金属3D打印厂商钢研极光亮相TCT,展示强大的生产服务能力
- 2021亚洲3D打印、增材制造展览会 (TCT Asia)于2021年5月26日-28日在国家会展中心(上海)7.1馆隆重举办。作为官方战略合作媒体,南极熊将会全程现场报道(地址https://www.nanjixiong.com/foru
- 南极熊3D打印
-
-
-
- 美国国家情报委员会《全球趋势2040——竞争更激烈的世界》报告摘译
- 2021年3月,美国国家情报委员会(NIC)发布了每四年一度的全球趋势预测报告《全球趋势2040——竞争更激烈的世界》。NIC是美国最高层级的战略情报机构,该委员会的成员均为来自政府、学术界和私营部门的高级专家...
- 全球技术地图
-
-
-
- 数字让监管更加智慧 上交所成功举办首届全行业技术大会
- 5月28日,上交所成功举办主题为“数字赋能,守正创新”的首届全行业技术大会。中国证监会副主席赵争平出席大会并致辞指出,证监会高度重视资本市场科技化转型与发展,确定了“数字让监管更加智慧”的愿景。...
- 上海证券报
-
-
-
- 湾区智行||中科创达赵鸿飞:汽车“新物种”需要共通的操作系统|中国汽车报
- “我是谁?我来自哪里?我要到哪里去?”这是哲学史上永恒的三大命题,同样也是我们甚至是企业需要不断思考的问题。此次采访对象——中科创达软件股份有限公司就是一家勤于思考、擅于思考的企业。这家企业在不断...
- 中国汽车报
-
-
-
- 广电总局表彰虚拟现实视频、超高清视频等5类96个优秀项目!
- 广电总局共评选出互动视频、沉浸式视频、虚拟现实视频、云游戏、超高清视频等5类96个优秀项目,分获一、二、三等奖和优秀奖,包括《中央广播电视总台5G+VR融合制播系统——春节联欢晚会 (2017- 2021)节目VR制作...
- 广电头条
-
-
-
- 占据市场最新赛道,“中国制造”机器人迎来爆发期
- 【环球时报记者 邢晓婧 杨沙沙】配餐机器人、迎宾机器人、扫地机器人……不知不觉间,中国老百姓对出现在餐馆、医院、火车站、养老院等场景的机器人逐渐习以为常,甚至家中也出现扫地、娱乐等家用机器人。有统计...
- 环球网
-
-
-
- 最受关注展项出炉,2021年北京科技周闭幕不落幕!
- 5月28日下午,2021年北京科技周闭幕式在中关村国家自主创新示范区展示中心举行。北京市科委、中关村管委会相关负责人介绍了本届北京科技周举办情况以及最受关注的展项。市科委、中关村管委会二级巡视员王建新出...
- 科普北京
-
-
-
- 魔高一尺,道高一丈:上交所VPN攻防札记
- 本文选自《交易技术前沿》总第四十二期文章(2020年12月)谢毅 / 上海证券交易所 yxie@sse.com.cn相晓辉 / 上海证券交易所 xhxiang@sse.com.cn虚拟专用网络(以下简称“VPN”)系统、互联网业务系统、外网
- Android编程精选
-
-
-
- 绿色召集令——聚力创赢,共赴绿色能源新征程!
- 申耀的科技观察读懂科技,赢取未来!申耀的科技观察,由科技与汽车跨界自媒体人申斯基创办,18年企业级科技媒体工作经验,专注企业数字化、产业智能化、智慧城市、汽车科技内容的观察和思考。
- 申耀的科技观察
-
-
-
- 汉朔科技和微软(中国)联合推动 IoT+AI 赋能全球零售
- (本文阅读时间:4分钟)2021年5月20日,全球领先的零售数字化解决方案供应商汉朔与微软(中国)在北京举行战略合作备忘录签约仪式,以进一步推动其在零售行业的全球布局和数字化战略。根据战略合作备忘录,汉朔...
- 微软科技
-
-
-
- 关于安全访问服务边缘(SASE),你需要知道的事情
- 在企业纷纷拥抱数字业务的过程中,由于边缘计算、云服务、混合网络的逐渐兴起,使得本就漏洞百出的传统网络安全架构更加岌岌可危,而且远远无法满足企业数字业务的需要。为了应对这种情况,一个全新的模型——安...
- FreeBuf
-
-
-
- [报告]2021年中国新能源汽车行业洞察(附44页PDF文件下载)
- 新能源车大势将至,造车新势力差异化突围。以下为报告节选:......文│Mob研究院本报告共计:44页。如欲获取完整版PDF文件,请扫描下方二维码加入“车友圈”获取。#重磅推荐#需要批量下载和及时更新最新汽车行业...
- 汽车之地
-
