![](https://img.rjjjh.com/soft/2024/04/20240425042723119.jpg)
新智元报道
编辑:编辑部
【新智元导读】多模态Llama 3还未发布,已经用在科幻中存在的AR眼镜上了!不仅能为你搭配衣服,还能打视频、实时翻译,只要你能想到的,它全能实现。
科幻大片中的AR黑科技,竟走进了现实!
就在刚刚,Meta自家的雷朋智能眼镜,已经开始支持多模态版的Llama 3了!要知道,Llama 3的开源版本还没支持多模态呢。
就在最近,小扎还在访谈中承认愿意开源价值100亿美元的模型,不过,如果涉及到产品侧,那就是另一回事了。
诶,产品这不就来了么——
戴上这副智能眼镜,外出旅行坐车感到无聊时,可以让Meta来点音乐。
![](https://img.rjjjh.com/soft/2024/04/20240425042724420.gif)
带着AR眼镜,还可以直接翻译不认识的语言。又或者在路上腾不出手时,Meta可以给好友发语音信息。
![](https://img.rjjjh.com/soft/2024/04/20240425042725659.gif)
走到一座建筑前,呼叫Meta告诉自己关于它更多的信息。
甚至,视频电话、直播,科普等,只要是你能想到的,AR眼镜全可以做的到。
![](https://img.rjjjh.com/soft/2024/04/20240425042726833.gif)
Meta介绍,去年12月便开始在雷朋Meta智能眼镜上,测试了多模态AI。目前,已经在美国和加拿大地区销售的眼镜上推出了这一新功能。
小扎也来炫技了
这款眼镜配备了一个1200万像素的摄像头和五个麦克风,集成Meta AI助手后,意味着带着它可以做更多的事。
你看到的任何东西,它都能描述出来。
只需说一句,「Hey Meta,看看这个,告诉我它是什么?」,语音命令即可控制。
![](https://img.rjjjh.com/soft/2024/04/20240425042729352.jpg)
看着厨房柜台上一堆食材,Meta能够迅速制作出相关的食谱。
更有意思的是,小扎本人还在Ins发布一个带上智能眼镜,为自己挑选衣服的视频。
![](https://img.rjjjh.com/soft/2024/04/20240425042730800.jpg)
他挑选了一个深色的衬衣,并问Meta我应该搭配个什么样的裤子。Meta给出了牛仔裤、短裤的建议。
![](https://img.rjjjh.com/soft/2024/04/20240425042731218.gif)
他还让智能眼镜给一张萌宠的照片,配上了有趣的描述。
![](https://img.rjjjh.com/soft/2024/04/20240425042735712.jpg)
小扎手里拿着一种水果,智能眼镜能告诉他这是面包果。
![](https://img.rjjjh.com/soft/2024/04/20240425042735627.jpg)
而对于AR眼镜来说,实时翻译将成为一款杀手级应用。
当你旅行时,正在试着读一份法语菜单。不用查阅手机,智能眼镜就可以完成实时翻译。
它甚至可以阅读不同语言的手势,简直是旅行必备单品。
此外,除了得到多模态Llama 3的加持,Meta还公布了智能眼镜集成了WhatsApp和Messenger的免提视频通话。
与此同时,不同时尚款式的镜框设计,都可以专配处方镜使用。
![](https://img.rjjjh.com/soft/2024/04/20240425042736976.jpg)
不过,这款智能眼镜起价为300美元(2100元),并不便宜。
实测外出识物,比手机方便
蹭着更新的热乎劲儿,外媒The Verge发布了提前拿到内测资格的评测。
前段时间,Humane智能设备AI Pin因性能不如人意,全网陷入了非议之中。关键是700美元,根本不值。
作者表示,「我们要对Meta智能眼镜的期望值不要太高,因为它并非无所不能」。
![](https://img.rjjjh.com/soft/2024/04/20240425042737199.jpg)
测试中的一半的乐趣,就是找到它的极限在哪。
它能否正确识别街上这辆随机的汽车?(一辆Alfa Romeo Giulia Quadrifoglio和一辆Alfa Romeo Tonale)。
与大多数AI一样,Meta AI有时非常准确,有时又会出现幻觉。
它正确地识别出了Giulia。但Tonale也被识别为Giulia。
但有趣的是,这两款车几乎没有相似之处,Giulia是一款轿车,而Tonale是一款跨界SUV。
作者还让它识别自己种的多肉植物(由于有些是别人送的,自己也并不完全清楚具体品种)。
Meta回答的是,「Echeveria、aloe vera芦荟和Crassula品种」。
但其实,作者用可通过AI照片识别植物的应用程序Planta进行验证,发现植物当中没有一株是Echeveria。
![](https://img.rjjjh.com/soft/2024/04/20240425042737443.jpg)
最精彩的是,作者的爱人偶然看到邻居家后院一只大松鼠,戴上智能眼镜去要识别出是什么品种。
作者用手机拍下了照片,并用另一款应用试了一番。
果然,Meta识别错了,而作者使用的APP成功识别出它是土拨鼠。
![](https://img.rjjjh.com/soft/2024/04/20240425042738579.jpg)
然而,当再用智能眼镜去识别手机中的照片时,确给出了「土拨鼠」正确的答案。
这个案例中,说明了AR眼镜缺少「变焦」功能,才导致回答错误。
除了多模态识别能力之外,作者测试其与手机配对时,响应速度也是非常地快。同时,智能眼镜将声音功能集成一体,省去了戴眼镜的麻烦,让交互更加自然。
![](https://img.rjjjh.com/soft/2024/04/20240425042739900.jpg)
总得来说,Meta智能眼镜在户外活动,AI助手在识别事物上发挥了巨大的作用。
以往,作者外出看到感兴趣的东西时,需要掏出手机拍照在识别。
而现在,智能眼镜也可以很好地延伸手机的能力,前提是不要将想要识别的内容放大很多倍。
参考资料:
https://about.fb.com/news/2024/04/new-ray-ban-meta-smart-glasses-styles-and-meta-ai-updates/
https://www.theverge.com/2024/4/23/24138090/ray-ban-meta-smart-glasses-ai-wearables
![](https://img.rjjjh.com/soft/2024/04/20240420101013699.jpg)
这些信息可能会帮助到你: 联系作者 | 报毒说明
修改版本软件,加群提示等均为修改者自留,非本站信息,注意鉴别
评论(0)