Scratch3.0正式发布 脱胎换骨扩展强大

作者:王文文

Scratch是一款由麻省理工学院(MIT)设计开发的少儿编程工具。

早期版本基于Adobe AIR,因此一直无法让iOS和Android的设备运行。近日Scratch官方终于发布了以Blocky为核心的Scratch 3.0,采用Node.js + Html5技术, 支持积木拖拽式 图形界面开发,可以在iOS & Android手机平板及桌上电脑跨平台使用,为青少年编程降低了难度!

而且Scratch 3.0可以向下兼容,因此你不必担心以前的作品无法调试。

你可以访问:https://scratch.mit.edu/create在线编辑,

也可以从:https://scratch.mit.edu/download下载最新的离线编辑器。

新版Scratch界面

此版本更新内容包括:

1、采用JS+Html5的页面技术,除了笔记本或台式机之外,还可以在平板电脑上创建和展示项目。

2、声音引擎(Audio Engine)重新设计,程序画面的速度因为WebGL的加速,达到40 fps,比Scratch 2.0的30fps快了一些,支持16:9画面。

3、新的精灵和背景,还有全新的扩展库,允许连接到Micro:bit、LEGO MINDSTORMS EV3等硬件,40多种语言支持。(连语音识别都给你准备了)

4、将舞台移到了编辑器右边(我倒是觉得放左边更好)。

5、新的运算符,使文本(字符串)更容易使用。

6、新的笔块(pen blocks),支持透明度。

7、IDE的小猫图标都改成字母了。

8、还有其他更新内容请自行发掘。

新版扩展区

从此次大改版大家应该能看出,Scratch志向不小。特别是新加的几个扩展,都是流行的IoT和AI应用。如果你的孩子在家用它搞出什么黑科技,千万不要惊讶。

树莓派北美团队 vs 树莓派驱动的“密室逃脱”

作者:Christina Foust

编译:IoT前哨站

几天前,树莓派北美团队在旧金山体验了一个非常特别的,由树莓派驱动的密室逃脱店。

这就是由Palace Games运营的一个充满灯光、传感器和大量惊喜体验的“爱迪生密室”。

以下是关于我们如何进入、探索并最终逃离这个房间的经过。

在今年的世界创客大会(World Maker Faire)上,我们的社交媒体明星亚历克斯•贝特(Alex Bate)遇到了乔丹•邦克(Jordan Bunker),他是制作Palace Games的艺术家之一。

经过电子邮件的连番轰炸后,树莓派北美团队订好日期,“直面交锋”爱迪生密室!

密室逃脱

“密室逃脱”是一种物理世界的冒险游戏,玩家通过线索、逻辑和策略来解决一系列的谜题和谜语,从而完成游戏的目标。许多密室逃脱设计师使用实体互动装置来控制玩家体验中涉及的众多传感器和触发器。

树莓派北美团队 vs 爱迪生密室

进入爱迪生密室后,我和我的团队很快意识到自己身处一个像巨型计算机一样的复杂系统中!所以即使这是我们第一次玩密室逃脱,也不是一个劣势。

(小编语:难道你们很擅长巨型计算机?)

我们的目标是完成各种任务。包括解决许多谜题,在任何事情中寻找隐藏的线索,完成电路,移动地板,并进行一些试验。

然而,真正的考验是我们之间的沟通和合作 —— 我们在这方面做得非常出色!

我们做了分工,以便有效地找出不同的谜题和线索,大家不停的在房间里大喊:“试试这样做”,“也许它是这个意思”,“如果它应该那样做呢?”

当我们完成最后一个挑战并最终逃脱时,我们欣喜若狂!每个人都戴上了爱迪生思维帽。

内部机制

逃离密室后,我们有机会去幕后一探究竟。

我们发现了一个由多个树莓派组成的本地网络,这些Pi由一个中心服务器(也是树莓派)协调。而Python写的Banyan框架(The Python Banyan framework)是树莓派及其附属组件之间的连接关键。

该框架帮助Pi和中心服务器之间的内网通信。树莓派被用来读取各种类型的传感器,控制灯光、开门或播放音乐。上面还跑着一个用来让工作人员设置和跟踪游戏的控制面板。

“树莓派让我们进步,它是我们密室的核心和灵魂。” ——伊丽莎白·桑德,密室设计师兼产品经理说道。

我们强烈推荐你去Palace Games(https://palace-games.com/)玩一个密室。这是一种很好的团建方式,可以让你了解和你一起工作的人。最后感谢Palace Games团队对我们的接待,希望不久以后能再回去探索他们的密室!

让ARM紧张的RISC-V是个啥?

北京时间2018年7月11日凌晨,ARM发言人承认了质疑RISC-V架构的网站(riscv-basics.com)确实是ARM发布的,“本意是为了增进大家讨论芯片架构,而不是恶意攻击RISC-V”,并且宣布已经将该网站下线。

但战火并没有停止,在很多硬件或开源技术社区里,有关RISC-V和ARM的辩论依旧激烈。

作为一个物联网爱好者,肯定会好奇为什么 RISC-V 会让如日中天的ARM这么紧张?

那么多挑战者,不是都没掀起大浪吗?

这个事情还得从头说起。

××××××××××××××××××

最早的时候大家整天被“等灯、等灯”的Intel广告洗脑,我们的PC和服务器也大多使用Intel或AMD的x86处理器来运行我们的程序。

移动时代来临之后,精简指令集的ARM仰仗自己的低功耗和低成本,迅速在手机和平板等终端确立了霸主地位。 华为、高通、Samsung、苹果等大厂都在基于ARM做着自己的软硬件产品。

目前,ARM占据全球移动通讯领域90%的市场,而且还把触角伸向了企业基础架构以及人工智能两大领域。

ARM和x86两大阵营互相攻伐,几乎无视第三方竞争者。

可是过了一段时间,大家发现IoT时代到了!新需求又来了!

如果把当前的阶段当作IoT时代的初期,ARM依然有着强大的优势,不管是架构还是工具链、系统、应用……

但领先的玩家已经把目光放到了IoT时代的中期,在他们的视角里,万物互联的时代,CPU必须结构更简单,性价比更高。很明显,ARM在那个时候可能会力不从心。

为什么会这么说?

1、复杂度已经大幅提高

作为商用架构,要保持向后兼容性,不得不保留许多过时的定义,导致其指令数目多,指令冗余严重,文档数量庞大,所以要在这些架构上开发新的操作系统或者直接开发应用门槛很高。

如果把ARM和x86的架构文档做个对比,就能发现复杂度快差不多了。为了保持兼容度,提高安全性,提高性能……ARM不得不承载过多的“背负”,慢慢变得有点像它以前讨厌的样子。

2、授权费不便宜

ARM虽然开放,但并不开源。ARM公司本身并不靠自有的设计来制造或出售CPU,而是将处理器架构授权给有兴趣的厂家。ARM 提供了多样的授权条款,包括售价与散播性等项目。

ARM授权方式主要有三种:架构层级授权、内核层级授权、使用层级授权。价格根据客户要求有高有低。授权条款虽然比Intel好一些,但也仅仅是好一些而已。ARM在指令集授权上非常吝啬,获得ARM32授权的公司一只手都能数的过来,ARM64授权虽然多,但授权费却异常昂贵,法国芯片创业公司Greenwave表示,他们如果使用ARM架构,要花掉1500万美元的授权费。而且授权到期后,是否继续授权和授权费用都要重新谈判。

物联网时代的芯片要有什么特点?

芯片是实现物物相连的关键,物联网的芯片偏重于解决低功耗、高整合度,低功耗连接使开发人员能够为功耗受限的设备添加更多功能,同时保持尺寸小巧,从而扩大了其应用可能性。添加集成度越来越高的元件,通过即插即用方案简化新应用的开发,快速将新设备推向市场。

以上这段是用ARM的设备商用来捧ARM的,但却恰恰说到了物联网时代的芯片关键。

ARM可能部分符合这段文字,但当前最符合这段文字的,可能是我们接下来要说到的 —— RISC-V。

RISC-V读作RISC Five,意思是第五代精简指令处理器。取这个名字只是因为美国伯克利研究团队的David Patterson教授在此之前已经研制了四代精简指令处理器芯片。

RISC-V有什么可取之处?

1、授权更开放,更宽松。

作为ARM的同门师弟(ARM和RISC-V都是精简指令集),RISC-V并不是第一个开源芯片架构。

在它之前,还有一个雷声大,雨点小的OpenRISC。由于采用了GPL和LGPL作为其开源协议(其中硬件设计采用LGPL,而模型和固件采用GPL)。让大部分商业公司望而却步,发展缓慢。

为了吸取OpenRISC的教训,RISC-V采用了BSD协议,这个协议的要求非常宽松,没有任何限制包括闭源和商用。很显然,RISC-V采用这个协议是为了吸引更多的人和公司参与到社区和生态的建设当中。当然,BSD协议本来就是Berkelay的东西(最早是用发布BSD Unix),从伯克利的文化风格来讲,RISC-V采用BSD也算是情理之中。

2、更小更精,模块化

RISC-V基础指令集则只有40多条,加上其他的模块化扩展指令总共几十条指令。

目前的“RISC-V架构文档”分为“指令集文档”(riscv-spec-v2.2.pdf)和“特权架构文档”(riscv-privileged-v1.10.pdf)。“指令集文档”的篇幅为145页,而“特权架构文档”的篇幅也仅为91页。相对上手和入门较快。

RISC-V架构不仅短小精悍,而且其不同的部分还能以模块化的方式组织在一起,从而可以通过一套统一的架构满足各种不同的应用场景。

用户能够灵活选择不同的模块组合,来实现自己定制化设备的需要,比如针对于小面积低功耗嵌入式场景,用户可以选择RV32IC组合的指令集,仅使用Machine Mode(机器模式);而高性能应用操作系统场景则可以选择譬如RV32IMFDC的指令集,使用Machine Mode(机器模式)与User Mode(用户模式)两种模式。

3、系统和工具链支持

从Linux 4.15内核开始,RISC-V已经获得Linux基金会和社区的支持。

软件生态方面也在逐步构建,比如调试工具链、中断控制器、JVM、LLVM、Python等开发者常用的工具都在完善之中。

此外,RISC-V还获得了Rust 语言支持。详见:https://github.com/dvc94ch/riscv-rust-toolchain(Rust 是一门由 Mozilla 开发和维护的系统编程语言。它有着惊人的运行速度,能够防止段错误,并保证线程安全)。

RISC-V Rust toolchain 的开发者还使用了由 lowRISC 基金会开发的 RISC-V LLVM 构建自己的端口,以及发布了一个 Rust 库,为 HiFive1 板提供 BSP,并为其外围设备提供支持。

×××××××××××××

相比ARM指令集,RISC-V的历史很短,2010年诞生于加州大学伯克利分校,当时的Krste Asanovic教授希望寻找一个合适的CPU指令架构,但x86架构复杂臃肿、ARM架构需要授权费、开源的OpenRISC架构又太老旧了,所以他最终决定自己做个开源CPU架构,在2015年最终成立了RISC-V基金会,专门推动RISC-V发展。

现在的RISC-V基金会成员也扩大到了80多人,包括Google、HP、Oracle、西数等公司都开始支持RISC-V架构。而且国内的公司也开始积极参与 RISC-V 生态系统,2018年 10 月份在中国上海成立了中国 RISC-V 产业联盟,包括芯原微电子、北京君正、安徽华米、上海小蚁、苏州国芯、紫光展锐等公司也加入了 RISC-V 联盟。

在美国,已经有不少知名高校开始把原本使用的MIPS指令集启蒙教材换成RISC-V了。更瞩目的是在软件业发达的印度,已经将RISC-V列为国家标准指令集。

也许未来五年,IoT领域依然是ARM的天下,但五年后呢?

现在你们知道ARM为啥紧张了吧?

作者:长空无名

来源:IoT前哨站

本文相关引用:

《大道至简——RISC》

https://wallstreetcn.com/articles/3280667

《什么是RISC-V》

https://zhuanlan.zhihu.com/p/49176102

《ARM 授权费用太贵 科技巨头欲转向开源架构 RISC-V》

https://www.leiphone.com/news/201805/8Nubo2qqdS7P8YRD.html

新款Linux病毒心机重 入侵后先袭中国安全软件

俄罗斯杀毒软件公司 Dr.Web 在近期发现了被称为 Linux.BtcMine.174 的木马,比传统的恶意程序更复杂,包含了大量恶意功能。

它本身是一个巨大的 shell 脚本,有超过 1000 行代码,感染之后的第一件事是寻找具有写入权限的目录,将自己拷贝进去,然后下载更多恶意模块。

如果发现系统缺乏相关组件,还会自行安装。

之后它会利用 CVE-2016-5195(又称 Dirty COW)和 CVE-2013-2094 两个漏洞之一进行提权。

在获取 root 权限之后,木马会将自己设为本地守护进程。

在这个过程中,病毒将查找 Linux 系统上的杀毒软件进程名称,并将其关闭,查找对象包括:safedog、aegis、yunsuo、clamd、avast、avgd、cmdavd、cmdmgd、drweb-configd、drweb-spider-kmod、esets 与 xmirrord。

一切准备就绪之后,木马将执行其最主要的功能——对加密货币进行挖矿。

此外,木马还会下载并运行其它恶意软件,比如Linux.BackDoor.Gates.9木马。这类后门允许执行网络罪犯发出的命令,执行DDoS攻击。

最后,该木马会收集受感染主机信息,并通过 SSH 连接将自身传播到更多的系统。

如果你需要Linux.BtcMine的SHA1文件散列,可以访问:

https://github.com/DoctorWebLtd/malware-iocs/tree/master/Linux.BtcMine.174

IoT前哨站:safedog(安全狗)、aegis(安骑士)、yunsuo(云锁),这三款都是中国的安全软件,而且国内用户很多,该病毒上来先关这三个软件,不知道是忌惮中国的安全技术,还是冲着中国用户来的。

如果是后者,那各位同胞要做好防黑准备了,肯定还会有下一波进攻。毕竟这个病毒作者信奉的可是:“Audentes fortuna iuvat”。

OpenCV 4.0 发布 —— 新增QR解码 性能再度优化

OpenCV是英特尔开源的跨平台计算机视觉库。也就是说,它是一套包含从图像预处理到预训练模型调用等大量视觉 API 的库,并可以处理图像识别、目标检测、图像分割和行人再识别等主流视觉任务。

OpenCV最显著的特点是它提供了整套流程的工具,因此我们根本不需要了解各个模型的原理就能一个个 API 构建视觉任务。

OpenCV使用 BSD 许可证,因此对研究和商业用途均免费。它具备 C++、Python 和 Java 接口,支持 Windows、Linux、Mac OS、iOS 和 Android 系统。OpenCV旨在提高计算效率,专注于实时应用。它使用优化的 C/C++写成,能够利用多核处理。

此外,在 OpenCL 的加持下,OpenCV可以利用底层异构计算平台的硬件加速。它的 GitHub 页面中有一个「open_model_zoo」资源库,包含了大量的计算机视觉预训练模型,并提供下载方法,有助于加速开发和产品部署过程。OpenCV应用广泛,目前在全世界约有 4.7 万用户,下载量约为 1400 万。

很多IoT和AI的玩家都会将其用于图像识别和处理。

可以说OpenCV是 CV 领域开发者与研究者的必备工具包,Mask-RCNN 等很多开源项目都依赖于这个工具包。现在距离 3.0 版本的发布已经过去三年多,近日OpenCV4.0 final 版发布,它进一步完善了核心接口,并添加了二维码检测器、ONNX 转换格式等新特点。

重要更新:

  • OpenCV4.0 现在是一个 C++11 库,要求 C++11 兼容的编译器。所需的 CMake 至少是 3.5.1 版本。
  • 移除OpenCV1.x 中的大量 C API。
  • core 模块中的 Persistence(用于存储和加载XML、YAML 或 JSON 格式的结构化数据)可以完全使用 C++ 来重新实现,因此这里的 C API 也被移除。
  • 添加了新模块 G-API,它可作为基于图的高效图像处理流程。
  • dnn 模块包括实验用 Vulkan 后端,且支持 ONNX 格式的网络。
  • 实现了流行的 Kinect Fusion 算法,且为 CPU 和 GPU (OpenCL) 进行优化。
  • objdetect 模块中添加了二维码检测器和解码器。
  • 将高效、高质量的 DIS dense optical flow 算法从 opencv_contrib 移到 video 模块。

此外,OpenCV4.0 支持 Mask-RCNN 模型,性能也有所提升,图像处理操作可实现 15%-30% 的速度提升。

OpenCV与深度学习

在OpenCV4.0 的更新中,它强化了 DNN 模块并添加支持 ONNX 交换格式的神经网络,这一切都表明OpenCV非常注重其与深度学习之间的关系。其实自从OpenCV3.1 以来,它就包含了能实现深度网络前向传播的 DNN 模块,这些深度网络一般都由 Caffe 等深度学习框架预训练而成。在OpenCV3.3 中,DNN 模块从 opencv_contrib 移到了核心代码库,并取得了显著的加速。

更重要的是除了 libprotobuf 以外,OpenCV中的 DNN 模块不包含额外的依赖项,而且现在 libprotobuf 已经包含到了OpenCV中。

以下是目前OpenCV支持的一些框架:

  • Caffe
  • TensorFlow
  • Torch
  • Darknet
  • ONNX 交换格式的模型

目前OpenCV所支持的深度学习层级函数:

  • AbsVal
  • AveragePooling
  • BatchNormalization
  • Concatenation
  • Convolution (including dilated convolution)
  • Crop
  • Deconvolution, a.k.a. transposed convolution or full convolution
  • DetectionOutput (SSD-specific layer)
  • Dropout
  • Eltwise (+, *, max)
  • Flatten
  • FullyConnected
  • LRN
  • LSTM
  • MaxPooling
  • MaxUnpooling
  • MVN
  • NormalizeBBox (SSD-specific layer)
  • Padding
  • Permute
  • Power
  • PReLU (including ChannelPReLU with channel-specific slopes)
  • PriorBox (SSD-specific layer)
  • ReLU
  • RNN
  • Scale
  • Shift
  • Sigmoid
  • Slice
  • Softmax
  • Split
  • TanH

对于对性能要求很高的神经网络层,这个 DNN 模块包括 SSE、AVX、AVX2 和 NEON 等底层加速库,且还有持续优化中的 Halide 后端。

你可以在这里找到最新的基准结果:https://github.com/opencv/opencv/wiki/DNN-Efficiency

单张图像前向传播的中位最佳时间(以毫秒为单位,基于 CPU 在 float32 上计算)。

以下网络已经经过测试并证实可行:

  • AlexNet
  • GoogLeNetv1 (也称为 Inception-5h)
  • ResNet-34/50/…
  • SqueezeNet v1.1
  • VGG-based FCN(语义分割网络)
  • ENet(轻量级语义分割网络)
  • VGG-basedSSD(目标检测网络)
  • MobileNet-basedSSD(轻量级目标检测网络)

OpenCV4.0 发布地址:https://opencv.org/opencv-4-0-0.html

MacBook的安全芯片不仅防窃听,还让第三方维修站丢饭碗

苹果这次「狠心」要把安全性提到一个新高度了:硬件物理断连。

就在前几天人们还在讨论苹果新发布的多款新产品时,TechCrunch 负责安全领域的编辑 Zack Whittaker 发文表示,苹果刚刚发布的新款 MacBook Air 其实还有一个不为人知的新功能:麦克风防窃听。

这其实得益于苹果在发布会上重点提到的 T2 安全芯片。除了新款 MacBook Air 以外,苹果在七月底悄悄上架的 MacBook Pro 2018 以及 2017 年 12 月发布的 iMac Pro 中都使用了这款安全芯片。

T2 是一款 64 位的 ARMv8 芯片,运行名为 BridgeOS 操作系统,主打保护设备密钥、存储文档、指纹数据、系统级应用和启动进程等方面的安全性功能。

苹果的安全「执念」

TechCrunch 提到,T2 芯片拥有强制关闭麦克风的功能,当用户合上笔记本时,系统会自动强制关闭电脑的麦克风。需要指出的是,这并不是软件意义上的关闭,哪怕用户突破了系统的 root 权限,或者黑进了 T2 芯片的固件,都无法阻止麦克风的关闭。

苹果表示这项功能给 Mac 系列带来了「前所未有」的安全性,但这并不意味着 Mac 彻底不会遭受恶意软件的袭击。

苹果以封闭的软硬件生态闻名,安全性也一直是 macOS 引以为豪的属性,也是许多用户选择它的重要理由之一。

几年前,黑客使用远程管理工具黑进电脑摄像头的事件引发了人们对于电脑安全性的讨论,加上斯诺登和「棱镜计划」的曝光,不少谨慎的用户选择在摄像头上贴纸「封印」摄像头,杜绝被监视的可能。

在这种情况下,苹果笔记本却幸免于难。Mac 系列笔记本上的摄像头连接着一个指示灯,当摄像头处于使用状态时,摄像头旁边的绿色小灯便会亮起,这种情况下黑客的盗用就很容易会被用户发现。

但就在去年,前 NSA(国家安全局)黑客,现任 Synack 首席安全研究员 Patrick Wardle 发现了 Fruitfly——一款能够远程控制已被感染的计算机的文件、摄像头、屏幕、键盘和鼠标的恶意软件,具有极高的隐秘性。

令不少人担心的是,Fruitfly 已经悄悄运行多年,直到去年才被发现,这也使得「苹果电脑绝对安全」的神话破灭。

这一次,在 Mac 全系列上相继搭载 T2 芯片,也是苹果想要传递出的一个信号:请放心选购苹果设备,就安全性上,我们只增不减。

维修店躺枪

然而苹果高度封闭的软硬件体系,也使得每一次硬件上的调整,对第三方维修来说都是一次考验。随着苹果设备日益精密、复杂和高度统一,近年来苹果第三方维修服务逐渐沦落到「要么不用修,要么修不好」的地步。

这次 T2 的应用,则从软硬件上都近乎于「封杀」了第三方维修服务的可能。

在 10 月 6 日,MacRumors 曾报道过苹果就 T2 芯片在维修政策上的调整,据报道,只要搭载了 T2 芯片的苹果硬件产品,都必须通过特定的苹果诊断软件来检测。

MacRumors 称,苹果官方服务提供商内部详细指南文件上显示,若 2018 款 MacBook 没有运行特定诊断软件就擅自维修显示屏、Trackpad、Touch Bar、键盘和电池,可能会导致死机。

苹果只将诊断软件提供给自己的商店和授权服务提供商,这项维修策略的调整意味着,更便宜、更方便的传统第三方维修将会受到极大限制,至少就对搭载了 T2 芯片的苹果设备而言,苹果彻底阻止了除授权服务提供商以外的第三方维修服务。

在未来,倘若 T2 芯片也被应用到了 iPhone 或 iPad 上,这对所有未授权的苹果设备第三方改装、维修服务来说,都将是一次毁灭性的打击。

Google 新一代音乐识别

文 / Google  James Lyon

2017 年,我们发布了具有闻曲知音功能的 Pixel 2,就是利用深度神经网络为移动设备带来低功耗、始终开启的音乐识别功能。

在开发 “闻曲知音” 时,我们的目标是打造一个小巧高效的音乐识别器,这需要数据库中的每个曲目有一个非常小的指纹,以支持音乐识别功能完全在设备上运行,而无需连接互联网。

事实证明,“闻曲知音” 不仅对设备上的音乐识别器有效,其准确性和效率也大大超出我们当时使用的服务器侧系统声音搜索,后者构建之时深度神经网络尚未得到广泛应用。

很自然地,我们就想能否将 “闻曲知音” 背后的技术用于服务器侧 “声音搜索” 中,让 Google 的音乐识别功能成为世界之最优。

最近,我们发布了新版本 “声音搜索”,其中就采用了 “闻曲知音” 中使用的部分技术。您可以在任意 Android 手机上通过 Google 搜索应用或 Google 智能助理来使用这一功能。

只要开启语音查询功能,当您附近有音乐正在播放时,系统就会弹出 “这首歌的歌名是什么?” 的提示,供您点击查询。或者,您也可以直接问:“Hey Google,这首歌的歌名是什么?” 使用最新版本的 “声音搜索”,即可获得比以往更快更准确的搜索结果!

“闻曲知音” 与 “声音搜索” 对比

“闻曲知音” 使音乐识别技术微型化,令其变得小而高效,足以在移动设备上连续运行而不会对电池产生明显影响。

为此,我们开发了一个全新的系统,使用卷积神经网络将几秒的音频转换成一个独特的 “指纹”。然后,系统会将指纹与设备上储存海量音乐的数据库进行比对,该数据库会定期更新以添加最新发布的曲目并删除过气曲目。

相比之下,服务器侧 “声音搜索” 系统则不同,其需要比对的曲目约为 “闻曲知音” 的 1000 倍之多。

由于音乐库的数量过于庞大,这对搜索的速度和准确性都是极大的挑战。在深入讨论这部分内容之前,我们先来了解一下 “闻曲知音” 的运作原理。

“闻曲知音” 的核心匹配流程

“闻曲知音” 通过将八秒音频片段的音乐特征投影到一系列低维嵌入式空间来生成音乐 “指纹”,这些低维嵌入式空间包含七个时长两秒的音频片段,片数之间的时间间隔为一秒,由此产生如下分段图:

然后,“闻曲知音” 会搜索设备内置的歌曲数据库,寻找相似的嵌入序列,该数据库也是通过使用同一神经网络处理流行歌曲而生成。“数据库搜索” 使用两阶段算法来识别匹配的歌曲,第一阶段使用快速但欠准确的算法搜索整个歌曲数据库,以找出可能的一些候选歌曲;第二阶段对每首候选歌曲进行详细分析以找出正确匹配的歌曲(如有)。

匹配,阶段 1:找出合适的候选歌曲:对于每次嵌入,“闻曲知音” 都会对设备内置数据库中的歌曲进行最邻近搜索以找出类似嵌入。数据库使用空间分割和向量量化混合法,以有效搜索数百万嵌入向量。由于音频缓冲区非常嘈杂,因此只能进行近似搜索,而且并非每次嵌入都能在数据库中找到正确歌曲的邻近匹配。但是,在整个音频片断中找到正确歌曲的几个邻近嵌入的机率非常高,因此,搜索范围会缩小到获得多次嵌入的一小组歌曲。

匹配,阶段 2:最终匹配:由于上述数据库搜索方法为近似搜索,“闻曲知音” 可能无法找到我们查询的某些嵌入附近的歌曲嵌入。因此,为获得准确的相似度分数,“闻曲知音” 会检索数据库中每首歌所有可能相关的嵌入,以填补 “缺口”。然后,结合音频缓冲区的嵌入序列和设备内置数据库歌曲中的另一个嵌入序列,“闻曲知音” 会两两评估其相似性分数并相加,以得到最终的匹配分数。

使用一系列嵌入而非单次嵌入对于 “闻曲知音” 匹配歌曲的准确性至关重要。指纹识别神经网络还不够准确,无法仅通过单次嵌入识别歌曲 — 每次嵌入都会生成大量误报结果。

但是,结合多次嵌入的结果,很容易就能消除误报,这是因为正确的歌曲能够匹配到每一次嵌入,而误报匹配仅接近输入音频的一两次嵌入。

扩展 “声音搜索” 服务器的 “闻曲知音” 功能

截止目前,我们已详细介绍了 “闻曲知音” 如何将歌曲与设备内置数据库中的歌曲相匹配。

从拥有成千上万首歌曲的 “闻曲知音” 到拥有数以亿计首歌曲的 “声音搜索”,最大的挑战在于,很多歌曲会有数千次产生误报结果。为了能够在不作其他改动的情况下补偿这一点,我们不得不提高识别阈值,这意味着如要得到确认的匹配结果,就需要识别更多音频。

然而,新版 “声音搜索” 服务器的目标是比 “闻曲知音” 匹配速度更快,而不是更慢,因此,我们不希望用户为一个结果等待 10 秒以上。

由于 “声音搜索” 是服务器侧系统,和 “闻曲知音” 一样,不受处理和存储数据制约条件的限制。因此,我们在指纹识别方面做了两大改动,两者均以牺牲服务器资源为代价提高准确性:

我们将所用神经网络的大小增加了四倍,并将每次嵌入从 96 维增加到 128 维,这就减少了神经网络将高维输入音频打包成低维嵌入所需的工作量。这对提高第二阶段的搜索质量至关重要,因为其十分依赖于原始神经网络输出的准确性。

我们将嵌入密度增加了一倍,事实证明,每 0.5 秒(而不是 1 秒)进行一次音频指纹识别并不会显著降低个别嵌入的质量,由于可用于匹配的嵌入数量增加一倍,质量反而有很大提升。

我们还决定根据歌曲的受欢迎程度对索引进行加权,实际上,我们降低了人气歌曲的匹配阈值,并且提高了不知名歌曲的匹配阈值。总而言之,这意味着我们几乎可以在数据库中无限制地添加更多(不知名)歌曲,而不会明显拖慢识别速度。

结论

对于 “闻曲知音”,我们原打算利用机器学习来创建一个音频指纹识别系统,该系统不仅要功能强大,而且设计要精简到足以完全在手机上运行。

但其实,我们已成功创建了一个出色的全方位音频指纹识别系统,并且将其设计思想很好地延续到了服务器侧 “声音搜索” 系统,尽管 “声音搜索” 面临的挑战与 “闻曲知音” 不尽相同。

当音乐声音很小或处于非常嘈杂的环境中时,我们尚无法做到每次都能匹配,这意味着我们仍有很大提升空间,但我们坚信,我们能够提升系统的识别速度。我们会继续以提供新一代音乐识别技术为目标,应对这些挑战。

如果下次您想知道播放的是什么音乐,不妨一试!您可以在主屏幕上创建一个快捷方式,如下所示:

致谢

我们对以下人员表示衷心感谢:Micha Riser、Mihajlo Velimirovic、Marvin Ritter、Ruiqi Guo、Sanjiv Kumar、Stephen Wu、Diego Melendo Casado‎、Katia Naliuka、Jason Sanders、Beat Gfeller、Julian Odell、Christian Frank、Dominik Roblek、Matt Sharifi 以及 Blaise Aguera y Arcas‎。

更多 AI 相关阅读:
· 通过 Google 照片库 API 打造新体验
· 构建 Google Dataset Search 和打造开放数据生态系统
· 针对资源匮乏语言的文字转语音系统:任重而道远

IoT是公钥基础设施(PKI)应用的推动关键

报告称,未来2年将有42%的IoT设备采用数字证书进行身份验证。

泰勒斯与波耐蒙研究所近期报告显示,IoT设备使用的快速增长得益于采用公钥基础设施(PKI)的应用部署激增,而英国在这方面处于领先位置。

但PKI“所有权”的归属问题仍是其采纳的主要障碍。PKI是用于创建、管理、分发、使用、存储和撤销数字证书与公钥的一组硬件、软件、策略、过程和规程。

《2018全球PKI趋势研究》呈现了对1600位IT与安全从业者的调查研究结果,受访对象遍及英国、美国、澳大利亚、巴西、日本等12个国家。

调查发现,70%的受访者认为没人承担起管理PKI的责任,这是多年来的一大难题了。

“最佳实践假设有足够的人员和能力来定义和维护现代PKI所依赖的流程和程序,并以此为基准,但缺乏清晰的所有权不符合这种最佳实践。

IoT使用激增

44%的应用在使用PKI,比2015年的21%增加了一倍多。IoT是今年PKI使用增长的唯一激励因素,因为云服务和消费级移动应用都有所下降。PKI为IoT应用提供至关重要的核心身份验证技术。

波耐蒙此前就曾表示:

“之前几年,我们将PKI作为解决云应用增长所需身份验证及其他挑战的支撑性成熟技术。如今,企业高管令其团队利用IoT来提升和驱动业务发展。于是,需要保护的终端数量大幅增加,网络风险随之激增,也就更需要理解PKI的关键驱动力地位了。

PKI采用的制造业推手

工业制造行业也是PKI采用的有力推手,业内平均每家公司都管理着4.3万个证书。

行业内受访者描述了自家公司的企业PKI部署方式,其中54%提到了内部证书颁发机构(CA),30%采用外部托管私有CA,34%用的是公共CA服务,还有24%是在公共云上运营私有CA。

金融服务行业是内部企业CA部署比例最高的,72%都设有内部CA。

IoT安全:为打造安全网络而增加PKI采用

公司企业在应用更强的PKI安全,雇佣PKI专家,投资多因子身份验证之类的附加安全控制。49%的受访者称自己要么广泛加密自身IoT设备数据,要么部分加密之。

泰勒斯安全策略高级总监表示:为部署安全的IoT,公司企业需拥抱经时间检验的安全技术,比如PKI。这样才能确保自身IoT系统的完整性与安全性。

Gartner预测,为匹配联网设备的猛增,2021年的IoT安全开支将会翻倍。而今年的全球IoT安全开支眼看就要达到15亿美元了。

但趋势科技宣称,IoT安全如今仍只是IT主管在出事后才会考虑的次要事项,仅53%的IT及安全决策者会将IoT视为安全风险。

泰勒斯与波耐蒙研究所《2018全球PKI趋势研究》报告:

https://www.thalesesecurity.com/2018/pki-trends-study

来自:安全牛

彭博商业周刊指责中国用间谍芯片渗透美国大厂

Bloomberg Businessweek(彭博商业周刊)近期发布一份报告称, 由于在设备制造过程中嵌入间谍芯片,亚马逊网络服务和苹果公司的数据中心设备可能受到中国政府的监视。

他们以“The Big Hack”为主题,称中方通过供应商将间谍芯片嵌入为美国制造的Supermicro主板,对美国顶尖企业进行渗透,受害者包括大型银行和美国政府合同商。

该报告称,测试人员在服务器主板上发现了一个比笔尖大不了多少的微型芯片,但这不是主板最初设计的一部分。根据彭博商业周刊的描述,该芯片的攻击过程如下:

彭博称美国政府早在2015年就启动了这项秘密调查,调查人员怀疑这些芯片被一家中国服务器公司组装后,被亚马逊和苹果部署在数据中心,用于收集美国公司的知识产权和商业机密。

不过,苹果和亚马逊AWS、Supermicro都否定了彭博的说法。

而有些电子发烧友则认为,那可能只是个普通滤波器,并不具备那些夸张的“间谍芯片”功能。

注:Supermicro(美国超微电脑股份有限公司)创立于 1993 年,总部设于美国加州圣何塞(San Jose),主要致力于为全球的企业IT、数据中心、云计算、高性能计算与嵌入式系统提供端到端计算解决方案。是世界上规模较大的服务器主板供应商之一。

加州首个“物联网安全法案”被批肤浅

加州首个“物联网安全法案”已经被放到了州长办公桌上等待签字,但其本身遭到了安全研究人员的大量批评。

专家指出,该法案明显是基于对此类问题的肤浅理解。该法案(SB-327)于 2017 年 2 月推出,比向美国参议院提出的《物联网网络安全改进法案》还要早半年。虽然后者已经蒙尘,但加州仍在积极推进,并于 8 月 28-29 日两天通过了州会和议院的批准。

如果没有公众或私营企业对其表示强烈反对,那在州长签署通过后,新法案将于 2020 年 1 月 1 日起生效。该法案主要规定了“连接设备的制造商们,应该为设备附上合理的安全功能”。

与大多数立法工作一样,该法案对于“合理安全性”的定义相当模糊,但在认证程序方面给出了详细说明。其写到 ——“若设备配备了局域网外的认证手段”,就必须满足两个标准之一:

(1)如果设备使用默认密码,则密码必须对每个设备是唯一的;

(2)当首次配置设备时,都必须提示用户设置自己的密码。

显然,法案为避免制造商对所有设备使用相同的默认凭证,而给出了硬性的规定。

不过信息安全研究专家罗伯特·格雷厄姆指出:

新法案的初衷是好的,但在当前的物联网市场下,它并不是特别有用、也无法解决困扰物联网设备的任何问题。

这是基于对‘增强安全功能’的误解,就像节食一样 —— 人们要求你坚持多吃蔬菜,但无力解决你正在吃薯片的问题!

格雷厄姆在昨日的《法案分析》一文中写到:

节食的关键不是多吃,而是少吃一点,网络安全也是如此。其重点不在于增加‘安全特性’,而是移除‘不安全的功能’。

对物联网设备来说,这意味着在网络管理中删除侦听端口和跨站点/注入问题。

我们不希望在这些产品中增加防火墙和防病毒等任意功能,那样只会增加攻击面,是情况变得更加糟糕。

总而言之:“这项法律基于对问题明显肤浅的理解。它不会解决真正的威胁,反而会给消费者带来巨大的‘创新’成本”。

[编译自:ZDNet]

IoT前哨站:大家怎么看待这个问题?