inaudible voice commands

海豚音攻击:听不见的声音命令

标签(空格分隔): 论文


摘要

术语
Speech recongnition(SR)
voice controled system(VCS)

  • 之前工作的攻击是可以听见的;
  • 本文实现无声攻击,通过在超声波(>20kHz)上调制声音命令,利用的是麦克风电路的非线性。被调制过的声音命令可以被声音识别系统成功解调和理解。
  • 做了实验(手机语音助手和奥迪车语音助手),并且提出了相应的硬件和软件上的解决方案。

关键字

VCS SR ,MEMS麦克风 ,安全分析 ,防御


1 介绍

  • SR使得出现更多的VCS,但是SR系统的安全问题不怎么收到重视。
  • 有声攻击已经做过,但是易于察觉。本文进行无声攻击:超声波+声音硬件的漏洞。
    1. 音频设备进行低于44kHz的采样,低通滤波过滤掉超过20Hz的信号;
  1. 超声波不符合人类的音调特征,难以被SR识;
  2. 激活VCS(如sirl)需要特定的声音。
    但是本文做到了。。。。
  • 海豚音攻击可以:浏览恶意网站,监听,注入虚假信息,断网, 隐藏攻击
  • 贡献:证明了海豚音攻击可以成功;相关建议

2 背景和威胁模型

2.1 VCS

vcs的组成
  • VCS由三个主要部分组成:声音获取,声音识别,命令执行。
  • 语音识别系统分为两个状态:激活和识别。这两个状态有包括用户有关和用户无关的命令(siri的激活是用户有关)
  • 本文针对的是声音获取部分。

2.2 麦克风

  • 声音获取子系统包括麦克风,放大器,低通滤波器,AD转换器


2.3 威胁模型

假设对方不能直接接触设备、拥有信号发射器、不能让受害者执行任何任务

  1. 不能接触设备 。但是对设备充分了解
  2. 不能让拥有者交互。
  3. 无声。超声波
  4. 攻击装备。

3 可行性分析

主要思路:(a)在超声波上调制低频声音信号;(b)在接收器的音频捕获硬件上解调。假设麦克风??樽苁抢肔PF,那么解调应该在LPF之前。
解调潜在的组成是麦克风和放大器。放大器是非线性的,可能产生新的频率。麦克风则不知道。
为了研究,对麦克风的非线性建模,在真的麦克风上展示非线性的影响。

3.1 非线性影响建模

  • 放大器是非线性的,可以产生在低频范围内的解调信号。本文对麦克风非线性建模:
    $$s_o(t)=As_i(t)+Bs_i^2(t)$$
  • 控制信号是$m(t)$,载波频率是$f_c$,那么
    $$s_i(t)=m(t)cos(2pif_ct)+cos(2pif_ct)$$
  • 不失一般性,$m(t)=sin(2pif_mt)$,那么输出$s_o(t)$中包含频率$f_m$及其他频率(傅里叶变换)。经过低通滤波就只含有$f_m$。

3.2 非线性影响评估

本节验证非线性对真实麦克风的影响,包括ECM和MEMS两种类型。

3.2.1 实验设置

single tone

3.2.2 结果

  • 单个音调 :见上上图。
  • 声音(多个音调):计算3个截取的“Hey”的MFCC,MFCC是被广泛使用的声音特征。(a)(text-to-speech)TTS引擎产生的原声;(b)iphone6播放TTS,三星S6记录下来的声音。(c)TTS被调制,由超声波发声器播放,三星S6记录下来的声音。



    计算歪曲度MCD分别是3.1和7.6,应该会被声音识别系统接受。


4 攻击设计

4.1 声音命令的产生

4.1.1激活命令的产生

  • siri激活的两个条件:1. “Hey siri” 2. 拥有者的音调
  • 分两种情况:(a)不能获取拥有者的声音;(b)可以获得拥有者声音的一些记录
  1. 基于TTS的暴力破解:利用音调相近进行破解


  2. 连接合成:利用英语大概有44个单音


4.1.2通用控制命令的产生

4.1.3评估


4.2 声音命令调制

4.2.1 调幅参数

  1. 深度:m=M/A,A是载波幅度,M是调制幅度(纯增加的)。与硬件有关
  2. 载波频率($f_c$):受超声波频率范围、基带信号带宽(w)、低通滤波器的截至频率(>20kHz)、麦克风的频率响应、攻击发生器的频率响应影响。有$$f_c-w>20kHz$$应该选择一个对于发生器和麦克风来说都是最大增益的频率。


  3. 声音选择:对应于基带信号带宽(w)

4.3 声音命令发射台

4.3.1 有信号产生器的强力发射台

4.3.2 有智能手机的轻便发射台:三星S6Edge最大采样频率是144kHz,发生器会减弱大于20kHz的信号,所以采用超声波变送器


5 通过VCS的可行性实验

(a)海豚音攻击可以对不同的操作系统和硬件平台下的不同语音识别系统起到作用吗?(b)不同的软件和硬件会如何影响攻击性能?(c)什么是制作成功攻击的关键因素?

5.1 系统选择

5.2 实验设置

  • 装备:两种声音命令发射台
  • 设置:
  • 声音命令:
  • 声压水平(SPL):
  • 攻击:
  • 调制参数:载波频率和调幅深度

5.3 可行性结果

  • 硬件依赖:麦克风、放大器、滤波器不同,导致在SR中产生的数字信号不同。影响结果
  • SR系统依赖:
  • 识别对比激活:距离效果;在普通命令前加上"Hey sirl"更有可能识别。
  • 命令问题:越短越常用,效果越好?!敖裉焯炱北取昂艚?2345678”表现更好
  • 载波频率:


  • 调制深度:


  • 攻击距离:
  • 努力和挑战

5.4 总结

  1. 我们证实识别和唤醒攻击。在16个不同设备和7个语音识别系统上。大多数都成功了。
  2. 记录攻击的性能表现。
  3. 我们记录、测试和讨论关于攻击性能的参数。

6 影响定量

6.1 语言的影响

实验设置:10次,20cm,55dB的背景噪声,25kHz载波频率,100%的调幅深度。(是TTS暴力还是合成,还是同一个TTS呢?)


image.png

6.2 背景噪声的影响

image.png

6.3 声压水平的影响

image.png

6.4 攻击距离的影响

image.png

6.5 可移动设备攻击的评估

image.png

还有一些距离实验。


7 防御

7.1 硬件防御

  1. 麦克风增强:抑制超声波信号。
  2. 无声命令取消:在低通滤波LPF之前,添加??榧觳獾鞣藕拧?/li>

7.2 软件防御

image.png

原始信号、录音信号、恢复(解调)信号在高频(500-1000Hz)处不同。通过机器学习分类器检测。


8 相关工作


9 总结

本文,我们提出了海豚音攻击,一种对于SR的“无声”攻击。海豚音攻击利用调幅技术去调制有声命令,超声波作为载波。这样人类就不能察觉命令的存在。利用海豚音攻击,坏人可以攻击主流的SR系统,包括siri,Google Now等。为了避免海豚音攻击的滥用,我们提出了防御方案,包括硬件和软件两个方面。

最后编辑于
?著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 214,128评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,316评论 3 388
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事?!?“怎么了?”我有些...
    开封第一讲书人阅读 159,737评论 0 349
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,283评论 1 287
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,384评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,458评论 1 292
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,467评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,251评论 0 269
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,688评论 1 306
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,980评论 2 328
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,155评论 1 342
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,818评论 4 337
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,492评论 3 322
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,142评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,382评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,020评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,044评论 2 352

推荐阅读更多精彩内容