前几天被淘宝京东偷听搞得超级恼火,于是做了个试验并抓包简单分析了一下(下次要是再做这种事情就干脆找个公证处公证了。。。。)
我关闭了家里所有其他智能设备(其他智能手机、AppleWatch、GoogleHome 等)只留了我跟女票两个人日用的未越狱美版且登录了美区帐号的 iPhone8,iOS 12.1.2 和 iOS 12.1.3 开机并划掉所有 app 且关闭所有应用的后台刷新,关闭所有 app 的麦克风、相机、相册、位置等信息使用权,拔掉 sim 卡只连接抓包用 wifi,重启手机,然后熄屏放在旁边
然后我们编了几段对话(即兴发挥,不存在预先打好或说好的情况以排除应用前台监听以及输入法监听),以较自然的方式涵盖了一些我们平时没有说过,根本不会去购买,根本不可能去搜索甚至根本没有想过的物品
然后我们看到了这两台 iPhone 到阿里、淘宝服务器的流量(这部份流量没有经过 charles 的 http 代理而是直接出去的,被 wireshark 抓下来了然而无法解密),还有 Asphalt9 的访问(广告相关,很谜),这已经说明苹果所谓的关闭后台刷新并没有真正关闭
然后我们打开淘宝和京东查看推荐列表,发现对话中提到的不可能购买的物品中大约有 70%的物品出现在了这两家购物 app 的推荐列表上
淘宝的还没来得及分析 charles 和 wireshark 就死了(估计是流量太大),主要看了京东的请求:一些登录之类的看起来稀松平常的 get 或者 post 请求的 query string 里携带了一些很长的 base64 信息,解开后发现是加密二进制信息,其内容不得而知,而携带的 cookies 信息看起来反而比较正常
所以怀疑淘宝、京东等 app 利用了某些方式在后台监听用户对话,通过本地语音识别(现在本地语音识别的计算成本已经非常低了,因为可以有专门的协处理器来做这种事情,而老旧的设备并没有这样的能力)的方式提取关键字,并在打开 app 的时候通过某种方式(也许是那个奇怪的 query string )通知服务器进行物品推荐
现在搞得对苹果都不信任了。。。于是翻出来一部 iPod Touch 5 和一部 iPhone 4,这俩机器的性能现在看来已经极差了,于是把淘宝京东支付宝京东金融等 app 都挪到了上面,经过两天观察似乎没有再次发现偷听的情况。要是再有的话我就买个便宜点能用的 Android 机然后把麦克风和摄像头都拔了专门当养蛊机了。。。。
顺便分享一个好玩的,细思极恐:
https://www.zhihu.com/question/38284774/answer/343960204