@khan-lau
2017-07-17T13:14:13.000000Z
字数 1153
阅读 2329
在已登记在册声纹库中, 检索出符合当前特征的人员身份.
确保引擎的各项指标(逻辑准确性, 响应时间, 接口故障率, 引擎支持的最大特征库规模)
8台终端设备, 5人
社会化测试, 8台终端设备, 测试人数41人.
测试设备:
序号 | 设备 | 系统版本 |
---|---|---|
01 | iPhone6 | iOS 10.3.2 |
02 | iPhone6s | iOS 10.3.2 |
03 | iPhone6sp | iOS 10.3.2 |
04 | HuaWei荣耀8 | Android 6.0 |
05 | Vivo Y11iw | Android 4.2.2 |
06 | Gigaset_GS57-6 | Android 5.1.1 |
07 | Macbook pro 2015 | MacOS 10.12.5 |
08 | Macbook pro 2015 | MacOS 10.12.5 |
测试人员录入30s语音建模, 创建11个身份, 然后进行语音识别, 每人每次递增30s声纹建模, 直到建模时间达到180s, 预期每次都能检索到其中前10个身份.
测试设备:
序号 | 设备 | 系统版本 |
---|---|---|
01 | iPhone6 | iOS 10.3.2 |
02 | iPhone6s | iOS 10.3.2 |
03 | iPhone6sp | iOS 10.3.2 |
04 | HuaWei荣耀8 | Android 6.0 |
05 | Vivo Y11iw | Android 4.2.2 |
06 | Gigaset GS57-6 | Android 5.1.1 |
07 | Macbook pro 2015 | MacOS 10.12.5 |
08 | Macbook pro 2015 | MacOS 10.12.5 |
通过社会化手段录入41个真实人员身份, 其中混杂4个测试人员, 测试人员利用测试设备进行语音识别, 预期每次都能检索到测试人员本人的身份信息.
序号 | 特征库建模时间长度 | 接口成功率 | 匹配率 |
---|---|---|---|
1 | 30s | 90% | 100% |
2 | 60s | 90% | 62% |
3 | 90s | 100% | 98% |
4 | 120s | 100% | 90% |
5 | 150s | 100% | 100% |
6 | 180s | 100% | 90% |
结论: 引擎的故障率在测试过程中,有时会出现超时和其他异常, 匹配结果逻辑上有缺陷. 另外有一个问题是该引擎每个分组最大只能支持1000个用户. 与我们的老人走失项目场景不符
序号 | 用户身份 | 建模设备序号 | 识别设备序号 | 匹配结果(o对/x错) |
---|---|---|---|---|
1 | khan_lau | 06 | 06 | o |
2 | khan_lau | 06 | 04 | x |
3 | aeieli | 02 | 02 | o |
4 | aeieli | 02 | 06 | x |
5 | aeieli | 02 | 07 | o |
6 | test_zwj | 04 | 04 | o |
7 | test_zwj | 04 | 06 | x |
8 | test_zwj | 04 | 07 | x |
9 | sherry | 03 | 03 | o |
10 | sherry | 03 | 07 | x |
11 | liukun9 | 07 | 07 | o |
12 | liukun9 | 07 | 06 | o |
13 | liukun9 | 07 | 05 | x |
结论: 录音数据有明显的设备特征, 本机建模, 本机检索成功率很高; 本机建模, 其他不同机型检索极少成功.