[关闭]
@khan-lau 2017-07-17T05:14:13.000000Z 字数 1153 阅读 1802

远鉴1:n语音识别引擎测试报告

1. 测试场景

在已登记在册声纹库中, 检索出符合当前特征的人员身份.

2. 测试目的

确保引擎的各项指标(逻辑准确性, 响应时间, 接口故障率, 引擎支持的最大特征库规模)

3. 测试规模

3.1 第一轮测试

8台终端设备, 5人

3.2 第二轮测试

社会化测试, 8台终端设备, 测试人数41人. 

4. 测试方法

4.1 第一轮测试

测试设备: 
序号 设备 系统版本
01 iPhone6 iOS 10.3.2
02 iPhone6s iOS 10.3.2
03 iPhone6sp iOS 10.3.2
04 HuaWei荣耀8 Android 6.0
05 Vivo Y11iw Android 4.2.2
06 Gigaset_GS57-6 Android 5.1.1
07 Macbook pro 2015 MacOS 10.12.5
08 Macbook pro 2015 MacOS 10.12.5

测试人员录入30s语音建模, 创建11个身份, 然后进行语音识别, 每人每次递增30s声纹建模, 直到建模时间达到180s, 预期每次都能检索到其中前10个身份.

4.2 第二轮测试

测试设备: 
序号 设备 系统版本
01 iPhone6 iOS 10.3.2
02 iPhone6s iOS 10.3.2
03 iPhone6sp iOS 10.3.2
04 HuaWei荣耀8 Android 6.0
05 Vivo Y11iw Android 4.2.2
06 Gigaset GS57-6 Android 5.1.1
07 Macbook pro 2015 MacOS 10.12.5
08 Macbook pro 2015 MacOS 10.12.5

通过社会化手段录入41个真实人员身份, 其中混杂4个测试人员, 测试人员利用测试设备进行语音识别, 预期每次都能检索到测试人员本人的身份信息.

5. 测试结果

5.1 第一轮测试

序号 特征库建模时间长度 接口成功率 匹配率
1 30s 90% 100%
2 60s 90% 62%
3 90s 100% 98%
4 120s 100% 90%
5 150s 100% 100%
6 180s 100% 90%

结论: 引擎的故障率在测试过程中,有时会出现超时和其他异常, 匹配结果逻辑上有缺陷. 另外有一个问题是该引擎每个分组最大只能支持1000个用户. 与我们的老人走失项目场景不符

5.2 第二轮测试

序号 用户身份 建模设备序号 识别设备序号 匹配结果(o对/x错)
1 khan_lau 06 06 o
2 khan_lau 06 04 x
3 aeieli 02 02 o
4 aeieli 02 06 x
5 aeieli 02 07 o
6 test_zwj 04 04 o
7 test_zwj 04 06 x
8 test_zwj 04 07 x
9 sherry 03 03 o
10 sherry 03 07 x
11 liukun9 07 07 o
12 liukun9 07 06 o
13 liukun9 07 05 x

结论: 录音数据有明显的设备特征, 本机建模, 本机检索成功率很高; 本机建模, 其他不同机型检索极少成功.

添加新批注
在作者公开此批注前,只有你和作者可见。
回复批注