摘要: 用同一段17.535秒系统合成中文音频,对比Whisper tiny与base的人名、日期、编号和金额转写,公开参考稿与原始输出。
转写稿读起来通顺,不代表关键字段正确。本次用同一段17.535秒中文音频,对比Whisper tiny与base:两个模型都没有正确写出全部人名和订单编号;base在本样本的日期、时刻与金额字段上比tiny少出错。这个观察只适用于下面公开的单个样本,不构成工具总排名。
测试材料与方法
音频由macOS系统Tingting声音合成,输入为本站自编的虚构订单通知,设定速率160,转为16kHz单声道WAV。它是干净的单说话人合成音频,不是真实会议、口音或噪声场景,也没有用于测试说话人区分。播放器提供压缩MP3便于试听,实际转写使用WAV。
参考稿:
林玥,请在十月二十二日下午三点十五分,向周祺确认订单。订单编号是零零七八,单价一千二百八十元,数量十二件,合计一万五千三百六十元。备用联系人是沈蔚。
运行环境为macOS ARM64、Python 3.9、faster-whisper 1.2.1、CTranslate2 4.8.3、NumPy 1.26.4;使用CPU int8、4线程。两个模型均为多语言tiny/base,固定中文、beam_size=5、temperature=0、condition_on_previous_text=False,未提供人名提示。安装期间曾出现数值库警告,固定兼容依赖后重跑,最终记录无该警告。
原始输出,保留错误与繁体字
tiny:
領域,請在10月20日下午3.15分,向週期確認訂單,訂單編號是領領七八,單價1280元,數量12件,合計以外5,366元被用聯繫人士審味。
base:
0月,請在10月22日下午3點15分,向週期確認訂單,訂單編號是0708,單價1280元,數量12件,合計15360元,備用聯繫人士審位。
这里没有把“週期”改成“周祺”,也没有把“0708”改成“0078”。繁简差异单独看待;人名写成同音的普通词,仍属于实体错误,不能因为读音接近就判正确。
逐字段核对,比只看全文更能暴露问题
| 字段与参考值 | tiny输出 | base输出 |
|---|---|---|
| 林玥 | 領域,错误 | 0月,错误 |
| 周祺 | 週期,错误 | 週期,错误 |
| 沈蔚 | 審味,错误 | 審位,错误 |
| 10月22日 | 10月20日,错误 | 10月22日,符合 |
| 下午3点15分 | 3.15分,写法不符合预期时刻 | 下午3點15分,符合 |
| 订单号0078 | 領領七八,错误 | 0708,错误 |
| 单价1280元 | 1280元,符合 | 1280元,符合 |
| 数量12件 | 12件,符合 | 12件,符合 |
| 合计15360元 | 以外5,366元,错误 | 15360元,符合 |
按“对应语义字段与参考一致”的检查方式,base符合5项,tiny符合2项,共9项。这是本站为本例定义的字段检查,不是标准字错率、总体准确率或统计显著性结果。尤其tiny的“3.15分”可被人猜测为时刻,但原文格式不够明确,因此没有算作字段符合。
本样本能说明什么,不能说明什么
它说明普通数字识别正确时,人名和编号仍可能出错;较大的base在这段音频上也没有解决专有名词。用于订单处理时,应回听并核实这些字段,不能用语言模型把“合理的人名”补进去。
样本只有一段合成语音,没有说话人重叠、长录音、不同口音和多次采样。它不能证明base在所有场景优于tiny,也不能用来评价云端会议产品的摘要、说话人分离、导出格式或隐私措施。我们没有为未测试功能打分。
如何复现与扩展
from faster_whisper import WhisperModel
model = WhisperModel("base", device="cpu", compute_type="int8", cpu_threads=4)
segments, info = model.transcribe(
"aizys-asr.wav", language="zh", beam_size=5,
temperature=0, condition_on_previous_text=False)
print("".join(s.text for s in segments))
将base换成tiny可运行另一组。下载测试材料包包含实际使用的WAV、参考稿、参数记录与原始结果。模型文件版本记录和校验信息保留在包内;不同依赖、量化与实现可能造成结果差别。
后续若扩展评测,应固定一组未参与调试的真人授权录音,覆盖更多人名、数字和环境,再分别统计字段与文本错误。给模型加人名词表可以作为下一轮独立实验,但不能覆盖本次无提示结果后声称原模型已经听对。
资料来源与核查日期
资料核查:2026年10月22日至23日。产品条件可能调整,具体操作以当前官方页面为准。