Skip to content
←返回领域赋能

能力资产

语音与音频影音创作梯顶

Kokoro-82M:1000 美元训出来的 Apache-2.0 TTS

kokoro-82m

hexgrad 发布的开放权重 TTS 模型,82M 参数,Apache-2.0,仓库 hexgrad/kokoro(9,061★,2026-09-29 经 GitHub API 核)。它是音频域的成本下限与许可下限:它最值得被记住的不是某个榜的名次,而是把「一次 TTS 部署到底要花多少钱」公开算了一遍。训练成本合计 1000 美元——v0.19 与 v1.0 各 500 个 A100 80GB GPU 小时;v0.19(2024-12-25)训练数据不足 100 小时、1 种语言 10 个音色,v1.0(2025-01-27)是几百小时、8 种语言 54 个音色。价格侧有两个相互独立的第三方来源指向同一量级:ArtificialAnalysis 记录的 Replicate 价 65 美分/百万字符,DeepInfra 标价 80 美分/百万字符,折合约每小时成品音频 3 到 5 美分。这条价格线是音频域选型比较的参照下限:高于它的部分,买的是音色克隆、方言覆盖、情感控制、流式延迟或合规背书,而不是「能不能听」。技术形态是 StyleTTS 2 + ISTFTNet 的 decoder-only(无扩散、encoder 未发布),G2P 走作者自维护的 misaki 库,系统侧依赖 espeak-ng,输出 24kHz;输入文本支持内联音素覆盖(形如 [Kokoro](/kˈOkəɹO/)),与 CosyVoice 3 的拼音/CMU 音素级发音修正是同一类思路——把「读错」从概率问题变成声明式配置,只是作用域是词而不是整段韵律。反过来 decoder-only 也决定了它没有零样本音色克隆:54 个音色是训练进去的,给参考音频不会长出新声音,这不是缺陷而是分工。合规披露在 TTS 领域几乎找不到第二份这么细:模型卡声明只用许可宽松或无版权的音频训练,逐类列出公有领域、Apache/MIT 许可与由闭源 TTS 生成的合成音频,并明确排除「来自开源 TTS 模型的合成音频」与「自定义音色克隆」;CC BY 部分单列署名表,模型 SHA256 也公开,所以你能校验自己下到的是不是同一个权重。边界:不克隆音色,参考音频驱动的场景直接出局;24kHz 够播报与朗读、不够音乐级母带;8 种语言 54 个音色在 v1.0 之后没有继续扩,中文可用度要自己试听;项目基本停更(最近 push 2025-08-06),遇到 bug 只能自己改;它的知名度已经长出钓鱼面,模型卡点名 kokorottsai_com 等根域带 kokoro 的站点与本项目无关,真正的入口只有 HF 的 hexgrad/Kokoro-82M 与 GitHub 的 hexgrad/kokoro,不要在搜索结果首页的「Kokoro 官网」上付钱。置信度 B(confirmed):确认的是成本与市场价格这条有第三方独立来源的证据链,不是音质。

A
置信度
已确认
≥2 个独立来源,或经 harness 复现通过
<$1
关键指标
API 市场价(每百万字符,2025-04 模型卡口径)
已确认 · 2025-04
成熟度
产品
研究 → 演示 → 产品 → 生产
编辑判断

评为 B 档(confirmed),但要说清 confirmed 的是哪一条:不是音质,而是成本。模型卡自己给出了 2025 年 4 月的市场口径——按 API 提供 Kokoro 的价格低于每百万字符 1 美元,折合约每小时音频输出低于 0.06 美元(平均 1000 字符输入约 1 分钟输出),并附了两个相互独立的来源:ArtificialAnalysis 记录的 Replicate 价 65 美分/百万字符,以及 DeepInfra 上 hexgrad/Kokoro-82M 的 80 美分/百万字符。两个独立第三方定价指向同一个量级,这一条按契约可以升 B。仓库 9,061★、Apache-2.0(2026-09-29 经 GitHub API 核)。音质部分只转述、不复算,也没有做过盲听。

它在音频域梯顶扮演的角色与其它行不同:它是这个域的成本下限与许可下限。选 TTS 时最容易犯的错是拿旗舰模型的指标去做全场景预算,而真实世界里大量需求(通知播报、无障碍朗读、内部工具、边缘设备)根本不需要克隆音色,只需要「便宜、可商用、能自托管、不出错」。Kokoro 用 82M 参数、约 1000 美元训练成本(1000 个 A100-80GB GPU 小时,v0.19 与 v1.0 各 500 小时,均价约 1 美元/小时)把这条线钉住了。有了这个下限,再去评估 Eleven v4 或 CosyVoice 3 这类旗舰时,你才知道自己多付的钱买的是什么。

第二个理由是训练数据的合规可审计性,这在 TTS 领域几乎是唯一的。模型卡明写训练只用了「许可宽松/无版权」的音频与 IPA 音素标注,并逐类列出:公有领域音频、Apache/MIT 等许可的音频、以及由大厂商闭源 TTS 模型生成的合成音频(引用了美国版权局的 AI 政策指引),同时明确排除「来自开源 TTS 模型的合成音频」与「自定义音色克隆」。它还给了一张 CC BY 署名表,写明 Koniwa 的 tnc(不足 1 小时,CC BY 3.0)与 SIWIS(不足 11 小时,CC BY 4.0)分别在 2024-11-22 之后并入训练集。对企业采购来说,这套披露比一句「遵循相关法规」有用得多——它让你能自己判断风险,而不是替你判断。

三条边界。一,它不做音色克隆:架构是 StyleTTS 2 + ISTFTNet 的 decoder-only(无扩散、encoder 未发布),v1.0 提供 8 种语言 54 个固定音色,你只能选,不能给它一段参考音频让它学一个新声音。这是它与 CosyVoice 3、Eleven v4 的根本分工差异,不是能力落后。二,开发节奏已经慢下来:仓库最近一次 push 是 2025-08-06,选型时要接受这是一个基本停止迭代的成熟小模型,而不是一个还在长的项目。三,它的知名度已经长出钓鱼面:模型卡专门挂了一段警告,说 kokorottsai_com、kokorotts_net 这类根域里带 kokoro 的站点与本模型及其作者没有任何关系,并附了存档快照。这条对读者有实操意义:自托管走 HF 权重与 pip install kokoro,不要在搜索引擎首页的「Kokoro 官网」上付钱。

Text-to-SpeechOpen WeightsApache-2.0Cost Efficiency
hexgrad官网github.com/hexgrad/kokoro2 min read896

它解决的问题:当模型免费时,一次 TTS 部署到底要花多少钱

Kokoro 是 hexgrad 发布的开放权重 TTS 模型,82M 参数,Apache-2.0,仓库 hexgrad/kokoro(9,061★,最近 push 2025-08-06,本站经 GitHub API 核)。模型卡的自我陈述很克制:尽管架构轻量,它的质量与大得多的模型相当,同时显著更快、更省钱;权重是 Apache 许可,所以从生产环境到个人项目都能部署。v1.0 于 2025-01-27 发布,训练数据是几百小时量级,提供 8 种语言 54 个音色;上一版 v0.19(2024-12-25)只有 1 种语言 10 个音色、训练数据不足 100 小时。

它最值得被记住的不是某一榜的名次,而是把「TTS 的成本结构」公开算了一遍:

项v0.19v1.0合计
A100 80GB GPU 小时5005001000
均价$0.80/小时$1.20/小时约 $1/小时
美元$400$600$1000
训练数据<100 小时几百小时-
语言 / 音色1 / 108 / 54-

1000 美元训练出一个被大量商业 API 采用的模型,这件事的行业意义在于它把「训一个能用的 TTS」从大厂专属变成个人可及。模型卡的致谢里也记着这条线是怎么被看见的:感谢 @Pendrokar 把 Kokoro 加进 TTS Spaces Arena 当竞争者,感谢所有贡献合成训练数据的人与算力赞助者。它由 Discord 上的 @rzvzn 训练,架构出自 Li 等人的 StyleTTS 2,基座是 yl4579/StyleTTS2-LJSpeech。

市场价格:两个独立来源指向同一个量级

模型卡在 2025 年 4 月给出的口径是:按 API 提供 Kokoro 的市场价低于每百万字符 1 美元,折合约每小时音频输出低于 0.06 美元(平均 1000 字符输入约 1 分钟输出)。两个来源相互独立:

  • ArtificialAnalysis 记录的 Replicate 价:65 美分 / 百万字符;
  • DeepInfra 上 hexgrad/Kokoro-82M 的标价:80 美分 / 百万字符。

把这两个数换算成业务语言:一小时成品音频的语音成本约 3 到 5 美分。这条价格线是本站在音频域做选型比较时的参照下限——高于它的部分,买的是音色克隆、方言覆盖、情感控制、流式延迟或者合规背书,而不是「能不能听」。

技术形态:decoder-only,所以它不克隆音色

架构是 StyleTTS 2 + ISTFTNet,decoder-only:没有扩散,encoder 也没有发布。G2P(字素到音素)走作者自己维护的 misaki 库,系统侧依赖 espeak-ng,输出采样率 24kHz。最小可跑代码就这几行:

pip install "kokoro>=0.9.2" soundfile
apt-get -qq -y install espeak-ng

from kokoro import KPipeline
import soundfile as sf

pipeline = KPipeline(lang_code="a")        # 语言码,a = 美式英语
text = "Kokoro is an open-weight TTS model with 82 million parameters."
generator = pipeline(text, voice="af_heart")   # 54 个固定音色之一
for i, (gs, ps, audio) in enumerate(generator):
    sf.write(f"{i}.wav", audio, 24000)

这里有个容易被忽略的设计:输入文本里可以内联音素覆盖([Kokoro](/kˈOkəɹO/)),即在不改模型的前提下钉死某个词的读法。它与 CosyVoice 3 的拼音/CMU 音素级发音修正是同一类思路——都是把「读错」从概率问题变成声明式配置,只是 Kokoro 的作用域是词,而不是整段韵律。反过来,decoder-only 也决定了它没有零样本音色克隆:54 个音色是训练进去的,给一段参考音频不会长出新声音。这不是缺陷,是分工。

训练数据:一张可以被审计的合规表

模型卡对数据来源的披露在 TTS 领域几乎找不到第二份这么细的。它声明 Kokoro 只用许可宽松/无版权的音频与 IPA 音素标注训练,并举例三类:公有领域音频、Apache/MIT 等许可的音频、以及由大厂商闭源 TTS 模型生成的合成音频(脚注引了美国版权局的 AI 政策指引),第二个脚注明确写着「不使用来自开源 TTS 模型的合成音频,也不使用自定义音色克隆」。CC BY 部分单独给了一张署名表:

音频数据使用时长许可并入训练集的时间
Koniwa tnc<1 小时CC BY 3.0v0.19 之后 / 2024-11-22
SIWIS<11 小时CC BY 4.0v0.19 之后 / 2024-11-22

模型 SHA256 也公开(496dba11...),意味着你能校验自己下到的是不是同一个权重。对合规敏感的采购方,这三件事——数据来源分类、署名表、权重哈希——合起来才是「Apache-2.0」这四个字的实际含金量。

边界与失败模式

五条。不克隆音色:需要参考音频驱动的场景直接出局,看 CosyVoice 3(开源)或 Eleven v4(闭源)。24kHz 输出:够播报与朗读,不够音乐级母带;需要 48kHz 的场景要么后期重采样,要么换模型。语言与音色是封闭集合:8 种语言 54 个音色,v1.0 之后没有继续扩,中文等非英语语种的实际可用度要自己试听。项目基本停更:最近一次 push 是 2025-08-06,不会有新特性,好处是稳定、坏处是遇到 bug 只能自己改。钓鱼站:模型卡点名 kokorottsai_com、kokorotts_net 这类根域带 kokoro 的站点与本模型及作者无关(附了 archive.ph 快照),并说任何暗示有关联的表述都是危险信号。真正的入口只有两个:Hugging Face 的 hexgrad/Kokoro-82M 与 GitHub 的 hexgrad/kokoro。

同域资产:语音与音频

4
语音与音频影音创作梯顶C

Gemini 3.8 Flash TTS:把导演级语音指导做成 API 参数

Google 的语音生成模型(gemini-3.8-flash-tts),官方定位 studio-grade voice fidelity、expressive acting 与 long-form stability,有声书翻车不是单句难听,是念到第三小时音色漂了。设计把作用域切开:文本字段严格当逐字稿,表演指令走另一条通道不会被念出来,修掉「(叹气)」被念出来的老问题;整轮风格走 speech_metadata.style,词级情感用竖线标签只影响那一个词。音色四类:预置、扩展库、语音设计 ID(自然语言造音色后复用)、克隆 ID,设计与克隆是 3.8 才补齐。规格:130 语言、自动检测输入语言,默认 WAV 24 kHz,单请求最多 2 个说话人且只能用预置音色。计费按音频 token、25 tokens 一秒,付费层每百万 tokens $0.50 输入 / $9.00 输出(至 2026-12-31,之后 $1.00/$18.00)。边界:24 kHz 非母带级;克隆合规责任在使用方。12 个榜无语音榜,与 ElevenLabs v3 并列不排名。置信度 C(厂商宣称):未做可懂度测量与盲听对比。

全支持语音设计+克隆+多说话人厂商宣称 · 2026-09
产品Google官网
Gemini 3.8 Flash TTS:把导演级语音指导做成 API 参数
语音与音频影音创作梯顶A

VoiceStudio:把商用语音栈的整套工序搬到本地,并默认开给 agent

开源、完全本地的语音工作台(debpalash/VoiceStudio,AGPL-3.0,Python + Electron),自我定位为 ElevenLabs 的本地替代品:声音克隆、声音设计、视频配音、听写、转写与有声书制作,官方称覆盖 646 种语言。仓库 2026-04-09 建仓,到 2026-09-29 有 42,831 star / 5,005 fork。它是音频域本地自托管方向的梯顶,依据不是某个模型更强,而是抽象层有用:开源语音能力散落在十几个仓库里,各有自己的权重格式、设备要求、克隆接口与许可,拼一条「克隆音色→转写→对齐→配音→有声书」的产线,工程量主要花在粘合上;VoiceStudio 把 17 个 TTS 与 11 个 ASR 引擎收进统一注册表,逐引擎上报设备(CUDA/MPS/CPU)、是否可克隆、max_ref_seconds 与 ref_strategy,并给出可跑的工作流。对 agent 尤其关键:本地 API 与 MCP server 是产品自带的一等能力,README 直接给了可粘进 Claude Code / Codex / Cursor 的安装指令,还支持 npx skills add 装 skill,意味着编码 agent 可以把配音与转写当工具调用而不需要人点界面。参考音频口径也严谨:上限 75 秒,但真正进模型多少由引擎决定并逐引擎上报,超限时自动与已保存的转写会被忽略,给默认 OmniVoice 传超过 20 秒并附文本会以 [clone_ref_too_long] 直接报错。指标口径要说清:官方 docs/benchmarks.md 有一套真实 harness(逐阶段 profiling、内存不足拒绝启动、只收具名硬件与版本上的 RTF 热态与峰值显存、明确没有数字是估的),但结果一栏写着 No verified rows yet,所以没有给出任何性能数字,卡片上只用自核的 GitHub star 数并据此记 A 档(可核验);这个 A 只针对数字为真,不针对它比 ElevenLabs 好。四条边界:AGPL-3.0 是强 copyleft 且带网络条款,嵌进对外 SaaS 需开放自己的服务端源码,闭源商用要么进程隔离只调本地 API(自行法律评估)要么改用 Apache-2.0 的 CosyVoice 3 / Kokoro 自行组装;模型各自有许可(Breeze-TTS-2 权重研究非商用、Supertonic-3 与 PocketTTS 需额外许可、GPT-SoVITS 要跑自己的 server),商用前逐模型核对;646 种语言是仓库自述,真实覆盖取决于所选引擎(Parakeet 25 种欧洲语言、FunASR 50+、Whisper 系更广),未逐语言核验;桌面端只剩 Electron,0.5.3 是最后一个 Tauri 版本,老用户必须迁移。它与 Eleven v4 在梯度上并存而不互相替代:一个代表闭源商用栈的质量上限与省心,一个代表本地自托管的数据主权与引擎可替换性。

42,831GitHub Stars(2026-09-29,本站经 GitHub API 核)已确认 · 2026-09
产品debpalash (open source)官网Repo
VoiceStudio:把商用语音栈的整套工序搬到本地,并默认开给 agent
视频生成影音创作梯顶C

可灵 3.0 系列:音频原生进模型、画面到 4K,参数化镜头语言仍是它的护城河

快手可灵是国内最早把视频生成推到「能接商业单」水位的一条主线,长期强项不在纯文生视频,而在图生视频与运镜控制:先由图像环节锁定构图与角色,再让视频模型在确定的关键帧上补间,配合首尾帧约束与推/拉/摇/移/环绕/跟随的镜头参数,做出可预测的短片段。3.0 系列(官方 release-note 横幅:全面开放 API)带来三处实质跃迁——音频原生进模型(5/10/12 秒音频档)、图像与视频原生 2K/4K、智能分镜与元素参考把多镜头连贯从剪辑问题变成模型可控问题;型号分工为 3.0 / 3.0 Omni / 3.0 Turbo、Kling Image 3.0 与 -omni、Native 4K Video、Motion Control。竞技场水位说实话:图生视频 kling-v3-pro 第 19(Elo 1354),前面是 MiniMax h3、gemini-omni、wan3.0、seedance-2.5。3.0 系列的官方发布精确日期未拿到权威源,指标日期只按可核验月份记 2026-09。闭源、只走厂商接口;未做基准复现,置信度记 C。

3.0 / Omni / Turbo当前旗舰系列厂商宣称 · 2026-09
产品快手 Kuaishou官网
可灵 3.0 系列:音频原生进模型、画面到 4K,参数化镜头语言仍是它的护城河
语音与音频影音创作梯顶C

Eleven v3:一条把「说、听、唱」做齐的商用音频栈

ElevenLabs 的旗舰语音合成模型,官方称情感最丰富、最具表现力:戏剧化演绎、70+ 种语言、单次 5,000 字符、自然的多说话人对话,并随 v3 提供独立的 Text to Dialogue API,把多角色对白做成接口而不是 prompt 技巧。它是音频域梯顶,依据是背后唯一一条把说、听、唱都做齐的商用音频栈:TTS 四档、ASR 三档(含 Medical)、音乐两档。TTS 四档三轴互斥:v3 表现力最强但非实时、单次 5,000 字符;Flash v2.5 延迟约 75ms、每字符便宜 50%;Multilingual v2 长文本最稳却只有 29 语言;没有全能档,按场景分型号。ASR 侧 Scribe v2 覆盖 90+ 语言、32 人分离。延迟都是模型侧口径,不含网络与上游 LLM 时间,不能当 SLA 读。边界:长文本要自己分段,接缝处的韵律与音色一致性由你负责;闭源不可自托管,数据主权敏感场景是硬门槛。第三方榜里没有语音榜,与 Gemini 3.8 Flash TTS 并列不排名。置信度 C(厂商宣称):未复算 WER、未做盲听对比。

70+语言覆盖厂商宣称 · 2026-09
产品ElevenLabs官网
Eleven v3:一条把「说、听、唱」做齐的商用音频栈

本站含 CakeGrowth 联盟推广链接,我们可能从符合条件的购买中获得佣金。