HeyGem 开源数字人口播

HeyGem 是 duix.com 团队开源的数字人视频工具箱,GitHub 约 1.6 万星,用 C 写核心、可完全离线运行。录一段真人素材,它就学会你的形象和声音,之后给它一段文字,它自己合成一段你「在说话」的口播视频,一天出几十条不用再对着镜头重录。

口播是最耗人的环节。一条一分钟的稿子,打光、对焦、读错一个字重来、口误剪掉、背景音有杂音再录一遍,四十分钟就没了。做矩阵号的更狠,同一个脚本要在五个账号上换五种说法,等于把同一段话对着镜头再说四十遍。

它到底在解决什么

HeyGem 干的是「一次采集、无限复用」:先用摄像头录一段几十秒的正脸素材,工具把形象和声音特征提取出来存成本地模型,之后输入文本,它合成口型对得上的视频。全流程跑在自己的机器上,素材不出局域网,对需要保护真人口播形象的账号很关键。据 GitHub 项目页显示,它的定位是「Truly open-source AI avatar toolkit for offline video generation」。

关键参数一览

项目 情况
核心语言 C / Python,本地推理
运行环境 Windows 为主,官方提供一键包与容器部署方式
硬件要求 需要独立显卡,显存越大合成越快,纯 CPU 基本跑不动
输入 一段正面人像素材 + 一份文本或音频
输出 口型同步的 MP4 视频,可批量排队合成
许可 仓库为自定义开源许可,商用前务必读条款

适合人群

  • 做矩阵号、需要同一张脸铺多个账号的运营
  • 企业培训、产品说明:同一套话术批量做本地化版本
  • 不想长期出镜、又想保持真人形象的创作者
  • 有显卡、愿意折腾部署的技术型玩家

上手步骤

  1. 先确认机器有独立显卡,装好显卡驱动;这一步不满足,后面会卡在推理上。
  2. 到仓库 Releases 页取 Windows 一键包,或按说明起 Docker 服务,首次启动会下载模型权重。
  3. 打开界面后先做形象采集:正脸、光线均匀、背景别太花,录三十秒到一分钟。
  4. 填入要说的文本,选择刚才训练好的形象,点合成。
  5. 排队等进度条走完,成片在输出目录里,批量做就把文本存成多行一次提交。

几个容易踩的点

部署门槛是这类项目最大的坎,文档写的「一键」经常要自己补 CUDA 和依赖,第一次装留出两小时比较现实。形象素材决定成品质量:戴眼镜、侧脸、手挡嘴都会让口型对不齐。合成出来的视频建议再过一遍剪辑,加字幕和 B-roll,纯数字人长时间出镜仍然容易被看出僵硬。

问:HeyGem 要什么显卡才能跑?

答:官方推荐 N 卡独立显卡,显存 8GB 起步比较稳,4GB 只能跑很短的片段。核显和纯 CPU 基本不用试。

问:免费吗?能商用吗?

答:代码开源可免费部署,但许可是自定义条款,涉及商业用途、肖像权、声音授权要自己承担。用别人的脸和声音合成,法律风险在用户这边。

问:合成出来假不假?

答:正面、静态、几十秒的口播最自然;大动作、快速转头、长镜头容易露馅。实际用法是配合剪辑切镜头,别让数字人一口气讲三分钟。

问:能识别中文吗?

答:中文文本合成没问题,音色克隆对普通话素材效果最好,方言口音重的话建议用标准音色。

最后更新:2026-11-10

声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。