chatTTS-forge音色builder生成的json格式文件如何转化成字符串？

[atfa]

在ChatTTS-forge的音色builder功能中：

用zero shot模式生成的json文件，有什么办法可以转换成chatTTS的spk_emb的字符串呢？就是那种完全不知道怎么念的繁体中文字符串，就是这样的：

不知道可否有参考代码可以学习一下？

谢谢。

[zhzLuke96]

首先这个字符串就是一种编码模式，forge因为一些原因没用这种方式打包，所以转为 chatts 内部用的那种编码无法在forge中使用

不过如果你需要转换为 chattts 的格式也并不麻烦，我加了个脚本做这件事，具体可以看这个
e6a58c5

用法

python -m scripts.spk.get_spk_emb --spk ./data/speakers/Bob.spkv1.json --format b14

[atfa]

谢谢，感谢周末还在辛苦回复，并且专门写了脚本。我测试这个脚本后，就用“Bob.spkv1.json”为例，生成的b14格式的字符串为：

乀一嶀叿乒提丂丼沧冢牤畛慥罞艮菎擷常渧摏篼哹斺沺蝽摛挓襆漜綦瀎挭寙菶擨涇艴惚烇伥瀡礐缞忈脜滸谴站寷蟗杇瀷赨匙挒畀旦禭瞈昲乷擖匍敗厥螏慘紳箄嵽伄衛詠懠叛塺糬枋為双吧蕬匯涜摝缈沗儥納膞晰殴蘢别烝圐笏萪簡瓩揗趞导螂旛说嫙紈尣硷豆梢寴桖呱赟簎朄宼峋燄荌捕戈壬簟硩祒捂趨崧尸弿珛吵囒脴蟚剠圭硓臸獮潺亍潹謔蒭褋敝籢楂虧璉盹熊篽杋曐僎予莍嚙訒纯笹昃杣愋礅俳詫濅暯捑癉萮聋嘍汧箄専蟇劾灬孕塂紲蝏唯熙刣尾艸瘀㴅

用到chatTTS自带的examples/cmd/run.py里面，报错如下：

  File "ChatTTS/ChatTTS/model/tokenizer.py", line 133, in _decode_spk_emb
    return np.frombuffer(
           ^^^^^^^^^^^^^^
ValueError: buffer size must be a multiple of element size

我查看了tokenizer.py文件的133行，如下：

    @staticmethod
    def _decode_spk_emb(spk_emb: str) -> np.ndarray:
        return np.frombuffer(
            lzma.decompress(
                b14.decode_from_string(spk_emb),
                format=lzma.FORMAT_RAW,
                filters=[{"id": lzma.FILTER_LZMA2, "preset": 9 | lzma.PRESET_EXTREME}],
            ),
            dtype=np.float16,
        ).copy()

无论如何，感谢周末还在辛苦加班！

[zhzLuke96]

谢谢，感谢周末还在辛苦回复，并且专门写了脚本。我测试这个脚本后，就用“Bob.spkv1.json”为例，生成的b14格式的字符串为：

乀一嶀叿乒提丂丼沧冢牤畛慥罞艮菎擷常渧摏篼哹斺沺蝽摛挓襆漜綦瀎挭寙菶擨涇艴惚烇伥瀡礐缞忈脜滸谴站寷蟗杇瀷赨匙挒畀旦禭瞈昲乷擖匍敗厥螏慘紳箄嵽伄衛詠懠叛塺糬枋為双吧蕬匯涜摝缈沗儥納膞晰殴蘢别烝圐笏萪簡瓩揗趞导螂旛说嫙紈尣硷豆梢寴桖呱赟簎朄宼峋燄荌捕戈壬簟硩祒捂趨崧尸弿珛吵囒脴蟚剠圭硓臸獮潺亍潹謔蒭褋敝籢楂虧璉盹熊篽杋曐僎予莍嚙訒纯笹昃杣愋礅俳詫濅暯捑癉萮聋嘍汧箄専蟇劾灬孕塂紲蝏唯熙刣尾艸瘀㴅

用到chatTTS自带的examples/cmd/run.py里面，报错如下：

  File "ChatTTS/ChatTTS/model/tokenizer.py", line 133, in _decode_spk_emb
    return np.frombuffer(
           ^^^^^^^^^^^^^^
ValueError: buffer size must be a multiple of element size

我查看了tokenizer.py文件的133行，如下：

    @staticmethod
    def _decode_spk_emb(spk_emb: str) -> np.ndarray:
        return np.frombuffer(
            lzma.decompress(
                b14.decode_from_string(spk_emb),
                format=lzma.FORMAT_RAW,
                filters=[{"id": lzma.FILTER_LZMA2, "preset": 9 | lzma.PRESET_EXTREME}],
            ),
            dtype=np.float16,
        ).copy()

无论如何，感谢周末还在辛苦加班！

确实有点问题...

fixed f392260

[atfa]

感谢，现在已经可以对chatTTS-forge自带的那些json格式的音色进行转换，并且chatTTS可以使用，效果一致。但是如果用chatTTS-forge的音色builder生成json（上传wav文件，以及Refrence Text），似乎生成的json格式与自带的音色json不一样，自带的"_type": "torch.Tensor"，但是builder生成的"_type": "bytes"，因此转换时就会报错：

python -m scripts.spk.get_spk_emb --spk ~/Downloads/tmpez4v61za.spkv1.json  --format b14 
No token found in spk file: /Users/atfa/Downloads/tmpez4v61za.spkv1.json

[zhzLuke96]

感谢，现在已经可以对chatTTS-forge自带的那些json格式的音色进行转换，并且chatTTS可以使用，效果一致。但是如果用chatTTS-forge的音色builder生成json（上传wav文件，以及Refrence Text），似乎生成的json格式与自带的音色json不一样，自带的"_type": "torch.Tensor"，但是builder生成的"_type": "bytes"，因此转换时就会报错：

python -m scripts.spk.get_spk_emb --spk ~/Downloads/tmpez4v61za.spkv1.json  --format b14 
No token found in spk file: /Users/atfa/Downloads/tmpez4v61za.spkv1.json

首先， 这里涉及到 spk_emb 和 spk_smp（以及对应的 txt_smp ）两个不同的概念

• smp_emb: 指代的是说话人空间的向量，可以理解为 chatgpt 里面的 system prompt
• 而 spk_smp 和 txt_smp 是配对的，需要成对使用，也就是说这是一种类似 chatgpt 使用的时候需要给一些参考文本、答题规范之类的的 prompt

这两个向量概念无法互换，即 说话人 和 使用参考音频 是不一样的

这个脚本是用于提取 spk_emb 的，如果需要提取 spk_smp 略微麻烦需要加载模型，然后处理对应的音频

至于为什么在 spkv1.json 中储存为 _type 为 bytes ，是因为其他模型也可以使用参考音频但是模型向量空间不同，为了通用储存的是源数据

其实一般使用的话不需要关注 spk_smp 如何提取，这属于内部临时变量，如果你需要在 chttts 官方的演示webui里使用，只需要保证上传音频和文本，也就是 spk_smp 和 txt_smp 相同即可

[ai408]

请问有提供保存为chattts可直接使用的转换脚本吗？即将*.spkv1.json转换为768维度向量编码后的字符串。

[ai408]

scripts.spk.get_spk_emb 这个脚本可以用来提取 spkv1.json 文件中的 emb，参数设置 --format b14 就是输出 chattts 官方用的编码格式

可能自己没有表达清楚，想实现的目的是根据上传的wav文件生成对应chattts的speaker embedding file，类似这个功能http://region-9.autodl.pro:41137/

[zhzLuke96]

看下这条吧：#128 (reply in thread)

现在没有对 spk_smp 和 txt_smp 导出、编码的脚本，以后应该也不会有，因为你只需要保证上传音频和文本对应即可，没必要编码成一串字符

其次，你应该是误解了 spk_smp 和 spk_emb ，这个克隆音色的网页是生成的是 spk_emb，其和 spk_smp 不一样
也就是 参考音频 和 说话人向量 不一样没法混用更没法互相转换，自然你通过上传音频创建的 spk 文件也无法提取出 spk_emb ，因为本来就没有

[ai408]

看下这条吧：#128 (reply in thread)

现在没有对 spk_smp 和 txt_smp 导出、编码的脚本，以后应该也不会有，因为你只需要保证上传音频和文本对应即可，没必要编码成一串字符

其次，你应该是误解了 spk_smp 和 spk_emb ，这个克隆音色的网页是生成的是 spk_emb，其和 spk_smp 不一样 也就是 参考音频 和 说话人向量 不一样没法混用更没法互相转换，自然你通过上传音频创建的 spk 文件也无法提取出 spk_emb ，因为本来就没有

谢谢回复。没有误解，目标是清楚的，即根据上传的wav得到spk_emb，即说话人向量。所以好奇这个网站（http://region-9.autodl.pro:41137/）是怎么得到的，尽管克隆效果不好。

[atfa]

看下这条吧：#128 (reply in thread)
现在没有对 spk_smp 和 txt_smp 导出、编码的脚本，以后应该也不会有，因为你只需要保证上传音频和文本对应即可，没必要编码成一串字符
其次，你应该是误解了 spk_smp 和 spk_emb ，这个克隆音色的网页是生成的是 spk_emb，其和 spk_smp 不一样 也就是 参考音频 和 说话人向量 不一样没法混用更没法互相转换，自然你通过上传音频创建的 spk 文件也无法提取出 spk_emb ，因为本来就没有

谢谢回复。没有误解，目标是清楚的，即根据上传的wav得到spk_emb，即说话人向量。所以好奇这个网站（http://region-9.autodl.pro:41137/）是怎么得到的，尽管克隆效果不好。

1、http://region-9.autodl.pro:41137/ 的作者应该是自己训练了一个模型来推理更适合ChatTTS的speaker_emb，效果其实很不错。起码对普通话二级甲等以上水平的人来说，用 http://region-9.autodl.pro:41137/ 生成speaker_emb 的效果，比用 speaker_smp+speaker_txt的效果要好。我找了起码四个普通话二级甲等及以上（还有一个是一级）的人来测试，得到的这个主观结论。因为是别人自己训练的模型，所以看起来现在没有开源，似乎也不能使用了。建议还有继续期待chatTTS的进步。
2、speaker_emb和speaker_smp+speaker_txt是两种不同的“克隆音色”的方法。不能同时使用。speaker_emb和speaker_smp看起来都可以转换成一堆看不懂的中文，所以容易让人误会。

[ai408]

看下这条吧：#128 (reply in thread)
现在没有对 spk_smp 和 txt_smp 导出、编码的脚本，以后应该也不会有，因为你只需要保证上传音频和文本对应即可，没必要编码成一串字符
其次，你应该是误解了 spk_smp 和 spk_emb ，这个克隆音色的网页是生成的是 spk_emb，其和 spk_smp 不一样 也就是 参考音频 和 说话人向量 不一样没法混用更没法互相转换，自然你通过上传音频创建的 spk 文件也无法提取出 spk_emb ，因为本来就没有

谢谢回复。没有误解，目标是清楚的，即根据上传的wav得到spk_emb，即说话人向量。所以好奇这个网站（http://region-9.autodl.pro:41137/）是怎么得到的，尽管克隆效果不好。

1、http://region-9.autodl.pro:41137/ 的作者应该是自己训练了一个模型来推理更适合ChatTTS的speaker_emb，效果其实很不错。起码对普通话二级甲等以上水平的人来说，用 http://region-9.autodl.pro:41137/ 生成speaker_emb 的效果，比用 speaker_smp+speaker_txt的效果要好。我找了起码四个普通话二级甲等及以上（还有一个是一级）的人来测试，得到的这个主观结论。因为是别人自己训练的模型，所以看起来现在没有开源，似乎也不能使用了。建议还有继续期待chatTTS的进步。 2、speaker_emb和speaker_smp+speaker_txt是两种不同的“克隆音色”的方法。不能同时使用。speaker_emb和speaker_smp看起来都可以转换成一堆看不懂的中文，所以容易让人误会。

1.似乎也不能使用了：作者最近模型更新了，可以使用。我找个普通话标准的试试看。这个是针对新版本模型还是老版本模型结论？
2.speaker_emb和speaker_smp区别：至少简单理解，转tensor后的维度不一样，这个没有误解。
3.speaker_emb和speaker_smp+speaker_txt是两种不同的“克隆音色”的方法：前者对于chattts调用更方便，后者相对麻烦点儿。

[ByeLe]

想请问下大佬，我怎么没有这个选项，是要打开那个配置吗

[ByeLe]

大佬，想请教下，你这个是整合包吗，小弟我折腾了windows一天了，都没整出来