Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

1.60版本是否还是不能调用GPU? #104

Open
shensea78 opened this issue Feb 24, 2025 · 13 comments
Open

1.60版本是否还是不能调用GPU? #104

shensea78 opened this issue Feb 24, 2025 · 13 comments

Comments

@shensea78
Copy link

今天尝试使用了一下,cpu立马占满,gpu完全不工作,而且取消以后cpu仍然100%运行,1.60是否仍没有调用gpu?

@buxuku
Copy link
Owner

buxuku commented Feb 25, 2025

请先卸载老版本,重新安装新版本,并在设置里面,重新安装一下 whisper 试一下。并确认在设置里面的内置 whisper 命令里面有 --device cuda 参数

@myblogsinchina
Copy link

取消以后要在管理器里杀掉main.exe

@a630050
Copy link

a630050 commented Feb 27, 2025

還是無法調用GPU

本地 Whisper 命令:默認有--device cuda 這個參數,打開【使用本地 Whisper 命令】,但執行還是沒有調用GPU,CPU大幅提升

内置 Whisper 命令:默認沒有--device cuda 這個參數,我在最後面加這句參數,然後關閉【使用本地 Whisper 命令】,執行後,提取字幕階段會直接打勾完成,但實際沒有字幕檔,第三翻譯階段就會報錯說找不到這個檔案。

請問具體要如何設定才是對的呢?

@shensea78
Copy link
Author

還是無法調用GPU

本地 Whisper 命令:默認有--device cuda 這個參數,打開【使用本地 Whisper 命令】,但執行還是沒有調用GPU,CPU大幅提升

内置 Whisper 命令:默認沒有--device cuda 這個參數,我在最後面加這句參數,然後關閉【使用本地 Whisper 命令】,執行後,提取字幕階段會直接打勾完成,但實際沒有字幕檔,第三翻譯階段就會報錯說找不到這個檔案。

請問具體要如何設定才是對的呢?

我遇到的和你一样的问题

@KenAir
Copy link

KenAir commented Mar 2, 2025

問了下 ChatGPT,應該是 Windows 版本沒有做Cuda的支援編譯:

从报错和输出的 Usage 帮助可以看出,你当前使用的 whisper.cpp CLI 并不支持 --device cuda 这个参数。这个参数常见于 Python 版 whisper 或者某些第三方封装,而 whisper.cpp 原生的命令行选项里并没有 --device 相关的参数。

在 whisper.cpp 里,如果编译时开启了 GPU(例如 OpenCL、cuBLAS、Metal 等),默认就会尝试使用 GPU。唯一与 GPU 相关的选项是 -ng, --no-gpu,用来禁用 GPU。如果你没有显式传 -ng,并且编译时开启了 GPU,那么就会自动用 GPU。

换句话说:

whisper.cpp 默认没有 --device cuda 这种参数,如果你看到别人用这个参数,那通常是另一个版本或 Python 包的 whisper。
如果你想在 whisper.cpp 中启用 GPU,需要在编译时启用相应的 GPU 支持(例如 cmake -DWHISPER_USE_CUBLAS=ON .. 等),然后在运行时不加 -ng 即可自动使用 GPU。
如果想禁用 GPU,则加上 -ng 或 --no-gpu 参数。
因此,你现在看到的错误信息是因为 whisper.cpp 的可执行文件不识别 --device cuda,只要去掉这个参数、并且你的可执行文件是带有 GPU 支持的编译版本,whisper.cpp 就会自动使用 GPU。

臨時解決方案:替換 \resources\extraResources\whisper-bin-x64 下的 main.exe 就可以了,附上mega的鏈接:
https://mega.nz/file/hUhSzIQI#1LDppUTozCUusEG3q3PTt0N8GpjAhb02SUhhmwbjVF8

@shensea78 @a630050 CC一下開發者 @buxuku

@shensea78
Copy link
Author

問了下 ChatGPT,應該是 Windows 版本沒有做Cuda的支援編譯:

从报错和输出的 Usage 帮助可以看出,你当前使用的 whisper.cpp CLI 并不支持 --device cuda 这个参数。这个参数常见于 Python 版 whisper 或者某些第三方封装,而 whisper.cpp 原生的命令行选项里并没有 --device 相关的参数。

在 whisper.cpp 里,如果编译时开启了 GPU(例如 OpenCL、cuBLAS、Metal 等),默认就会尝试使用 GPU。唯一与 GPU 相关的选项是 -ng, --no-gpu,用来禁用 GPU。如果你没有显式传 -ng,并且编译时开启了 GPU,那么就会自动用 GPU。

换句话说:

whisper.cpp 默认没有 --device cuda 这种参数,如果你看到别人用这个参数,那通常是另一个版本或 Python 包的 whisper。
如果你想在 whisper.cpp 中启用 GPU,需要在编译时启用相应的 GPU 支持(例如 cmake -DWHISPER_USE_CUBLAS=ON .. 等),然后在运行时不加 -ng 即可自动使用 GPU。
如果想禁用 GPU,则加上 -ng 或 --no-gpu 参数。
因此,你现在看到的错误信息是因为 whisper.cpp 的可执行文件不识别 --device cuda,只要去掉这个参数、并且你的可执行文件是带有 GPU 支持的编译版本,whisper.cpp 就会自动使用 GPU。

臨時解決方案:替換 \resources\extraResources\whisper-bin-x64 下的 main.exe 就可以了,附上mega的鏈接: https://mega.nz/file/hUhSzIQI#1LDppUTozCUusEG3q3PTt0N8GpjAhb02SUhhmwbjVF8

@shensea78 @a630050 CC一下開發者 @buxuku

亲测有效!ps,不止要替换main.exe,你提供的压缩包内的文件要全部拷贝过去替换

@a630050
Copy link

a630050 commented Mar 3, 2025

問了下 ChatGPT,應該是 Windows 版本沒有做Cuda的支援編譯:

从报错和输出的 Usage 帮助可以看出,你当前使用的 whisper.cpp CLI 并不支持 --device cuda 这个参数。这个参数常见于 Python 版 whisper 或者某些第三方封装,而 whisper.cpp 原生的命令行选项里并没有 --device 相关的参数。

在 whisper.cpp 里,如果编译时开启了 GPU(例如 OpenCL、cuBLAS、Metal 等),默认就会尝试使用 GPU。唯一与 GPU 相关的选项是 -ng, --no-gpu,用来禁用 GPU。如果你没有显式传 -ng,并且编译时开启了 GPU,那么就会自动用 GPU。

换句话说:

whisper.cpp 默认没有 --device cuda 这种参数,如果你看到别人用这个参数,那通常是另一个版本或 Python 包的 whisper。
如果你想在 whisper.cpp 中启用 GPU,需要在编译时启用相应的 GPU 支持(例如 cmake -DWHISPER_USE_CUBLAS=ON .. 等),然后在运行时不加 -ng 即可自动使用 GPU。
如果想禁用 GPU,则加上 -ng 或 --no-gpu 参数。
因此,你现在看到的错误信息是因为 whisper.cpp 的可执行文件不识别 --device cuda,只要去掉这个参数、并且你的可执行文件是带有 GPU 支持的编译版本,whisper.cpp 就会自动使用 GPU。

臨時解決方案:替換 \resources\extraResources\whisper-bin-x64 下的 main.exe 就可以了,附上mega的鏈接: https://mega.nz/file/hUhSzIQI#1LDppUTozCUusEG3q3PTt0N8GpjAhb02SUhhmwbjVF8
@shensea78 @a630050 CC一下開發者 @buxuku

亲测有效!ps,不止要替换main.exe,你提供的压缩包内的文件要全部拷贝过去替换
謝謝提供寶貴資訊

確認一下 設定要選【本地 Whisper 命令】還是【内置 Whisper 命令】?

@shensea78
Copy link
Author

問了下 ChatGPT,應該是 Windows 版本沒有做Cuda的支援編譯:

从报错和输出的 Usage 帮助可以看出,你当前使用的 whisper.cpp CLI 并不支持 --device cuda 这个参数。这个参数常见于 Python 版 whisper 或者某些第三方封装,而 whisper.cpp 原生的命令行选项里并没有 --device 相关的参数。

在 whisper.cpp 里,如果编译时开启了 GPU(例如 OpenCL、cuBLAS、Metal 等),默认就会尝试使用 GPU。唯一与 GPU 相关的选项是 -ng, --no-gpu,用来禁用 GPU。如果你没有显式传 -ng,并且编译时开启了 GPU,那么就会自动用 GPU。

换句话说:

whisper.cpp 默认没有 --device cuda 这种参数,如果你看到别人用这个参数,那通常是另一个版本或 Python 包的 whisper。
如果你想在 whisper.cpp 中启用 GPU,需要在编译时启用相应的 GPU 支持(例如 cmake -DWHISPER_USE_CUBLAS=ON .. 等),然后在运行时不加 -ng 即可自动使用 GPU。
如果想禁用 GPU,则加上 -ng 或 --no-gpu 参数。
因此,你现在看到的错误信息是因为 whisper.cpp 的可执行文件不识别 --device cuda,只要去掉这个参数、并且你的可执行文件是带有 GPU 支持的编译版本,whisper.cpp 就会自动使用 GPU。

臨時解決方案:替換 \resources\extraResources\whisper-bin-x64 下的 main.exe 就可以了,附上mega的鏈接: https://mega.nz/file/hUhSzIQI#1LDppUTozCUusEG3q3PTt0N8GpjAhb02SUhhmwbjVF8
@shensea78 @a630050 CC一下開發者 @buxuku

亲测有效!ps,不止要替换main.exe,你提供的压缩包内的文件要全部拷贝过去替换
謝謝提供寶貴資訊

確認一下 設定要選【本地 Whisper 命令】還是【内置 Whisper 命令】?

就用内置命令,而且不用加--device cuda的命令,就自带的那一行,保存一下就行

@buxuku
Copy link
Owner

buxuku commented Mar 11, 2025

我现在发布了一个 2.0.0-beta.0 版本,尝试性地增加了 CUDA 的支持。但目前没有真机测试,欢迎帮忙测试并反馈

@a630050
Copy link

a630050 commented Mar 12, 2025

我现在发布了一个 2.0.0-beta.0 版本,尝试性地增加了 CUDA 的支持。但目前没有真机测试,欢迎帮忙测试并反馈
執行出現錯誤 (都只用默認配置) 跑large 3 turbo

Error: The specified module could not be found.
---\resources\extraResources\addons\win-x64-cuda\addon.node

@buxuku
Copy link
Owner

buxuku commented Mar 13, 2025

你电脑上面安装的 cuda toolkit 是多少版本的呢? 工具集成的是 12.8.1 版本。在使用 4070 显卡测试是可以正常跑在 GPU 上面的

Image

@buxuku
Copy link
Owner

buxuku commented Mar 14, 2025

这个需要确认你的电脑是否支持 CUDA 以及是否安装了 CUDA. tookit. 以及版本是否匹配。

你可以下载一下 v2.0.0-beta.1 版本,这个版本有 11.8.0 版本和 12.8.1 版本,可以根据自己的版本情况进行下载尝试。同时如果不支持 CUDA,会降级为 CPU 使用。

@a630050
Copy link

a630050 commented Mar 16, 2025

我兩種版本都裝了都不行 連cpu都沒有用
直接結束
產生原始字幕檔跟翻譯黨都是0K
我再測試看看 謝謝!

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

5 participants