snapdragon: add missing features to WoS scripts to achieve parity with ADB scripts (#20884)
* Add missing features to WoS scripts to achieve parity with ADB scripts * Fix line-ending in run-mtmd.ps1 Signed-off-by: Max Krasnyansky <maxk@qti.qualcomm.com> --------- Signed-off-by: Max Krasnyansky <maxk@qti.qualcomm.com> Co-authored-by: Max Krasnyansky <maxk@qti.qualcomm.com>
This commit is contained in:
parent
345de3cd87
commit
1922f87c2f
5 changed files with 100 additions and 2 deletions
|
|
@ -20,6 +20,14 @@ if ($null -ne $env:V) {
|
||||||
$env:GGML_HEXAGON_VERBOSE=$env:V
|
$env:GGML_HEXAGON_VERBOSE=$env:V
|
||||||
}
|
}
|
||||||
|
|
||||||
|
if ($null -ne $env:E) {
|
||||||
|
$env:GGML_HEXAGON_EXPERIMENTAL=$env:E
|
||||||
|
}
|
||||||
|
|
||||||
|
if ($null -ne $env:PROF) {
|
||||||
|
$env:GGML_HEXAGON_PROFILE=$env:PROF; $env:GGML_HEXAGON_OPSYNC=1
|
||||||
|
}
|
||||||
|
|
||||||
if ($null -ne $env:OPMASK) {
|
if ($null -ne $env:OPMASK) {
|
||||||
$env:GGML_HEXAGON_OPMASK=$env:OPMASK
|
$env:GGML_HEXAGON_OPMASK=$env:OPMASK
|
||||||
}
|
}
|
||||||
|
|
@ -32,6 +40,10 @@ if ($null -ne $env:NDEV) {
|
||||||
$env:GGML_HEXAGON_NDEV=$env:NDEV
|
$env:GGML_HEXAGON_NDEV=$env:NDEV
|
||||||
}
|
}
|
||||||
|
|
||||||
|
if ($null -ne $env:HB) {
|
||||||
|
$env:GGML_HEXAGON_HOSTBUF=$env:HB
|
||||||
|
}
|
||||||
|
|
||||||
$env:ADSP_LIBRARY_PATH="$basedir\lib"
|
$env:ADSP_LIBRARY_PATH="$basedir\lib"
|
||||||
|
|
||||||
& "$basedir\bin\llama-bench.exe" `
|
& "$basedir\bin\llama-bench.exe" `
|
||||||
|
|
|
||||||
|
|
@ -44,10 +44,14 @@ if ($null -ne $env:NDEV) {
|
||||||
$env:GGML_HEXAGON_NDEV=$env:NDEV
|
$env:GGML_HEXAGON_NDEV=$env:NDEV
|
||||||
}
|
}
|
||||||
|
|
||||||
|
if ($null -ne $env:HB) {
|
||||||
|
$env:GGML_HEXAGON_HOSTBUF=$env:HB
|
||||||
|
}
|
||||||
|
|
||||||
$env:ADSP_LIBRARY_PATH="$basedir\lib"
|
$env:ADSP_LIBRARY_PATH="$basedir\lib"
|
||||||
|
|
||||||
& "$basedir\bin\llama-cli.exe" `
|
& "$basedir\bin\llama-cli.exe" `
|
||||||
--no-mmap -m $basedir\..\..\gguf\$model `
|
--no-mmap -m $basedir\..\..\gguf\$model `
|
||||||
--poll 1000 -t 6 --cpu-mask 0xfc --cpu-strict 1 `
|
--poll 1000 -t 6 --cpu-mask 0xfc --cpu-strict 1 `
|
||||||
--ctx-size 8192 --ubatch-size 128 -fa on `
|
--ctx-size 8192 --ubatch-size 256 -fa on `
|
||||||
-ngl 99 --device $device $cli_opts
|
-ngl 99 --device $device $cli_opts
|
||||||
|
|
|
||||||
|
|
@ -44,10 +44,14 @@ if ($null -ne $env:NDEV) {
|
||||||
$env:GGML_HEXAGON_NDEV=$env:NDEV
|
$env:GGML_HEXAGON_NDEV=$env:NDEV
|
||||||
}
|
}
|
||||||
|
|
||||||
|
if ($null -ne $env:HB) {
|
||||||
|
$env:GGML_HEXAGON_HOSTBUF=$env:HB
|
||||||
|
}
|
||||||
|
|
||||||
$env:ADSP_LIBRARY_PATH="$basedir\lib"
|
$env:ADSP_LIBRARY_PATH="$basedir\lib"
|
||||||
|
|
||||||
& "$basedir\bin\llama-completion.exe" `
|
& "$basedir\bin\llama-completion.exe" `
|
||||||
--no-mmap -m $basedir\..\..\gguf\$model `
|
--no-mmap -m $basedir\..\..\gguf\$model `
|
||||||
--poll 1000 -t 6 --cpu-mask 0xfc --cpu-strict 1 `
|
--poll 1000 -t 6 --cpu-mask 0xfc --cpu-strict 1 `
|
||||||
--ctx-size 8192 --batch-size 128 -fa on `
|
--ctx-size 8192 --batch-size 256 -fa on `
|
||||||
-ngl 99 -no-cnv --device $device $cli_opts
|
-ngl 99 -no-cnv --device $device $cli_opts
|
||||||
|
|
|
||||||
74
scripts/snapdragon/windows/run-mtmd.ps1
Normal file
74
scripts/snapdragon/windows/run-mtmd.ps1
Normal file
|
|
@ -0,0 +1,74 @@
|
||||||
|
#!/usr/bin/env pwsh
|
||||||
|
|
||||||
|
# Basedir on device
|
||||||
|
$basedir=".\pkg-snapdragon"
|
||||||
|
|
||||||
|
$cli_opts=$args
|
||||||
|
|
||||||
|
$model="gemma-3-4b-it-Q4_0.gguf"
|
||||||
|
if ($null -ne $env:M) {
|
||||||
|
$model=$env:M
|
||||||
|
}
|
||||||
|
|
||||||
|
$mmproj="mmproj-F16.gguf"
|
||||||
|
if ($null -ne $env:MMPROJ) {
|
||||||
|
$mmproj=$env:MMPROJ
|
||||||
|
}
|
||||||
|
|
||||||
|
$image=""
|
||||||
|
if ($null -ne $env:IMG) {
|
||||||
|
$image=$env:IMG
|
||||||
|
}
|
||||||
|
|
||||||
|
$device="HTP0"
|
||||||
|
if ($null -ne $env:D) {
|
||||||
|
$device=$env:D
|
||||||
|
}
|
||||||
|
|
||||||
|
if ($null -ne $env:V) {
|
||||||
|
$env:GGML_HEXAGON_VERBOSE=$env:V
|
||||||
|
}
|
||||||
|
|
||||||
|
# Default experimental to 1
|
||||||
|
$env:GGML_HEXAGON_EXPERIMENTAL=1
|
||||||
|
if ($null -ne $env:E) {
|
||||||
|
$env:GGML_HEXAGON_EXPERIMENTAL=$env:E
|
||||||
|
}
|
||||||
|
|
||||||
|
if ($null -ne $env:SCHED) {
|
||||||
|
$env:GGML_SCHED_DEBUG=$env:SCHED; $cli_opts="$cli_opts -v"
|
||||||
|
}
|
||||||
|
|
||||||
|
if ($null -ne $env:PROF) {
|
||||||
|
$env:GGML_HEXAGON_PROFILE=$env:PROF; $env:GGML_HEXAGON_OPSYNC=1
|
||||||
|
}
|
||||||
|
|
||||||
|
if ($null -ne $env:OPMASK) {
|
||||||
|
$env:GGML_HEXAGON_OPMASK=$env:OPMASK
|
||||||
|
}
|
||||||
|
|
||||||
|
if ($null -ne $env:NHVX) {
|
||||||
|
$env:GGML_HEXAGON_NHVX=$env:NHVX
|
||||||
|
}
|
||||||
|
|
||||||
|
if ($null -ne $env:NDEV) {
|
||||||
|
$env:GGML_HEXAGON_NDEV=$env:NDEV
|
||||||
|
}
|
||||||
|
|
||||||
|
if ($null -ne $env:HB) {
|
||||||
|
$env:GGML_HEXAGON_HOSTBUF=$env:HB
|
||||||
|
}
|
||||||
|
|
||||||
|
if ($null -ne $env:MTMD_DEVICE) {
|
||||||
|
$env:MTMD_BACKEND_DEVICE=$env:MTMD_DEVICE
|
||||||
|
}
|
||||||
|
|
||||||
|
$env:ADSP_LIBRARY_PATH="$basedir\lib"
|
||||||
|
|
||||||
|
& "$basedir\bin\llama-mtmd-cli.exe" `
|
||||||
|
--no-mmap -m $basedir\..\..\gguf\$model `
|
||||||
|
--mmproj $basedir\..\..\gguf\$mmproj `
|
||||||
|
--image $basedir\..\..\gguf\$image `
|
||||||
|
--poll 1000 -t 6 --cpu-mask 0xfc --cpu-strict 1 `
|
||||||
|
--ctx-size 8192 --ubatch-size 256 -fa on `
|
||||||
|
-ngl 99 --device $device -v $cli_opts
|
||||||
|
|
@ -50,6 +50,10 @@ if ($null -ne $env:NDEV) {
|
||||||
$env:GGML_HEXAGON_NDEV=$env:NDEV
|
$env:GGML_HEXAGON_NDEV=$env:NDEV
|
||||||
}
|
}
|
||||||
|
|
||||||
|
if ($null -ne $env:HB) {
|
||||||
|
$env:GGML_HEXAGON_HOSTBUF=$env:HB
|
||||||
|
}
|
||||||
|
|
||||||
$env:ADSP_LIBRARY_PATH="$basedir\lib"
|
$env:ADSP_LIBRARY_PATH="$basedir\lib"
|
||||||
|
|
||||||
& "$basedir\bin\$tool" `
|
& "$basedir\bin\$tool" `
|
||||||
|
|
|
||||||
Loading…
Add table
Add a link
Reference in a new issue