jaime-m-p 3b38d48609 Per token attributes (#7685) ... * Add per token attributes enum * Using phi-3 for testing 'rstrip' * Using jina-v2 for testing 'lstrip' * Brute force test for 'lstrip' and 'rstrip' * Implement 'rstrip' and 'lstrip' * Update phi-3 GGUF file (obsolete since 917dc8c) * Replace llama_token_type with llama_token_attribs		2024-06-04 09:17:17 +02:00
..
.editorconfig
ggml-vocab-aquila.gguf
ggml-vocab-baichuan.gguf
ggml-vocab-bert-bge.gguf
ggml-vocab-bert-bge.gguf.inp
ggml-vocab-bert-bge.gguf.out
ggml-vocab-command-r.gguf
ggml-vocab-command-r.gguf.inp
ggml-vocab-command-r.gguf.out
ggml-vocab-deepseek-coder.gguf
ggml-vocab-deepseek-coder.gguf.inp
ggml-vocab-deepseek-coder.gguf.out
ggml-vocab-deepseek-llm.gguf
ggml-vocab-deepseek-llm.gguf.inp
ggml-vocab-deepseek-llm.gguf.out
ggml-vocab-falcon.gguf
ggml-vocab-falcon.gguf.inp
ggml-vocab-falcon.gguf.out
ggml-vocab-gpt-2.gguf
ggml-vocab-gpt-2.gguf.inp
ggml-vocab-gpt-2.gguf.out
ggml-vocab-gpt-neox.gguf
ggml-vocab-gpt2.gguf
ggml-vocab-llama-bpe.gguf
ggml-vocab-llama-bpe.gguf.inp
ggml-vocab-llama-bpe.gguf.out
ggml-vocab-llama-spm.gguf
ggml-vocab-llama-spm.gguf.inp
ggml-vocab-llama-spm.gguf.out
ggml-vocab-mpt.gguf
ggml-vocab-mpt.gguf.inp
ggml-vocab-mpt.gguf.out
ggml-vocab-phi-3.gguf	Per token attributes (#7685)	2024-06-04 09:17:17 +02:00
ggml-vocab-phi-3.gguf.inp
ggml-vocab-phi-3.gguf.out
ggml-vocab-qwen2.gguf
ggml-vocab-qwen2.gguf.inp
ggml-vocab-qwen2.gguf.out
ggml-vocab-refact.gguf
ggml-vocab-refact.gguf.inp
ggml-vocab-refact.gguf.out
ggml-vocab-stablelm.gguf
ggml-vocab-starcoder.gguf
ggml-vocab-starcoder.gguf.inp
ggml-vocab-starcoder.gguf.out