Ollama

# 设置模型存储位置
launchctl setenv OLLAMA_MODELS /Volumes/JZ4T/EasyWork/AI/ollama
# 设置允许外部访问
launchctl setenv OLLAMA_HOST "0.0.0.0"

# 查看已经下载的模型
ollama list
# 运行模型；没有下载就会自动下载
ollama run qwen2:72b
# 查看运行的模型状态；可以用来确认模型是否跑在 GPU 上
ollama ps

# 克隆 llama.cpp
git clone https://github.com/ggerganov/llama.cpp.git

# 查看 poetry 的配置
poetry config --list
# 创建 python3 环境
poetry env use python3
# 貌似有些 poetry 的问题，需要手动删除 poetry.lock
rm poetry.lock

# 安装依赖
pip3 install torch torchvision torchaudio
poetry install

# 下载模型
git clone https://www.modelscope.cn/Qwen/Qwen2-VL-72B.git
# 查看一下模型是否下载好了
git reset
# 如果有差异，可以删除差异的文件，重新下载，也可以全部重新下载
rm -rf .git/lfs
git lfs pull

# 激活虚拟环境
source .venv/bin/activate
# 模型转换；得到 gguf 模型
python convert_hf_to_gguf.py ../Qwen2-VL-72B

# https://github.com/ggerganov/llama.cpp/releases 获取 quantize 工具；注意输入权重和输出权重的路径
sudo ./llama-quantize ../../Qwen2-VL-72B/Qwen2-VL-72B-F16.gguf ../../Qwen2-VL-72B/Qwen2-VL-72B-Q8_0.gguf Q8_0

# 创建 Modelfile
echo "FROM Qwen2-VL-72B-Q8_0.gguf" > Modelfile

# 设置 ollama 模型存储路径
launchctl setenv OLLAMA_MODELS /Volumes/xxx/ollama

# 在 ollama 创建模型
ollama create Qwen2-VL:72B -f Modelfile

# 查看模型的 Modelfile
ollama  show --modelfile Qwen2-VL:72B

# 查看模型列表
ollama list
# NAME         ID           SIZE
# Qwen2-VL:2B  29f39fad7ea5 3.1 GB
# Qwen2-VL:72b 5d37bf291a90 77 GB

base64_image=$(base64 -i 1.JPG | tr -d '\n')
p="<|ImageBegin|>[{\"name\":\"<image0>\",\"parameters\":{\"base64\": \"$base64_image\"}}]<|ImageEnd|>描述这张图片"
echo "$p" | ollama run llava:34b

docker run -d \
 --name open-webui \
 -p 3000:8080 \
 --add-host=host.docker.internal:host-gateway \
 -v open-webui:/app/backend/data \
 ghcr.io/open-webui/open-webui:main

docker run -d \
 --name=maxkb \
 --add-host=host.docker.internal:host-gateway \
 -p 3001:8080 \
 -v $PWD/data:/var/lib/postgresql/data \
 -v $PWD/python-packages:/opt/maxkb/app/sandbox/python-packages \
 1panel/maxkb

# 用户名: admin
# 密码: MaxKB@123..

# https://ollama.com/shaw/dmeta-embedding-zh Ollama 可以部署的向量检索模型