简介

# 安装 Git LFS；这是很久之前的记录了，建议仔细阅读官方文档。
brew install git-lfs
git lfs install

# 下载模型项目
git clone https://huggingface.co/THUDM/chatglm3-6b-base
# 如果发现模型没下载下来，可以运行下面命令尝试下载模型
git reset
git pull
git lfs pull

# MLX-lm 用来在苹果 silicon 芯片上提供高效的 LLM 推理
pip install "xinference[mlx]" --index-url https://mirrors.aliyun.com/pypi/simple/
XINFERENCE_MODEL_SRC=modelscope XINFERENCE_HOME=./xinference xinference-local --host 0.0.0.0 --port 9997

# 这样可以启动下载好的模型
xinference launch --model-name bge-large-zh-v1.5 --model-type embedding
xinference launch --model-name bge-reranker-v2-m3 --model-type rerank
xinference launch --model-name ChatTTS --model-type audio
xinference launch --model-name SenseVoiceSmall --model-type audio

# 设置虚拟环境在项目目录
poetry config virtualenvs.in-project true
# 创建项目
poetry new pytorch_demo && cd pytorch_demo
# 创建虚拟环境
poetry env use python3
# 进入虚拟环境
source .venv/bin/activate
# 添加源
poetry source add --priority=primary mirrors https://pypi.tuna.tsinghua.edu.cn/simple/
# 安装基础环境；下面两种均可
poetry add vllm
pip3 install vllm