1. NEW-API的部署
# 拉取项目代码
git clone https://github.com/QuantumNous/new-api.git
# 修改配置文件,修改数据库的初始化密码,其它的按需修改(若不清楚建议保持默认)
cd new-api
vi docker-compose.yml
## 保存后就可以进行部署了
docker compose up -d
## 查看部署情况
docker compose ps
部署好后就可以访问了,通过 http://你的IP:3000 访问。首次访问会让你设置账号密码。
2. NEW-API 的配置
2.1 渠道配置
在渠道管理菜单,点击”添加渠道“进入渠道配置界面,类型按模型选择,如果碰到不知道选哪个的,建议都先选”OpenAI"。
API地址要填正确,一般是直接填地址即可,例如硅基流动的:
https://api.siliconflow.com
我遇到的比较特殊的是火山引擎的agentplan,需要这样填:
https://ark.cn-beijing.volces.com/api/plan/v3/chat/completions
模型那里可以下拉选择,但是有时会没有最新的模型,这个时候可以直接在搜索那里输入模型名称,它会提示你创建一个,点击提示创建即可。也可以通过“获取模型列表”来查看并选择,但是有些渠道并不提供这个功能。
其它的非必填的一般都不用管
2.2 渠道模型测试
配置好渠道后,我们需要测试一下这些渠道里的模型能否正常访问。直接点击界面的“测试”默认测试第一个模型。如果有多个模型的,点击三角形下拉图标进入模型列表界面,可以对每个模型进行测试。
其它的都是很简单的操作,这里不说了。
3、CPA的部署和配置
CAP是cliproxyapi的简称。一般自己使用的话用CAP就够了,用new-api一般是用来开中转站。如果有了new-api 那CPA就没什么必要了。但是有一种情况,就是需要通过认证文件来调用大模型,new-api不支持,这样就需要用CPA了。认证文件调用其实就是通过模拟网页上和模型进行对话,而不是通过调用API的方式。
3.1 部署
在github上直接拉取合适的版本:
wget https://github.com/router-for-me/CLIProxyAPI/releases/download/v7.2.78/CLIProxyAPI_7.2.78_linux_amd64.tar.gz
解压后根据实例配置文件生成配置,并根据需要简单修改一下配置
cp config.example.yaml config.yaml
vi config.yaml
...
remote-management:
allow-remote: true ## 这里是启用管理界面,方便进行json文件的导入
secret-key: "" ## 这里需要生成填进去,生成命令是 openssl rand -base64 32
# API keys for authentication
api-keys:
- "abcd1234" ## 配置给应用通过CPA访问大模型的key,可以配置多个
...
然后就可以部署起来了,为了方便重启,我写了个小脚本:
# cat start.sh
ps -ef |grep cli-proxy-api|grep -v grep|awk '{print $2}'|xargs kill -9
nohup /data/CLIProxyAPI_7.2.78/cli-proxy-api > cliproxy.log 2>&1 &
直接跑脚本启动,然后就可以访问管理页面:http://你的IP:8317/management.html
3.2 导入json配置
很简单,直接打开认证文件菜单,里面就有上传文件的选项。
4、踩过的坑
基本都是网络方面的。主机启用了防火墙的一定要放通这些端口,不管是使用公网访问还是自建的局域网IP来访问。局域网访问的话外面的防火墙不用放,但是主机本身的防火墙是一定要放的。
...