本地配置通义千问翻译服务

Step.0 创建通义千问 API Key

1. 使用支付宝注册一个阿里云账号
2. 进入灵积平台，创建一个 API Key

Step.1 启动 Higress

Higress 支持用 Docker 启动：

1
2
3
4
5
6
7

# 创建一个工作目录
mkdir higress; cd higress
# 启动 higress ，配置文件会写到工作目录下
docker run -d --rm --name higress-ai -v ${PWD}:/data \
        -p 8001:8001 -p 8080:8080 -e CONFIG_TEMPLATE=ai-proxy \
        -e DEFAULT_AI_SERVICE=qwen -e DASHSCOPE_API_KEY="sk-2e046a63df7c4e6da78c10132e191efb" \
        higress-registry.cn-hangzhou.cr.aliyuncs.com/higress/all-in-one:1.4.0-rc.1

其命令和参数详细解释如下:

• docker run: 这是启动一个新的Docker容器的基本命令。

• -d: 这个选项让容器在后台运行（即守护进程模式），这样命令执行后会立即返回，而不会阻塞当前的终端会话。

• --rm: 当容器停止时，这个选项会让Docker自动删除容器。这对于一次性或者短期运行的任务非常有用，可以避免积累不再使用的容器。

• --name higress-ai: 给即将创建的容器指定一个名称，这里是higress-ai。这使得后续管理和引用该容器时更加方便。

• -v ${PWD}:/data: 这是一个卷挂载选项，表示将当前工作目录（由${PWD}环境变量代表）映射到容器内的/data目录。这样，容器内外就可以共享这个目录下的文件，便于数据交换或持久化存储。

• -p 8001:8001 -p 8080:8080: 这两个选项分别设置了端口映射，使得宿主机的8001端口映射到容器的8001端口，以及宿主机的8080端口映射到容器的8080端口。这意味着你可以通过宿主机的这些端口访问容器内相应服务。

• -e CONFIG_TEMPLATE=ai-proxy: 设置环境变量CONFIG_TEMPLATE的值为ai-proxy。环境变量可以在容器内部被程序读取，用以改变其行为或配置。

• -e DEFAULT_AI_SERVICE=qwen: 同样，设置环境变量DEFAULT_AI_SERVICE的值为qwen。这同样是用来配置容器内部应用的。

• -e DASHSCOPE_API_KEY="sk-2e046a63df7c4e6da78c10132e191efb": 设置环境变量DASHSCOPE_API_KEY，值为一个示例API密钥。这类密钥常用于认证，确保容器内的服务能与外部服务（此处可能是阿里云的DashScope服务）交互。

• higress-registry.cn-hangzhou.cr.aliyuncs.com/higress/all-in-one:1.4.0-rc.1: 这是镜像的完整地址，包括了注册服务器地址（higress-registry.cn-hangzhou.cr.aliyuncs.com）、镜像仓库名（higress/all-in-one）以及标签（1.4.0-rc.1）。这个部分指定了要基于哪个Docker镜像来创建和启动容器。

默认模型映射方式：

• gpt-4 映射到 qwen-max
• 其他都映射到 qwen-long

如有需求，你也可以在浏览器输入: http://192.168.1.113:8001, 登陆 Higress 控制台，在 qwen 这个路由的策略里找到 AI 代理插件，修改映射到其他模型：

1
2
3
4
5
6
7
8
9

provider:
  apiTokens:
  - "sk-2e046a63df7c4e6da78c10132e191efb"
  modelMapping:
    '*': "qwen-long"
    gpt-4: "qwen-max"
    gpt-4-turbo: "qwen-max"
    gpt-4o: "qwen-max"
  type: "qwen"

Step.2.1 配置沉浸式翻译

找到沉浸式翻译的设置页，在翻译服务处选择 OpenAI ，点开设置。

沉浸式翻译比较消耗 token ，这里我们用最便宜的 qwen-long 模型。因为除了 gpt-4 都被 Higress 映射到了 qwen-long ，这里可以直接选 “gpt-3.5-turbo”。

然后再填入自定义接口地址： http://192.168.1.113:8080/api/openai/v1/chat/completions

这里不再需要填写 API Key ，因为 Higress 代理后没有配置 API Key.

Step.2.2 配置 openai translator

找到 openai translator 的设置页，服务提供商选择 OpenAI ，进行如下类似的配置，不过这里我们把模型改为 gpt-4 ，即 Higress 映射后的 qwen-max 。因为使用 openai translator 的场景一般不会输入太多 token ，我们使用 qwen-max 会比 qwen-long 有更好的翻译效果：

*默认服务提供商: openAI
*API密钥: 任意填写(必填)
*API模型: gpt-4
*API URL: http://192.168.1.113:8080

原文链接地址: 通义千问 API 用来做翻译挺好用的，而且很便宜