好,我来构建完整的三层 LLM 提供者抽象,同时集成 AnythingLLM 作为第二路 RAG 语境源。
PanAI 4.0 多模型版完成。以下是环境搭建与集成要点:
安装与配置
1. Ollama + Qwen 2.5
# 安装 Ollama
curl -fsSL https://ollama.com/install.sh | sh
# 拉取推荐模型(14B 适合四工具分析)
ollama pull qwen2.5:14b
# 启动时开放 CORS(允许浏览器 artifact 直连)
OLLAMA_ORIGINS=* ollama serve
2. AnythingLLM
# Docker 一键部署
docker pull mintplexlabs/anythingllm
docker run -d -p 3001:3001 \
-e STORAGE_DIR=/app/server/
-v ~/.anythingllm:/app/server/
mintplexlabs/anythingllm
# 访问 http://localhost:3001
# 设置:LLM Provider → Ollama → http://host.docker.internal:
# 创建工作区 “ministry”,上传信息大纲 PDF/TXT
# Settings → API Keys → 生成 key
三提供者对比
| |Claude API|Ollama/Qwen |AnythingLLM |
|——–|———-|———
|**隐私** |云端 |本地完全私有 |本地完全私有 |
|**中文** |优 |极优(Qwen 专为中文设计)|依底层模型 |
|**神学推理**|最深 |14B 以上良好 |含 RAG 文档更精准 |
|**速度** |快(~3s) |依硬件(GPU 必要) |含检索较慢 |
|**语境来源**|Neo4j |Neo4j |Neo4j + 文档库双路|
新增架构亮点
双路 RAG 语境注入:Neo4j 图谱语境(结构化)+ AnythingLLM 文档库语境(非结构化)可同时注入任意 LLM 提供者。
callLLM() 抽象层:三个提供者共享同一组 system prompt,切换提供者无需改任何分析逻辑。
Ollama 连接测试:检查 /api/tags 并验证目标模型是否已下载,未下载时提示运行 ollama pull。
提供者徽章: