BigModel

发表于

更新于

字数

阅读量

7、大模型

ollama

# CPU 或者 Nvidia GPU 
docker pull ollama/ollama
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

# AMD GPU
docker pull ollama/ollama:rocm
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama:rocm

AnythingLLM

docker pull mintplexlabs/anythingllm

windows

$env:STORAGE_LOCATION="$HOME\Documents\anythingllm"; `
If(!(Test-Path $env:STORAGE_LOCATION)) {New-Item $env:STORAGE_LOCATION -ItemType Directory}; `
If(!(Test-Path "$env:STORAGE_LOCATION\.env")) {New-Item "$env:STORAGE_LOCATION\.env" -ItemType File}; `
docker run -d -p 3001:3001 `
--cap-add SYS_ADMIN `
-v "$env:STORAGE_LOCATION`:/app/server/storage" `
-v "$env:STORAGE_LOCATION\.env:/app/server/.env" `
-e STORAGE_DIR="/app/server/storage" `
mintplexlabs/anythingllm;

linux

export STORAGE_LOCATION=$HOME/anythingllm && \
mkdir -p $STORAGE_LOCATION && \
touch "$STORAGE_LOCATION/.env" && \
sudo docker run -d -p 3001:3001 \
--cap-add SYS_ADMIN \
-v ${STORAGE_LOCATION}:/app/server/storage \
-v ${STORAGE_LOCATION}/.env:/app/server/.env \
-e STORAGE_DIR="/app/server/storage" \
--name anythingllm mintplexlabs/anythingllm

然后修改anythingllm目录的权限 chown 1000:1000 /root/anythingllm/ -R 不然docker启动会失败 报unable to open database file: ../storage/anythingllm.db

注意：连接至ollama（docker模式）

Ollama Base URL要选择ollama在docker中的地址，非localhost,如
http://172.17.0.2:11434

如果您的Ollama和RAGFlow在同一台机器上运行，请使用http://localhost:11434作为基本URL。
如果您的Ollama和RAGFlow在同一台机器上运行，并且Ollama在Docker中，请使用http://host.docker.internal:11434作为基本URL。
如果您的Ollama在与RAGFlow不同的机器上运行，请使用http://<IP_OF_OLLAMA_MACHINE>:11434作为基本URL。

聊天设置要把模型选中，聊天提示

你是一位写方案的高手，请根据知识库的内容，请用中文回复。

ragflow

git clone https://github.com/infiniflow/ragflow.git
 cd ragflow
 git checkout -f v0.15.0
docker compose -f docker/docker-compose.yml up -d

git clone https://ghfast.top/https://github.com/stilleshan/dockerfiles（地址前加https://ghfast.top/可下载）

ollama pull shaw/dmeta-embedding-zh

es

进入es容器，，新增kibana账号
docker exec -it es01 /bin/bash
#创建新账户
elasticsearch-users useradd user
#给账户授权
elasticsearch-users roles -a superuser username
elasticsearch-users roles -a kibana_system username

dify

git clone https://github.com/langgenius/dify.git
配置环境变量
cp .env.example .env

docker pull semitechnologies/weaviate:1.27.0

deepseek

ollama pull deepseek-r1:7b
ollama run deepseek-r1:7b

#Embedding模型 是一种将高维稀疏数据映射到低维稠密空间的技术。baai
ollama pull bge-m3

#Rerank Model 重排序模型 bge-reranker-v2-m3
ollama pull linux6200/bge-reranker-v2-m3


ollama run qwen2.5:14b

api-token

dify-plugin_daemon-1,插件守护进程
dify-ssrf_proxy-1,SSRF（服务器端请求伪造）防护代理
dify-init_permissions-1,权限初始化容器（一次性任务）
dify-web-1,前端 Web 界面,通常监听 3000 端口（前端开发）或 80/443（生产）
dify-sandbox-1,代码沙箱环境,
dify-weaviate-1,向量数据库服务
dify-worker_beat-1,定时任务调度器（Celery Beat）,
dify-worker-1,异步任务处理 Worker,通常使用 Redis 作为消息队列
dify-api-1,主要 API 服务，通常监听 5001 端口

Dify 採用微服務架構，包含七個主要服務元件：

API 服務 (dify-api)：處理後端 API 和業務邏輯
Worker 服務 (dify-worker)：負責非同步任務處理
Web 服務 (dify-web)：前端應用程式介面
PostgreSQL 資料庫：資料持久化儲存
Redis：快取和會話管理
Weaviate 向量資料庫：知識庫儲存
Nginx：反向代理和網頁伺服器

AnythingLLM | Your personal LLM trained on anything

RAGFlow

DeepSeek 生成大纲和内容**

提供两个常用的生成 PPT 的模版：

① 我想要生成一份关于【xxx】的 PPT 大纲和内容，用来【xxx】，希望【xxx】，但担心【xxx】

② 我是一名【xxx】，想要生成一份关于【xxx】的 PPT，面向群体是【xxx】，希望【xxx】，要求【xxx】，请帮我输出markdown 格式的 ppt 大纲和内容

举例：

我想要生成一份关于全球自由职业调查报告的 PPT 大纲和内容，用来向自由职业者展示全球自由职业的发展现状、趋势以及面临的挑战与机遇，希望能引发观众对自由职业相关话题的深入思考，但担心在内容提炼上不够精准、抓不住重点，导致 PPT 信息过于繁杂，或者在视觉呈现上不够美观专业，影响观众的观看体验和对内容的理解。