RAG-Flow部署本地微调过的模型使用

在Ubuntu服务器上启动RAGFlow服务器
在这篇博客中,我们将介绍如何在Ubuntu服务器上启动RAGFlow服务器。我们将确保系统配置满足RAGFlow的要求,然后通过Docker Compose来启动服务器。

先决条件
在开始之前,请确保您已经安装了以下软件:

Docker
Docker Compose
Git
如果您还没有安装这些软件,可以参考以下链接进行安装:

Docker 安装指南
Docker Compose 安装指南
Git 安装指南
配置系统参数
RAGFlow要求vm.max_map_count的值不小于262144。首先,我们需要确认当前系统的vm.max_map_count值,并根据需要进行调整。

确认 vm.max_map_count 的大小

打开终端并运行以下命令:

sysctl vm.max_map_count

如果输出的值小于262144,我们需要进行调整。

临时设置 vm.max_map_count

运行以下命令将vm.max_map_count的值设置为262144:

sudo sysctl -w vm.max_map_count=262144

永久设置 vm.max_map_count

要使设置在系统重启后仍然有效,需要编辑/etc/sysctl.conf文件。

使用以下命令编辑文件:

sudo nano /etc/sysctl.conf

在文件末尾添加以下行:

vm.max_map_count=262144

保存文件并退出编辑器。

克隆RAGFlow仓库
接下来,我们将克隆RAGFlow的Git仓库。

运行以下命令克隆仓库:

git clone https://github.com/infiniflow/ragflow.git

进入docker目录:

cd ragflow/docker

启动RAGFlow服务器
我们将使用提前编译好的Docker镜像来启动服务器。

赋予执行权限

运行以下命令赋予entrypoint.sh脚本执行权限:

chmod +x ./entrypoint.sh

配置Docker Compose文件

如果您想运行特定版本的RAGFlow Docker镜像,请在docker/.env文件中找到RAGFLOW_VERSION变量,并将其设置为对应的版本号。例如:

RAGFLOW_VERSION=v0.7.0

启动服务器

运行以下命令启动服务器:

docker compose -f docker-compose-CN.yml up -d

注意,运行上述命令会自动下载RAGFlow的开发版本Docker镜像。镜像文件大约9GB,下载过程可能需要一些时间,请耐心等待。

确认服务器状态
服务器启动成功后,您可以通过以下命令查看服务器日志,确认服务器是否正常运行:

docker logs -f ragflow-server

出现以下界面提示说明服务器启动成功:

    ____                 ______ __
   / __ \ ____ _ ____ _ / ____// /____  _      __
  / /_/ // __ `// __ `// /_   / // __ \| | /| / /
 / _, _// /_/ // /_/ // __/  / // /_/ /| |/ |/ /
/_/ |_| \__,_/ \__, //_/    /_/ \____/ |__/|__/
              /____/

 * Running on all addresses (0.0.0.0)
 * Running on http://127.0.0.1:9380
 * Running on http://x.x.x.x:9380
 INFO:werkzeug:Press CTRL+C to quit

启动Xinference 部署本地模型
Xinference是一款利用GPU加速推理的强大工具。本篇博客将指导您如何在安装了CUDA的机器上正确配置并启动Xinference Docker容器。

准备工作
启动Xinference容器
使用以下命令启动Xinference容器,将9997端口映射到宿主机的9998端口,并指定日志级别为DEBUG:

docker run \
  -v /data1:/data1 \
  -p 9997:9997 \
  --gpus all \
  xprobe/xinference:v<latest> \
  xinference-local -H 0.0.0.0

参数说明

-p 9998:9997: 将容器内的9997端口映射到宿主机的9998端口。
--gpus all: 使用所有可用的GPU。
xprobe/xinference:v<your_version>: 指定镜像版本,将<your_version>替换为实际版本号。
xinference-local -H 0.0.0.0 

--log-level debug: 启动Xinference服务并设置日志级别为DEBUG。
警告

--gpus 参数必须指定,因为镜像需要运行在有GPU的机器上,否则会出现错误。
-H 0.0.0.0 参数也必须指定,否则在容器外无法连接到Xinference服务。
可以指定多个-e选项设置多个环境变量。

在网页端注册本地模型


image.png

在网页端运行模型

image.png
最后编辑于
?著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 214,128评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,316评论 3 388
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事?!?“怎么了?”我有些...
    开封第一讲书人阅读 159,737评论 0 349
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,283评论 1 287
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,384评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,458评论 1 292
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,467评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,251评论 0 269
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,688评论 1 306
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,980评论 2 328
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,155评论 1 342
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,818评论 4 337
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,492评论 3 322
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,142评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,382评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,020评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,044评论 2 352

推荐阅读更多精彩内容