【清华AI大模型ChatGLM-6B系列教程：四】ChatGLM-6B 结合 langchain 实现本地知识库

本教程出自元壤教育AIGC提示工程教研团队，未经授权，禁止转载，如需系统学习AIGC提示工程系列课程，请关注元壤教育公众号进入知识商城系统学习。

元壤教育：AIGC提示工程企业培训领导品牌，致力于通过AIGC企业培训赋能企业，助力千万家企业10倍效能提升。

一种利用 ChatGLM-6B + langchain 实现的基于本地知识的 ChatGLM 应用。
Github：https://github.com/imClumsyPanda/langchain-ChatGLM

安装环境

下载项目代码

# 拉取仓库
git clone https://github.com/imClumsyPanda/langchain-ChatGLM.git

# 进入目录
cd langchain-ChatGLM

使用 conda 配置 python 环境

conda create -p langchain-chatglm  python=3.8

激活环境，根据安装完成的提示，红框的内容进行激活

conda activate /home/ubuntu/langchain-ChatGLM/langchain-chatglm

安装依赖

pip install -r requirements.txt

项目运行

由于显存不足16g，所以需要修改 configs/model_config.py

vi configs/model_config.py

按下 i,进行输入，主要修改 LLM_MODEL 为 chatglm-6b-int8。修改完后按esc,输入 :wq 保存我们的修改。

python webui.py

页面操作

新建知识库，输入知识库名称，点击 [添加至知识库选项]

上传文档

选择要上传的文档

选中要上传的文件后，点击[上传文件并加载知识库]

输入框内，输入文档中的内容，点击回车，查看数据返回

页面返回

markdown文件地址：https://img.chengxuka.com/Midjourney 常用命令的功能介绍.md

问题集锦

输入内容提问的时候，控制台报错，RuntimeError: Library cudart is not initialized

解决方法：
首先查看 cuda 版本

conda list | grep cuda

下载 cudatoolkit=11.7

conda install cudatoolkit=11.7 -c nvidia

首先查看 cuda 版本，就可以看到 cudatoolkit

conda list | grep cuda

系列教程

• 【清华AI大模型ChatGLM-6B系列教程：一】ChatGLM-6B 本地化部署：安装环境准备
• 【清华AI大模型ChatGLM-6B系列教程：二】使用 P-tuning v2 对 ChatGLM-6B 进行微调
• 【清华AI大模型ChatGLM-6B系列教程：三】基于ChatGLM-6B使用LoRA进行参数高效微调
• 【清华AI大模型ChatGLM-6B系列教程：四】ChatGLM-6B 结合 langchain 实现本地知识库
• 更多系列教程关注元壤教育进行系统学习。