【清华AI大模型ChatGLM-6B系列教程：二】使用 P-tuning v2 对 ChatGLM-6B 进行微调

本教程出自元壤教育AIGC提示工程教研团队，未经授权，禁止转载，如需系统学习AIGC提示工程系列课程，请关注元壤教育公众号进入知识商城系统学习。

元壤教育：AIGC提示工程企业培训领导品牌，致力于通过AIGC企业培训赋能企业，助力千万家企业10倍效能提升。

请先了解并学习 ChatGLM-6B 本地化部署

pip install rouge_chinese nltk jieba datasets -i https://mirror.sjtu.edu.cn/pypi/web/simple

下载 AdvertiseGen.tar.gz

cd ptuning

wget -O AdvertiseGen.tar.gz https://cloud.tsinghua.edu.cn/f/b3f119a008264b1cabd1/?dl=1

【清华AI大模型ChatGLM-6B系列教程：二】使用 P-tuning v2 对 ChatGLM-6B 进行微调

解压 AdvertiseGen.tar.gz

tar -xzvf AdvertiseGen.tar.gz

【清华AI大模型ChatGLM-6B系列教程：二】使用 P-tuning v2 对 ChatGLM-6B 进行微调

bash train.sh

训练完成结果如下：
【清华AI大模型ChatGLM-6B系列教程：二】使用 P-tuning v2 对 ChatGLM-6B 进行微调

我们需要外网访问，所以需要 vi web_demo.py 修改 web_demo.py
【清华AI大模型ChatGLM-6B系列教程：二】使用 P-tuning v2 对 ChatGLM-6B 进行微调
修改内容为 share=True ：

demo.queue().launch(share=True, inbrowser=True)

【清华AI大模型ChatGLM-6B系列教程：二】使用 P-tuning v2 对 ChatGLM-6B 进行微调
按 esc，输入:wq，保存我们的修改并退出编辑页面

启动web_demo

bash web_demo.sh

启动后，控制台出现一下页面，输入 q

出现你确认退出的提示，然后输入 y

然后就可以看到外网的URL，浏览器打开当前网址
【清华AI大模型ChatGLM-6B系列教程：二】使用 P-tuning v2 对 ChatGLM-6B 进行微调
输入框输入以下内容，测试效果：

上衣材质：牛仔布\n颜色：白色\n风格：简约\n图案：刺绣\n衣样式：外套\n破洞：破洞

微调后，测试效果：

微调前，测试结果：
【清华AI大模型ChatGLM-6B系列教程：二】使用 P-tuning v2 对 ChatGLM-6B 进行微调

运行 bash train.sh，出现 RuntimeError: Library cudart is not initialized

【清华AI大模型ChatGLM-6B系列教程：二】使用 P-tuning v2 对 ChatGLM-6B 进行微调

解决方法：
首先查看 cuda 版本，

conda list | grep cuda

【清华AI大模型ChatGLM-6B系列教程：二】使用 P-tuning v2 对 ChatGLM-6B 进行微调
下载 cudatoolkit=11.7

conda install cudatoolkit=11.7 -c nvidia

【清华AI大模型ChatGLM-6B系列教程：二】使用 P-tuning v2 对 ChatGLM-6B 进行微调
首先查看 cuda 版本，就可以看到 cudatoolkit

conda list | grep cuda

【清华AI大模型ChatGLM-6B系列教程：二】使用 P-tuning v2 对 ChatGLM-6B 进行微调

系列教程