本期所需的部署包,可以在视频简介与评论区找到
之前视频我介绍了不用联网,不用付费,家用显卡可部署,全代码开源的大语言模型, ChatGLM3。
本期视频
我们先看工具调用,这里我介绍最简单的方式,10行代码就能给ChatGLM3添加一种工具函数。有了工具后ChatGLM3可以自动根据用户输入来判断是否调用某个函数,并且他可以自动从用户输入的中提取函数所需的参数。我们先打开上次提供的ChatGLM3的一键部署包,这个部署包我已经上传到网盘了,需要的话可以加关注私信我,找到这个文件tool_registry.py 这里官方提供了两个函数一个是产生随机数的,第二个是查询天气的,我们新建一个函数,仿照官方的写法就可以。
比如我写一个穿衣建议的函数,这个装饰器必须写,很重要。这个装饰器相当于声明了这个函数是大模型可以使用的工具。这个函数的入参就是气温,后面的类型注解说明这个参数是做什么。然后下面是函数的注释,这个注释很重要,我们用自然语言书写就可以,注释说明这个函数是做什么用的。ChatGLM3可以根据注释的内容自动判断什么时候应该调用这个函数。下面就是函数体,这里就很简单,实现自己的业务逻辑,比如零度以下需要穿棉衣等等。
下一个是代码解释器,代码解释器就是我们输入自然语言,然后模型给出对应的代码,并且自动执行代码给出结果。使用代码解释器前需要安装如下。我们先在电脑安装python,然后执行以下命令。
前两句是安装ipython,ipython是一个python的一种命令行环境的,第三句是新建一个ipython内核,ChatGLM的代码功能就是运行的在这个内核上的。
结束以后我们还是运行这个一键部署包。打开第三个选项卡,代码解释器。比如我输入一句话计算1到50的阶乘,
就会给出python代码已经输出结果。
本期视频最后,我讲一下我们如何在pycharm里面调试上期视频的一键部署包,首先我们将ChatGLM3的文件夹导入pycharm,右下角选择python解释器,这里选择 system interpreter 直接选择项目路径里面的python解释器,这个里面已经预装了pytorch等依赖。
打开client.py 修改17行的Model Path,这里填上模型的路径。这个模型也同样在一键部署包里面了
然后打开运行按钮左边的edit configration
修改client.py的第17行,将模型改成绝对路径
点击debug运行可以
原文链接:https://www.bilibili.com/read/cv27725709/