• 首页
  • 关于欧皇娱乐
  • 业务范围
  • 最新动态
  • 联系我们
  • 关于欧皇娱乐你的位置:欧皇娱乐 > 关于欧皇娱乐 > Window本地搭建ChatGLM3-6B

    Window本地搭建ChatGLM3-6B

    发布日期:2024-07-22 07:17    点击次数:101
    1ChatGLM3介绍ChatGLM3是基于GLM-130B的对话微调版本,继承了GLM-130B的语言理解和生成能力,并针对对话场景进行了专门的优化。ChatGLM3可以生成流畅、有趣、有逻辑的对话,并且不会出现重复、跑题、无关等问题。它可以根据用户的输入和历史记录进行动态调整,保持对话的连贯性和一致性。ChatGLM3具有执行各种工具调用的能力,比如搜索、翻译、计算、绘图等。用户只需要输入简单的指令或问题,就可以得到满意的答案或结果。它还可以根据用户的反馈进行自我纠错和学习,提高工具调用的准确性和效率。ChatGLM3支持多种语言和多种模式,如中文、英文、日文等。用户可以通过设置选择自己喜欢的语言和模式,如平衡模式、创意模式、精确模式等。不同的模式会影响对话的风格和内容,让用户体验更加丰富和多样。最新版本的ChatGLM-turbo在AgentBench上已稍微超出GPT-3.5。在算力方面,ChatGLM3已支持多种国产硬件生态,如昇腾、海光DCU等。同时,ChatGLM3提供了更丰富的模型尺寸选项,如1.5B、3B等,以满足不同的边缘侧需求,支持在笔记本电脑、手机、汽车等设备上部署。2ChatGLM3-6BChatGLM3-6B 是 ChatGLM3 系列中的开源模型,它具有以下特性:强大的对话能力:ChatGLM3-6B 模型在保留了前两代模型对话流畅、部署门槛低等特性的基础上,进一步提升了对话生成的质量和效果。全新的模型架构:ChatGLM3-6B 引入了一些新的技术和架构,如采用了更多的注意力机制、更好的模型结构等,以提高模型的性能和效果。开源的双语模型:ChatGLM3-6B 是一个开源的双语模型,可以支持中英双语对话,具有广泛的应用场景和适用人群。灵活的部署方式:ChatGLM3-6B 支持多种部署方式,包括本地部署、云部署等,方便用户根据自己的需求进行选择和使用。丰富的应用场景:ChatGLM3-6B 可以广泛应用于智能客服、智能助手、在线教育、语音识别等领域,为用户提供智能化、高效化的服务和支持。总之,ChatGLM3-6B 是一款功能强大、效果优良、部署灵活、应用广泛的开源对话模型,为用户提供了智能化、高效化的对话解决方案。3本地搭建ChatGLM3-6BPart1获取ChatGLM3源码
    git clone https://github.com/THUDM/ChatGLM3cd ChatGLM3
    Part2conda 创建虚拟环境
    conda create -n glm3 python=3.10
    Part3激活环境
    conda activate glm3
    Part4退出环境
    conda deactivate
    Part5下载依赖包
    pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple --trusted-host pypi.tuna.tsinghua.edu.cn
    Part6模型下载。在项目目录下可以直接粘贴模型文件,也可以从huggingface下载,下载方式见下面代码。大多数人可能因为网络问题下载速度慢,可以使用我提供的模型分享文件,回复12即可获取下载链接,需要使用天翼云,慢速下载。

    图片

    模型文件可以直接解压到项目目录下
    mkdir model && cd modelgit clone https://huggingface.co/THUDM/chatglm3-6bgit clone https://huggingface.co/THUDM/chatglm3-6b-int4git clone https://huggingface.co/THUDM/chatglm3-6b-32kgit clone https://huggingface.co/THUDM/chatglm3-6b-32k-int4
    Part7使用ChatGLM3ChatGLM3 提供了三种使用方式:命令行 Demo,网页版 Demo 和 API 部署;在启动模型之前,需要找到对应启动方式的 python 源码文件修改模型位置openai-api.py进行如下修改。

    图片

    在项目目录下常见启动bat文件:
    python.exe D:\BaiduNetdiskDownload\ChatGLM3-6B\ChatGLM3-main\openai_api_demo/openai_api.pypause

    图片

    本站仅提供存储服务,所有内容均由用户发布,如发现有害或侵权内容,请点击举报。

    Powered by 欧皇娱乐 @2013-2022 RSS地图 HTML地图