接口简介
详见手册
本地部署
AI对话能力通过ChatGLM-6B模型提供
硬件要求
由于本地PC是3A套装，需要安装AMD提供的ROCm框架来运行pytorch库
目前ROCm框架仅提供Linux版本，需要在PC上安装Linux系统，这里选择Ubuntu 22.04.2 LTS版本
制作U盘启动盘，进入bios一键安装即可。主板太渣M.2接口有限，所以这里选择了一块空置的机械硬盘进行安装，有条件还是建议上固态
- 注意:
- ChatGLM-6B完全体的运行需要12~14G显存，本地的RX6800XT显卡有16G显存可以运行完全体。
- 模型加载时会把数据全部读入内存中，大约需要16~18G左右的内存，本机有32G内存可以正常加载。如果只有16G内存，建议手动开辟出至少8G的共享内存，否则模型启动中可能会爆内存闪退
环境配置
以ChatGLM-6B文档提供的库为基础，安装对应的python环境即可，这里建议在docker下安装
相关链接
ChatGLM-6B github 地址
pytorch 下载地址
关于AMD显卡与AI
AMD NO!
INVDIA YES!