文章 2024-10-12 来自:开发者社区

LLM-01 大模型 本地部署运行 ChatGLM2-6B-INT4(6GB) 简单上手 环境配置 单机单卡多卡 2070Super8GBx2 打怪升级!

写在前面 其他显卡环境也可以!但是最少要有8GB的显存,不然很容易爆。 如果有多显卡的话,单机多卡也是很好的方案!!! 背景介绍 目前借到一台算法组的服务器,我们可以查看一下目前显卡的情况 1 (后续已经对CUDA等进行了升级,可看我的其他文章,有升级的详细过程) ...

LLM-01 大模型 本地部署运行 ChatGLM2-6B-INT4(6GB) 简单上手 环境配置 单机单卡多卡 2070Super8GBx2 打怪升级!
问答 2024-01-17 来自:开发者社区

16g显存的显卡不知道能不能运行,怎么设置modelscope 成int8量化?

modelscope中,16g显存的显卡不知道能不能运行,想问怎么设置成int8量化?

问答 2023-12-20 来自:开发者社区

modelscope-funasr在运行 7B chat int4模型 时报的错,咋解决?

modelscope-funasr在运行 7B chat int4模型 时报的错

问答 2023-12-18 来自:开发者社区

modelscope我在运行 7B chat int4模型 时报的错麻烦 给看一下 什么问题?

modelscope我在运行 7B chat int4模型 时报的错麻烦 给看一下 什么问题?

问答 2023-11-08 来自:开发者社区

ModelScope中,请问这边在运行14B-Chat-Int4z这个示例的时候没有获得正确结果?

ModelScope中,请问这边在运行14B-Chat-Int4z这个示例的时候没有获得正确结果应该怎么排查呢?

问答 2023-10-18 来自:开发者社区

服务器上运行Qwen-7B-Chat-Int4报错?

(base) edu@dasehenqi:~/1016$ python run-Qwen--7B-Chat-Int4.py2023-10-18 09:58:57,923 - modelscope - INFO - PyTorch version 2.1.0 Found.2023-10-18 09:58:57,924 - modelscope - INFO - Loading ast index ....

问答 2023-08-07 来自:开发者社区

运行Chatglm2-6b-int4出错

我用的程序是: from transformers import AutoTokenizer, AutoModeltokenizer = AutoTokenizer.from_pretrained("ZhipuAI/chatglm2-6b-int4", trust_remote_code=True)model = AutoModel.from_pretrained("ZhipuAI/chatgl....

文章 2023-01-29 来自:开发者社区

在运行python程序时 self.adjacency_list.append([int(tempInfo[0])-1,int(tempInfo[1])-1]) 报错ValueError: inv

在运行python程序时   self.adjacency_list.append([int(tempInfo[0])-1,int(tempInfo[1])-1])报错

在运行python程序时 self.adjacency_list.append([int(tempInfo[0])-1,int(tempInfo[1])-1]) 报错ValueError: inv
问答 2022-02-15 来自:开发者社区

go程序运行报错type *int in argument to demo

package main import "fmt" func demo(num *int) { fmt.Println(num) } func main() { var a int=5 demo(a) } 运行报错 # command-line-arguments ./te.go:90:6: cannot use a (type int) as type *int in a...

问答 2022-02-15 来自:开发者社区

go程序运行报错cannot use []int literal (type []int)

代码如下 package main import "fmt" func split(sum ...int)int { s:=0 for _,item := range sum { s+=item } return s } func main() { fmt.Println(split([]int{1,2,3,4})) } 运行结果 # command-line-arg...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。