ChatGLM2 源码解析:`ChatGLMTokenizer`

import os import torch from typing import List, Optional, Union, Dict from sentencepiece import SentencePieceProcessor from transformers import PreTra...

ChatGLM2 源码解析:`GLMTransformer`

ChatGLM2 源码解析:`GLMTransformer`

# 编码器模块,包含所有 GLM 块 class GLMTransformer(torch.nn.Module): """Transformer class.""" def __init__(self, config: ChatGLMConfig, device=None): super(GLMTr...

Serverless 赛题设置和解题思路解析

2 课时 |
451 人已学 |
免费

第八届大学生创新创业大赛阿里命题数据库命题解析

17 课时 |
76 人已学 |
免费

第八届大学生创新创业大赛阿里命题IoT赛题解析

2 课时 |
56 人已学 |
免费
开发者课程背景图
ChatGLM2 源码解析:`ChatGLMForConditionalGeneration.forward`

ChatGLM2 源码解析:`ChatGLMForConditionalGeneration.forward`

class ChatGLMForConditionalGeneration(ChatGLMPreTrainedModel): def __init__(self, config: ChatGLMConfig, empty_init=True, device=None): super().__init...

ChatGLM2 源码解析:`ChatGLMModel`

ChatGLM2 源码解析:`ChatGLMModel`

# 完整的 GLM 模型,包括嵌入层、编码器、输出层 class ChatGLMModel(ChatGLMPreTrainedModel): def __init__(self, config: ChatGLMConfig, device=None, empty_init=True): super(...

ChatGLM2 源码解析:`GLMBlock`

ChatGLM2 源码解析:`GLMBlock`

# GLM 块包括注意力层、FFN层和之间的残差 class GLMBlock(torch.nn.Module): """A single transformer layer. Transformer layer takes input with size [s, b, h] and returns...

ChatGLM2 源码解析:`MLP`

ChatGLM2 源码解析:`MLP`

class MLP(torch.nn.Module): """MLP. MLP will take the input with h hidden state, project it to 4*h hidden dimension, perform nonlinear transformation,...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

相关电子书
更多
HBase源码解析
Kubernetes Helm
《Apache RocketMQ 源码解析》
立即下载 立即下载 立即下载
相关镜像