AI 助理
备案控制台
文章 2025-05-01 来自：开发者社区

阿里云PAI-DLC任务Pytorch launch_agent Socket Timeout问题源码分析

1. 报错堆栈 [stdout] [2025-04-09 17:15:19] [dlcxxx-worker-1] /mnt/train-code/einsumdai/qwen_7b/LLaMA-Megatron/PAI-Megatron-Patch/megatron_patch/prot...

阿里云PAI-DLC任务Pytorch launch_agent Socket Timeout问题源码分析
文章 2024-01-25 来自：开发者社区

Bert PyTorch 源码分析：一、嵌入层

# 标记嵌入就是最普通的嵌入层 # 接受单词ID输出单词向量 # 直接转发给了`nn.Embedding` class TokenEmbedding(nn.Embedding): def __init__(self, vocab_size, embed_size=512): super().__init__(vocab_size, embed_size, padding_...

文章 2024-01-25 来自：开发者社区

Bert Pytorch 源码分析：五、模型架构简图 REV1

注意力FFNTF 块整体架构

Bert Pytorch 源码分析：五、模型架构简图 REV1
文章 2024-01-25 来自：开发者社区

Bert Pytorch 源码分析：五、模型架构简图

注意力层：输入 -> LLQ -> @ -> /√ES -> softmax -> @ -> LLO -> Dropout -> 输出 | ↑ ↑ +---> LLK ---+ | | ...

文章 2024-01-25 来自：开发者社区

Bert Pytorch 源码分析：四、编解码器

文章 2024-01-25 来自：开发者社区

Bert Pytorch 源码分析：三、Transformer块

# PFF 层，基本相当于两个全连接 # 每个 TF 块中位于注意力层之后 class PositionwiseFeedForward(nn.Module): "Implements FFN equation." def __init__(self, d_model, d_ff, dropout=0.1): super(PositionwiseFeedForwar...

文章 2024-01-25 来自：开发者社区

Bert Pytorch 源码分析：二、注意力层

# 注意力机制的具体模块 # 兼容单头和多头 class Attention(nn.Module): """ Compute 'Scaled Dot Product Attention """ # QKV 尺寸都是 BS * ML * ES # （或者多头情况下是 BS * HC * ML * HS，最后两维之外的维度不重要） # 从输入计算 QKV 的过程可...

本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。

pytorch您可能感兴趣

相关镜像