【深度学习基本功！启动！】带你手敲Transformer代码之-Embedding篇！-神经网络/pytorch深度学习

AI算法工程师Future:
也可以直接长按这里复制搜索：AI算法工程师Future

AI算法工程师Future:
环境配置看这期：https://www.bilibili.com/video/BV1sH4y1w7vv/?spm_id_from=333.999.0.0&vd_source=e2b96538b3c2da2818bba0c80e8491e2

AI视频小助理:
实名羡慕up这溢出屏幕的才华[点赞][点赞][点赞]，YYDS！快来一键三连吧[热词系列_优雅] 一、如何手撕transformer代码，包括环境配置和安装、代码解读等，旨在帮助初学者理解transformer的原理和框架。 00:01 - 介绍深度学习中的transformer板块 01:19 - 手敲transformer代码之embedding部分，包括token embedding、position embedding和transforming embedding 03:56 - 验证torch环境，import torch库和touch n library，连接drop notebook内核 二、如何在TCH框架中配置环境和生成随机触发点，以及如何使用token embedding类将词汇表索引转换为对应的embedding，最后讲解了position embedding的数学公式和使用方法。 05:29 - 环境已经配好，可以验证，生成随机touch。 07:06 - 定义token embedding类，继承N点embedding，将词表索引转换成对应embedding。 10:41 - 定义token embedding类，对奇偶词汇进行区分，生成正弦余弦编码。 三、如何使用Python编写一个NDEMODULE模块，其中包括模型维度、最大序列长度和设备等参数的设置，以及位置编码的过程。 11:10 - 继承NDEMODULE类，定义函数和变量，增加参数，包括模型维度、最大序列长度和设备。 12:57 - 初始化矩阵为全零，设置梯度为false，定义位置编码序列。 16:12 - 生成零到DEMODEL的序列，设置步长为2，将每个元素转换为浮点型并指定设备。 四、如何使用公式计算位置编码，并将结果转换为浮点型，然后定义一个序列，并进行前向传播，最终得到位置信息。 16:26 - 将字符串转换为浮点型，并计算位置编码 19:29 - 定义前向传播过程，返回位置编码矩阵和位置信息 21:26 - 添加词汇表大小和模型维度，定义最大值 五、transformer embedding的实现过程，包括token embedding和position embe --以上内容由模型基于视频内容生成，仅供参考。视频总结、高能空降欢迎召唤热心市民@AI视频小助理

AI算法工程师Future:
大家有什么问题可以在评论区留言[脱单doge][脱单doge]

AI算法工程师Future:
up在B站苦苦分享人工智能的相关学习资源快一年了，夜夜肝爆，已经发布了不少学习资源，也在主页给大家做了分类，【辛苦求个三连+关注行不行🥺🥺】 ①【AI书籍、文档类资源】：在该合集下会持续分享优质的人工智能相关书籍与文档 ②【AI论文资源与精读】：在该合集下会持续分享优质的人工智能相关论文资源与论文精读视频 ③【AI优质教程】：在该合集下会持续分享优质的人工智能课程 ④【AI项目类资源】：在该合集下会持续分享优质的人工智能相关项目 ⑤【AI学习路线与经验】：在该合集下会持续分享AI相关的学习路线与学习经验 6【AI前沿论文速递】：在该合集下会持续给大家分享最新最前沿的工作

HUURUU:
太强啦！！[打call][打call][打call]必三连

华賜懿:
[打call][打call][打call][打call]太好啦，刚打算学就被推了这个芜湖