Softmax vs A-softmax Loss

Softmax loss is typically good at optimizing the inter-class difference (separating different classes), but not good at reducing the intra-class variation (making features of the same class compact). Additive Margin Softmax is a novel and more interpretable way to import the angular margin into the softmax loss.

If we intend to run our program many times, it's necessary for us to do test.

介绍各种各样的自注意力机制

mask_fill 是 PyTorch 中的一个函数，用于根据给定的条件（掩码）对张量中的元素进行填充。掩码是一个布尔值张量，指示哪些元素需要被填充。

简结的矩阵运算方法

本文记录阅读Conformer的笔记，以此来达成李宏毅2022深度学习HW4的strong line

本笔记统一整理李宏毅深度学习课程中"what to do if my networks fail to train"的内容

本文介绍transformer。

transormer主要解决了seq2seq的问题，由模型自己决定输出的长度

HW3

概述

卷积神经网络（CNNs）是一类专门用于处理结构化网格数据（如图像）的神经网络。CNN通过局部连接性和参数共享来有效提取层次化的特征。