0%

  • 确定毕设题目: 精密零部件加工领域知识的表示学习技术: 为了从大量精密零部件加工数据中学习出有用的特征和模式,对材料属性、加工工艺、设备特性等数据进行统一的语义映射和表征学习,采用Transformer等技术进行多模态数据的统一表征学习,并利用图神经网络进行关系建模。

根据毕设题目展开学习: # 学习图网络相关知识 - 学习cs224w的部分课程内容 - Node embedding - 如何将图作为向量嵌入表示 - Node embedding相关算法(random walk embedding, node2vec) - GNN基础 - Graph Convolutional Networks - aggregation function,loss,train nodes, generate embeddings(even for those the model never trained on) - GCNs subsume CNNs - General Perspective on GNNs - Message - Layer Connectivity - Graph Augmentation: Feature augmentation, structure augmentation - Learning Objective: Supervised/Unsupervised, Node/Edge/Graph level objectives. - Train \ valid \ test - GNN中训练集的划分和其它神经网络有很大区别,普通神经网络不会因为一个样本而影响到另一个样本的预测,而GNN中会,因为每个样本都是一个node,关联整个图。 - Linklevel trick - Theory of Graph Neural Networks - GIN和 WL-Kernel - The most expressive GNNs should map subtrees to node structure injectively. - GNN 不是越深越好,因为感受野不会扩大反而会因为深度减小。 # 学习了transformer的基本架构

  • Attention 机制
  • Encoder and Decoder(Masked self-attention)架构
  • Autoregressive Model
  • cross attention
  • HW4 half hw5

将来一周的打算

  • 学习python爬虫(用于爬取毕设论文数据集)
  • 学习cs224w的剩余课程内容
  • 阅读毕设相关论文