1、 深度学习基础

配套课件 ： https://gf.bilibili.com/item/detail/1103548011

• tensor相关

  • tenso r内部存储结构 ：https://www.bilibili.com/video/BV1NH4y177VL/
  • tensor 的连续性 与 contiguous()方法 ： https://www.bilibili.com/video/BV1Fz421R7T9/

• 模型可视化

  • torchsummary ： https://www.bilibili.com/video/BV1ZH4y1f7T1/
  • netron ： https://www.bilibili.com/video/BV1rh411M7JP/
  • tensorboardX ： https://www.bilibili.com/video/BV1BV4y1C7HJ/

• 模型搭建

  • 转置卷积：https://www.bilibili.com/video/BV1M84y1T7tY/
  • 膨胀卷积：https://www.bilibili.com/video/BV1za4y1K7E6/
  • 可变形卷积 ：https://www.bilibili.com/video/BV1Sh4y1y75i/
  • Batch Normlization：https://www.bilibili.com/video/BV11s4y1c7pg/
  • BatchNorm、LayerNorm、GroupNorm：https://www.bilibili.com/video/BV1UG411f7DL/
  • nn.Sequential、nn.ModuleList、nn.ModuleDict：https://www.bilibili.com/video/BV1zu4y1i7Bk/

• 学习率调度器 ： https://www.bilibili.com/video/BV1BV4y1C7HJ/

• 优化器（SGD、Momentum、Adagrad、RMSProp、Adam）：https://www.bilibili.com/video/BV1jh4y1q7ua/

• 损失函数

  • 交叉熵损失函数 ： https://www.bilibili.com/video/BV1Sm4y127kY/
  • 信息量、熵、交叉熵、KL散度、交叉熵损失函数 ： https://www.bilibili.com/video/BV1L8411X7ZZ/
  • 目标检测 - 定位损失 ： https://www.bilibili.com/video/BV1Bw411J7R6/
  • focal loss💰：https://www.bilibili.com/video/BV1jG411B7X9/

• 插值算法

  • 最近邻插值法 ：https://www.bilibili.com/video/BV1BM4y1t7tf/
  • 双线性插值法 ：https://www.bilibili.com/video/BV1wh411E7j9/
  • 双三次插值算法 ：https://www.bilibili.com/video/BV1Rc411P7WY/

• 数据预处理&数据增强

  • Dataset、Dataloade - 上 ：https://www.bilibili.com/video/BV1vV4y1v7LY/

  • Dataset、Dataloade - 下：https://www.bilibili.com/video/BV1bM411L7Qi/

  • 图像预处理/图像增强 - 上：https://www.bilibili.com/video/BV1Uw411A7eK/

  • 图像预处理/图像增强 - 下：https://www.bilibili.com/video/BV1ew411k7UP/

• 数据集

  • MSCOCO数据集：https://www.bilibili.com/video/BV1GT411W7ji/
  • Pascal VOC：https://www.bilibili.com/video/BV18s4y1v7FN/

• 日志记录

  • logging
    • 1、基础使用、https://www.bilibili.com/video/BV1e34y1M7Ps/
    • 2、高级应用 （购买课件后查看）
    • 3、配置文件 （购买课件后查看）
  • tensorboard / tensorboardX：
    • 1、记录训练数据指标：https://www.bilibili.com/video/BV18w411P75R/
    • 2、模型可视化、图像可视化 （购买课件后查看）
  • wandb
    • 1、安装与登录 （购买课件后查看）
    • 2、基础使用与可视化 （购买课件后查看）
    • 3、wandb.watch() 模型、参数、梯度的监控 （购买课件后查看）
    • 4、wandb.Artifact() 版本管理、文件保存与下载 （购买课件后查看）

• 其他

  • 迁移学习：https://www.bilibili.com/video/BV1X8411f7q1/
  • IoU 与 NMS：https://www.bilibili.com/video/BV19L41187s4/
  • 模型结构图 绘画工具 - Axure：https://www.bilibili.com/video/BV12u411c7PZ/
  • Kaggle项目部署：https://www.bilibili.com/video/BV1qM41137SY/

2、Transformer

💰 为充电专属视频

• self-attention：https://www.bilibili.com/video/BV1qo4y1F7Ep/
• Multi-head attention：https://www.bilibili.com/video/BV1gV4y167rS/
• MultiheadAttention 中的参数 key_padding_mask 与 attention_mask ： https://www.bilibili.com/video/BV1Xg4y127fd/
• ViT：https://www.bilibili.com/video/BV1xm4y1b7Pw/
• Swin-transformer：https://www.bilibili.com/video/BV1Nz4y177aW/

3、DETR

• DETR：https://www.bilibili.com/video/BV1Zo4y1A7FB/

  • 1、算法概述：https://www.bilibili.com/video/BV1Zo4y1A7FB/
  • 2、模型结构讲解：https://www.bilibili.com/video/BV1Gh4y127eZ/
  • 3、损失函数讲解：https://www.bilibili.com/video/BV1qu411V7ud/
  • 4、代码精讲 💰：https://www.bilibili.com/video/BV1Q64y1G7o2/

• Deformable DETR

  • 1、Abstract 算法概述：https://www.bilibili.com/video/BV1rh4y1F7fG/
  • 2、backbone 、MultiHeadAttention 公式讲解：https://www.bilibili.com/video/BV1vr4y1o73B/
  • 3、Deformable Attention、MSDeformAttention、流程讲解：https://www.bilibili.com/video/BV1Uj411z7QU/

• RT-DETR

  • 1、abstract 算法概述：https://www.bilibili.com/video/BV1Nb4y1F7k9/
  • 2、backbone：https://www.bilibili.com/video/BV1Ac411k7Sg/
  • 3、AIFI：https://www.bilibili.com/video/BV1be411S74w/
  • 4、CCFM：https://www.bilibili.com/video/BV1DG411z71m/
  • 5、CCFM 收尾工作 💰：https://www.bilibili.com/video/BV1q64y1P7hR/
  • 6、decoder 整体网络结构 💰：https://www.bilibili.com/video/BV1LK4y1z7op/
  • 7、denoising 理论讲解 💰：https://www.bilibili.com/video/BV1AW4y1w79p/
  • 8、denoising 代码讲解 💰：https://www.bilibili.com/video/BV1eK411e7Jh/
  • 9、IoU-aware query selection 理论讲解 💰 ：https://www.bilibili.com/video/BV1d64y1N7sg/
  • 10、IoU-aware query selection 代码讲解 💰 ：https://www.bilibili.com/video/BV1Z94y1K744/
  • 11、decoder + MSDeformableAttention 💰：https://www.bilibili.com/video/BV1mZ4y1J7xA/
  • 12、损失函数 💰 ： https://www.bilibili.com/video/BV1uv421i7gC/

• 相关知识

  • 玩转resnet50：https://www.bilibili.com/video/BV1Ya4y1o7HP/

  • Attention Map 💰：https://www.bilibili.com/video/BV1jC411W7sC/

  • Positional Embedding 💰：https://www.bilibili.com/video/BV1z84y1R7t8/

4、其他算法

• FCN：https://www.bilibili.com/video/BV14g4y1g72Z/

• yolo v1- 上：https://www.bilibili.com/video/BV1ec411T7Rh/

• yolo v1- 下：https://www.bilibili.com/video/BV1ks4y137oU/

• DDPM 理论知识：

  • 1 - 概述：https://www.bilibili.com/video/BV1Xu4y147ov/
  • 2 - 基础知识准备：https://www.bilibili.com/video/BV1UN411E7hz/
  • 3 - 前向扩散过程：https://www.bilibili.com/video/BV1vw41117r1/
  • 4 - 反向去噪过程、图像概率分布的理解：https://www.bilibili.com/video/BV13N411J7zK/
  • 5 - 损失函数：https://www.bilibili.com/video/BV1ju4y1x7L4/
  • 6 - 代码精讲 💰：https://www.bilibili.com/video/BV1xc411X7wx/

• 知识蒸馏：https://www.bilibili.com/video/BV1yN411T7jY/

  • 理论讲解：https://www.bilibili.com/video/BV1yN411T7jY/

  • 实验代码精讲 💰：https://www.bilibili.com/video/BV19w411n7kS/