tsn_kinetics400

tsn_kinetics400

模型名称	tsn_kinetics400
类别	视频-视频分类
网络	TSN
数据集	Kinetics-400
是否支持Fine-tuning	否
模型大小	95MB
最新更新日期	2021-02-26
数据指标	-

一、模型基本信息

• 模型介绍

  • TSN（Temporal Segment Network）是视频分类领域经典的基于2D-CNN的解决方案。该方法主要解决视频的长时间行为判断问题，通过稀疏采样视频帧的方式代替稠密采样，既能捕获视频全局信息，也能去除冗余，降低计算量。最终将每帧特征平均融合后得到视频的整体特征，并用于分类。TSN的训练数据采用由DeepMind公布的Kinetics-400动作识别数据集。该PaddleHub Module可支持预测。

  • 具体网络结构可参考论文：TSN。

二、安装

• 1、环境依赖

  • paddlepaddle >= 1.4.0

  • paddlehub >= 1.0.0 | 如何安装PaddleHub

• 2、安装

  • $ hub install tsn_kinetics400

  • 如您安装时遇到问题，可参考：零基础windows安装 | 零基础Linux安装 | 零基础MacOS安装

三、模型API预测

• 1、命令行预测

  • hub run tsn_kinetics400 --input_path "/PATH/TO/VIDEO"

    或者

  • hub run tsn_kinetics400 --input_file test.txt 

  • Note: test.txt 存放待分类视频的存放路径

  • 通过命令行方式实现文字识别模型的调用，更多请见 PaddleHub命令行指令

• 2、预测代码示例

  • import paddlehub as hub
    
    tsn = hub.Module(name="tsn_kinetics400")
    
    test_video_path = "/PATH/TO/VIDEO"
    
    # set input dict
    input_dict = {"image": [test_video_path]}
    
    # execute predict and print the result
    results = tsn.video_classification(data=input_dict)
    for result in results:
        print(result)

• 3、API

  • def video_classification(data)

    • 用于视频分类预测

    • 参数

      • data(dict): dict类型，key为image，str类型；value为待分类的视频路径，list类型。

    • 返回

      • result(list[dict]): list类型，每个元素为对应输入视频的预测结果。预测结果为dict类型，key为label，value为该label对应的概率值。

五、更新历史

• 1.0.0

  初始发布

  • $ hub install tsn_kinetics400==1.0.0