Look into Person(LIP)数据集专注于人的语义理解

订阅方案:
普通用户:
¥10.00
VIP用户:
¥0.00
联系客服 查看订阅方案
来源: Moonapi
更新时间: 2024-03-28 最新数据时间: 2022.05.01 手动更新
数据集简介:

Look into Person(LIP)是一个新的大规模数据集,专注于人的语义理解,该数据集包含 50,000 张图像,其中包含精心设计的像素注释、19 个语义人体部位标签和具有 16 个关键点的 2D 人体姿势。带注释的 50,000 张图像是从 COCO 数据集中裁剪的人物实例,大小大于 50 * 50。从真实场景收集的图像包含以具有挑战性的姿势和视图出现的人类、严重遮挡、各种外观和低分辨率。

展开
  • 质量保证
  • 免费样本数据
  • 免费数据更新
  • 提供发票
数据集概览(文件数量,文件种类,数据集行列数),数据集示例数据请查看下方数据集介绍或联系客服索取
    • 数据集介绍
    • 订阅方案
    • 问题反馈

    Look into Person(LIP)数据集专注于人的语义理解简介

    Look into Person(LIP)是一个新的大规模数据集,专注于人的语义理解。以下是详细说明。

    我们的实验室站点

    人类网络物理智能集成实验室@ 中山大学

    LIP 数据集

    我们提出了一个新的大规模数据集,专注于对人的语义理解。该数据集比以前的类似尝试更大,更具挑战性,该尝试包含50,000张图像,其中包含精心设计的像素注释,带有19个语义人类部分标签和具有16个关键点的2D人体姿势。从现实世界场景中收集的图像包含具有挑战性的姿势和视图的人类,严重遮挡,各种外观和低分辨率。这一挑战和基准得到了中山大学人-网络-物理智能集成实验室的全力支持。

    引文

    如果您使用我们的数据集,请考虑引用相关论文:

    “通过零件分组网络进行实例级人体解析”[代码]
    龚克,梁晓丹,李义成,陈一民,杨明,林亮;
    欧洲计算机视觉会议(ECCV Oral),2018年。

    “用于视频实例级人体解析的自适应时间编码网络”[代码]
    周七贤,梁晓丹,龚克,梁林;
    ACM多媒体国际会议(ACM MM),2018年。

    “Look into Person: Joint Body Parsing & Pose Estimation Network and A New Benchmark” [Code]
    Xiaodan Liang, Ke Gong, Xiaohui Shen, and Liang Lin;
    IEEE Transactions on Pattern Analysis and Machine Intelligence (T-PAMI), 2018.

    “Look into Person: Self-supervised Structure-sensitive Learning and A New Benchmark for Human Parsing” [Code]
    Ke Gong, Xiaodan Liang, Dongyu Zhang, Xiaohui Shen, Liang Lin;
    2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2017)。

    “人类解析与情境化卷积神经网络”
    梁晓丹,徐春燕,沈晓辉,杨建超,刘思,唐金辉,林水成;
    IEEE模式分析和机器智能学报(T-PAMI),DOI:10.1109 / TPAMI.2016.2537339,2016。

     

    许可证

    此 LIP 数据集免费提供给学术和非学术实体,用于非商业目的,如学术研究、教学、科学出版物或个人实验。在您同意我们的许可条款的情况下,授予使用数据的许可。

    体积

    该数据集包含 50,000 张图像,其中包含精心设计的像素注释、19 个语义人体部位标签和具有 16 个关键点的 2D 人体姿势。

    多样性

    带注释的 50,000 张图像是从 COCO 数据集中裁剪的人物实例,大小大于 50 * 50。从真实场景收集的图像包含以具有挑战性的姿势和视图出现的人类、严重遮挡、各种外观和低分辨率。我们正在努力收集和注释更多图像,以增加多样性。

    单人

    我们将图像分为三组。训练集 30462 张图像,验证集 10000 张图像,测试集 10000 张。

    此外,我们还在“使用上下文化卷积神经网络进行人工解析”中提到了另一个大型数据集。ICCV'15,专注于时尚形象。您可以下载包含 17000 张图像的数据集作为额外的训练数据。

    多人

    为了刺激多人解析研究,我们收集了具有多人实例的图像,为实例级人工解析建立了第一个标准和全面的基准。我们的人群实例级人体解析数据集 (CIHP) 包含 28280 个训练、5000 个验证和 5000 个测试图像,其中总共有 38280 个多人图像。

    Our Lab-site

    Human Cyber Physical Intelligence Integration Lab @ SYSU

    The LIP Dataset

    We present a new large-scale dataset focusing on semantic understanding of person. The dataset is an order of magnitude larger and more challenge than similar previous attempts that contains 50,000 images with elaborated pixel-wise annotations with 19 semantic human part labels and 2D human poses with 16 key points. The images collected from the real-world scenarios contain human appearing with challenging poses and views, heavily occlusions, various appearances and low-resolutions. This challenge and benchmark are fully supported by the Human-Cyber-Physical Intelligence Integration Lab of Sun Yat-sen University.

    Citation

    If you use our datasets, please consider citing relevant papers:

    "Instance-level Human Parsing via Part Grouping Network”   [Code]
    Ke Gong, Xiaodan Liang, Yicheng Li, Yimin Chen, Ming Yang, Liang Lin;
    European Conference on Computer Vision (ECCV Oral), 2018.

    "Adaptive Temporal Encoding Network for Video Instance-level Human Parsing”   [Code]
    Qixian Zhou, Xiaodan Liang, Ke Gong, Liang Lin;
    ACM International Conference on Multimedia (ACM MM), 2018.

    "Look into Person: Joint Body Parsing & Pose Estimation Network and A New Benchmark”   [Code]
    Xiaodan Liang, Ke Gong, Xiaohui Shen, and Liang Lin;
    IEEE Transactions on Pattern Analysis and Machine Intelligence (T-PAMI), 2018.

    "Look into Person: Self-supervised Structure-sensitive Learning and A New Benchmark for Human Parsing"   [Code]
    Ke Gong, Xiaodan Liang, Dongyu Zhang, Xiaohui Shen, Liang Lin;
    2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2017).

    “Human Parsing With Contextualized Convolutional Neural Network”
    Xiaodan Liang, Chunyan Xu, Xiaohui Shen, Jianchao Yang, Si Liu, Jinhui Tang, Liang Lin, Shuicheng Yan;
    IEEE Transactions on Pattern Analysis and Machine Intelligence (T-PAMI), DOI: 10.1109/TPAMI.2016.2537339, 2016.

     

    License

    This LIP Dataset is made freely available to academic and non-academic entities for non-commercial purposes such as academic research, teaching, scientific publications, or personal experimentation. Permission is granted to use the data given that you agree to our license terms.

    Overview

    Look into Person (LIP) is a new large-scale dataset, focus on semantic understanding of person. Following are the detailed descriptions.

    Volume

    The dataset contains 50,000 images with elaborated pixel-wise annotations with 19 semantic human part labels and 2D human poses with 16 key points.

    Diversity

    The annotated 50,000 images are cropped person instances from COCO dataset with size larger than 50 * 50.The images collected from the real-world scenarios contain human appearing with challenging poses and views, heavily occlusions, various appearances and low-resolutions. We are working on collecting and annotating more images to increase diversity.

    Single Person

    We have divided images into three sets. 30462 images for training set, 10000 images for validation set and 10000 for testing set.

    Besides we have another large dataset mentioned in "Human parsing with contextualized convolutional neural network." ICCV'15, which focuses on fashion images. You can download the dataset including 17000 images as extra training data.

    Multi-Person

    To stimulate the multiple-human parsing research, we collect the images with multiple person instances to establish the first standard and comprehensive benchmark for instance-level human parsing. Our Crowd Instance-level Human Parsing Dataset (CIHP) contains 28280 training, 5000 validation and 5000 test images, in which there are 38280 multiple-person images in total.

    Look into Person(LIP)数据集专注于人的语义理解内容预览

    Look into Person (LIP) 是一个大规模的人体语义解析数据集,它包括了带有像素级人体部位标注(19种人体部位类别)和2D姿势标注(16个关键点)的50000张图像。这50000张图像裁剪自COCO数据集中的人物实例,图像尺寸均大于50 * 50. 它们覆盖了真实世界的各种场景,包括姿势和视角的改变、严重的遮挡、变化的外观以及低分辨率。

    实际上,该数据集可以分为四个部分,分别为:单人人体解析多人人体解析基于视频的多人人体解析基于图像的虚拟试衣。可以从该数据集官网中得到下载链接(包括百度云盘和谷歌云盘链接)。

    在这里我们主要讨论第一个部分,即单人人体解析数据集。它包括了19种类别标签加上背景标签,所以一共是20种类别:

    1. Background
    2. Hat
    3. Hair
    4. Glove
    5. Sunglasses
    6. Upper-clothes
    7. Dress
    8. Coat
    9. Socks
    10. Pants
    11. Jumpsuits
    12. Scarf
    13. Skirt
    14. Face
    15. Left-arm
    16. Right-arm
    17. Left-leg
    18. Right-leg
    19. Left-shoe
    20. Right-shoe
    LIP数据集样本实例

     

    baseline代码分享

    该baseline模型基于PSPNet,其中的特征提取主干可以选择resNet50、denseNet121、squeezeNet或者其它模型。

    源码链接如下:

    https://github.com/hyk1996/Single-Human-Parsing-LIP

    如果觉得有帮助,欢迎star和fork,如果需要已经训练好的网络模型可以通过下面链接下载。

    Google Drive

    Baidu Drive (提取码:43cu)
     

    实验结果和可视化如下:(可视化代码也包含在源码里了)

    推荐数据集