建设电商网站,做鲜榨果汁店网站,一个人的免费高清影院,比较好的 网站统计系统 php源码来源#xff1a;投稿 作者#xff1a;橡皮 编辑#xff1a;学姐 带你学习跨域小样本系列1-简介篇
跨域小样本系列2-常用数据集与任务设定详解#xff08;本篇#xff09;
跨域小样本系列3#xff1a;元学习方法解决CDFSL以及两篇SOTA论文讲解
跨域小样本系列4#xf… 来源投稿 作者橡皮 编辑学姐 带你学习跨域小样本系列1-简介篇
跨域小样本系列2-常用数据集与任务设定详解本篇
跨域小样本系列3元学习方法解决CDFSL以及两篇SOTA论文讲解
跨域小样本系列4finetune方法解决CDFSL以及两篇SOTA论文讲解
跨域小样本系列5除此之外一些奇门异路的论文讲解 引言
在上一期主要介绍了关于小样本学习的基本概念以及在不同领域其不可忽视的实际作用。当我们对一个机器学习任务的定义有了初步了解之后下一步需要去做的就是接触任务所使用的数据集一般分为两类真实自定义数据集和公开数据集。
前者主要面向业界的具体落地应用而后者主要面向学术界的state-of-the-art迭代通常来讲在公开数据集上的算法更新速度快自定义数据集的设定其实是根据具体任务并最大程度上追求接近公开数据集的结构。因此在此总结了较常用的5个公开数据集方便从学术探究角度的入门理解以及代码复现。
说明
对于小样本学习的公开数据集是否被学术界认可/是否为常用的选择依据均来自paper with code的分类任务排行榜[https://paperswithcode.com/task/few-shot-image-classification] 关于FSL数据集设置
小样本学习的目标是使用数量较少的训练集来构建准确的机器学习模型可用数据的设定上与其他数据集也不尽相同。 1.Imagenet
Imagenet作为对深度学习领域推动力最大的图像分类数据集同样也在小样本学习的分类任务中有着不小的贡献。基于Imagenet进行修改设定适用于小样本学习任务的数据集有Imagenet-1K, mini-Imagenet, tiered-Imagenet。
ImageNet-1K Challenge数据集采样于ImageNet数据集共包含1000类别。使用中通常划分为基础数据集389个类别和新样本数据集611种。
[paper]Hariharan B, Girshick R. Low-shot visual recognition by shrinking and hallucinating features[C]//Proceedings of the IEEE International Conference on Computer Vision. 2017: 3018-3027.
[Download] http://www.image-net.org/
Mini-ImageNet数据集是从ImageNet数据集中采样了60000张图像构成共包含100类别每个类别600张图像图像的尺寸为84*84。在实际的使用中通常选择其中80类的图像作为训练集剩余20类的图像作为验证集。也有的文章将其分为基础集Base Class64种验证集Validation Class16种和新类别集Novel Class20种。
[paper]Vinyals O, Blundell C, Lillicrap T, et al. Matching networks for one shot learning[C]//Advances in neural information processing systems. 2016: 3630-3638.是由 Matching Networks for One Shot Learning [NeurIPS 2016]
[Download]https://pan.baidu.com/share/init?surlbQTtrkEgWfs_iaVRwxPF3Q33e7
Tiered Imagenet数据集也是从ImageNet数据集中选取的包含34个大类Categories每个大类有包含10-30个小类Classes每个类别有数量不等的多个图像样本共计608个类别779165张图像平均每个类别包含1281张图片。34个大类可划分为训练集20大类验证集6大类和测试集8大类。
[paper] Ren M, Triantafillou E, Ravi S, et al. Meta-learning for semi-supervised few-shot classification[J]. arXiv preprint arXiv:1803.00676, 2018.
[Download]https://link.zhihu.com/?targethttps%3A//drive.google.com/uc%3Fexport%3Ddownload%26confirm%3D_SLS%26id%3D1g1aIDy2Ar_MViF2gDXFYDBTR-HYecV07
2.CIFAR
CIFAR数据集同样能够通过使用生成mini-ImageNet的相同标准从CIFAR-100Krizhevsky Hinton, 2009中随机抽取的。 平均类间相似度很高对目前的技术水平是个挑战。此外32×32的有限原始分辨率使任务更加困难同时也允许快速的原型设计。由此衍生出两种用于小样本异常检测的CIFAR数据集。
CIFAR-FS
CIFAR-FS数据集全称为CIFAR100 Few-Shots数据集是来自于CIFAR 100数据集共包含100类别每个类别600张图像合计60,000张图像。使用中通常划分为训练集64种验证集16种和测试集20种图像尺寸统一为32*32。
[paper]Bertinetto L, Henriques J F, Torr P H S, et al. Meta-learning with differentiable closed-form solvers[J]. arXiv preprint arXiv:1805.08136, 2018.
[Download] https://pan.baidu.com/share/init?surlHqRUw3dmsMBInt_Fh3J_Uw (ub38)
CIFAR100
FC100数据集全称是Few-shot CIFAR100数据集与上文的CIFAR-FS数据集类似同样来自CIFAR100数据集共包含100类别每个类别600张图像合计60,000张图像。
但不同之处在于 FC100不是按照类别Class进行划分的而是按照超类Superclass进行划分的。共包含20个超类60个类别其中训练集12个超类验证集4个超类20个类别测试集4个超类20个类别。
[paper] Oreshkin B, López P R, Lacoste A. Tadam: Task dependent adaptive metric for improved few-shot learning[C]//Advances in Neural Information Processing Systems. 2018: 721-731.
[Download] https://pan.baidu.com/share/init?surlWnlp1-obKsMLcHITYQ1CLg (kcd6)
3.CUB 200
Caltech-UCSD Birds-200-2011CUB-200-2011数据集是最广泛使用的细粒度视觉分类任务的数据集。它包含了属于鸟类的200个子类别的11,788幅图像其中5,994幅用于训练5,794幅用于测试。每张图片都有详细的注释。
1个子类别标签15个部位位置312个二元属性和1个边界框。文字信息来自于Reed等人。他们通过收集细粒度的自然语言描述来扩展CUB-200-2011数据集。每张图片都收集了10个单句描述。
自然语言描述是通过Amazon Mechanical TurkAMT平台收集的要求至少有10个单词没有任何子类别和动作的信息。
4.Meta-Dataset
Meta-Dataset基准是一个大型的小样本学习基准由不同数据分布的多个数据集组成。它并不限制小样本任务有固定的种类和数量因此代表了一个更真实的场景。它由来自不同领域的10个数据集组成。 ILSVRC-2012ImageNet数据集由1000个类别的自然图像组成。 Omniglot手写的字符1623个类别 Aircraft飞机图像的数据集100个类别 CUB-200-2011鸟类的数据集200个类别 Describable Textures不同种类的纹理图像有43个类别 Quick Draw345个不同类别的黑白草图 Fungi (一个大型的蘑菇数据集有1500个类别) VGG Flower有102个类别的花图像数据集。 Traffic Signs德国交通标志图像有43个类别 MSCOCO从Flickr收集的图像80个类别。
除了Aircraft和MSCOCO所有的数据集都有训练、验证和测试部分比例大致为70%、15%、15%。Aircraft和MSCOCO数据集只保留用于测试。
[paper]Triantafillou E, Zhu T, Dumoulin V, et al. Meta-dataset: A dataset of datasets for learning to learn from few examples[J]. arXiv preprint arXiv:1903.03096, 2019.
[Download]https://github.com/google-research/meta-dataset
5.Omniglot
Omniglot数据集是为开发更像人类的学习算法而设计的。它包含来自50个不同语言的1623个不同的手写字符。这1623个字符中的每一个都是由20个不同的人通过亚马逊的Mechanical Turk在线绘制的。每张图片都与笔画数据配对这是一个[x,y,t]坐标序列时间t为毫秒。使用中通常选择1200种字符作为训练集剩余的423种字符作为验证集并通过旋转90°180°和270°进行数据集扩张每张图片通过裁剪将尺寸统一为28*28。
[paper]Lake B, Salakhutdinov R, Gross J, et al. One shot learning of simple visual concepts[C]//Proceedings of the annual meeting of the cognitive science society. 2011, 33(33).
[Download]https://github.com/brendenlake/omniglot
以上即为五大类数据集中的8小类专门用于小样本学习算法和模型评估的公开数据集的基本介绍和下载地址。
在进入下一节学习具体的小样本算法之前建议先阅读提出数据集的论文先将作者对于不同数据集在小样本学习中所注重的侧重点搞清楚。
下期介绍元学习方法解决CDFSL以及两篇SOTA论文讲解
点击下方卡片关注《学姐带你玩AI》别错过
码字不易欢迎大家点赞评论收藏
