什么是元学习

元学习介绍

元学习希望能够使得模型获取调整超参数能力,使其可以在获取已有的知识基础上,快速学习新任务。

元学习目的

元学习和机器学习的区别在于:机器学习是先人为调参,之后直接训练特定任务下的深度学习模型,元学习则是先通过其他的任务训练出一个较好的超参数。然后再对特定的任务进行训练。
在这里插入图片描述
这些超参数可以是初始化参数、选择优化器、定义损失函数、梯度下降更新参数等等
在这里插入图片描述

元学习流程

在机器学习中,训练单位是样本数据,通过数据来对模型进行优化,数据可以分为训练集、测试集和验证集训练集、测试集和验证集训练集、测试集和验证集
在元学习中,训练单位是任务,一般有两个任务,分别为训练任务训练任务训练任务(Train tasks),和测试任务Test task。

训练任务

在训练任务中,给定hhh个子训练任务,每个子训练任务的数据集分别为Support set和Query set.

  • 首先,通过这hhh个子任务的Support set训练,分别训练出针对各个子任务的模型参数θk∗\theta_k^*θk
  • 然后用不同子任务的Query set,分别去测试θk∗\theta_k^*θk的性能,并计算预测值PikqP^{kq}_iPikq和真实标签YikqY^{kq}_iYikq的损失IkI_kIk
  • 接着整合这hhh个损失函数L(ϕ)L(\phi)L(ϕ)
  • L(ϕ)=l1+l2+l3+⋯ ,+lhL(\phi) = l_1 + l_2 + l_3 + \cdots,+ l_hL(ϕ)=l1+l2+l3+,+lh
  • 最后利用梯度下降法去更新超参数ϕ\phiϕ去更新参数
  • 在这里插入图片描述
  • 在这里插入图片描述

测试任务

测试任务是正常机器学习的过程,其将数据集划分为训练集和测试集。
训练任务的目的是找到一个好的超参数设置ϕ∗\phi^*ϕ
利用这个先验知识,可以对特定的测试任务fff进行更好的训练。
在这里插入图片描述

Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐