mT5：多国语言版T5(中文T5)(2020年10月论文)

　　mT5：多国语言版T5(中文T5)(2020年10月论文)1. 众措辞模子大凡来说比单措辞模子正在统一职司上恶果略差，比方图3，不过mT3和T3结果确近似，证据了众措辞模子的潜力。

　　2. 大型模子的功能比繁杂的模子更强劲，比方外2，mT5-XXL仅举行了75%的磨练，就曾经到达SOTA，不过参数目达13B。

　　3. 零样本练习(zero-shot learning): 纵然磨练时没有看到标的磨练集，也能举行模子预测。

　　近来的“文本到文本的转移transformer”(T5)行使联合的文本到文本的体式和大界限，正在百般英语NLP职司上得回最新的结果。 正在本文中，咱们先容了mT5，它是T5的众措辞变体，已正在包括101种措辞的新的基于Common Crawl的数据召集举行了预磨练。 咱们刻画了mT5的策画和订正的磨练，并正在很众众措辞基准上映现了其最新的功能。 这项事情中运用的全部代码和模子checkpoint都是公然可用的。

　　正在本文中，咱们通过揭橥mT5(T5的众措辞变体)来延续这一古代。 咱们运用mT5的标的是天生一个大界限的众措辞模子，该模子尽也许少地偏离用于创筑T5的办法。 是以，mT5承继了T5的全部利益(如第2节所述)，比方其通用的文本到文本体式，基于大界限实证商酌得出的见地的策画及其界限。 为了磨练mT5，咱们引入了称为mC4的C4数据集的众措辞变体。 mC4包括从大众“Common Crawl”收集抓取中提取的101种措辞的自然文本。 为了验证mT5的功能，咱们正在几个基准数据召集举行了测试，显示了很众处境下的最新功能。 咱们揭橥了经历预磨练的模子和代码，以便社区能够行使咱们的事情。

　　正在本节中，咱们扼要概述T5和C4预磨练数据集。 Raffel等人(2019)中供给了更众周密讯息。

　　T5是一种经历预磨练措辞模子，其紧要区别是针对全部基于文本的NLP题目运用联合的“文本到文本”体式。这种办法关于天生职司(比方呆板翻译或文本摘要)很自然，由于职司体式恳求模子天生以某些输入为要求的文本。关于分类职司，这是很不寻常的，此中磨练T5输出label的文本(比方，用于感情剖判的“正”或“负”)而不是种别索引。这种办法的紧要利益是，它应允对每个职司运用齐备类似的磨练标的(teacher-forced maximum-likelihood)，这本质上意味着能够运用一组超参数对任何下逛职司职司举行有用的微调。Keskar等人(2019)和McCann等人(2018)提出了仿佛的联合框架。鉴于此职司体式的seq2seq布局，T5运用了Vaswani等人最初提出的基础编码器-解码器transformer架构2017)。 T5正在Masked措辞模子的“span-corruption”标的前进行了预磨练，此中输入token的延续跨度被mask token替代，而且磨练了模子以重筑被mask的token。

　　T5的另一个区别成分是它的界限，其预磨练模子的巨细从6000万到110亿个参数不等。 这些模子已针对约1万亿token数据举行了预磨练。无标签的数据来自C4数据集，该数据集来自大众Common Crawl网站抓取的大约750GB的英语文本。 除了普及的反复数据删除除外，C4还席卷仅提取自然措辞(而不是样板措辞和其他庞杂措辞)的发动式办法。T5的预磨练标的，模子架构，界限计谋和很众其他策画遴选，都是基于大界限的遴选实证商酌，这正在Raffel等人(2019)中举行了周密刻画。

　　咱们正在本文中的标的是创筑一个尽也许众地服从T5办法的大界限众措辞模子。 为此，咱们开垦了C4预磨练数据集的扩展版本，涵盖101种措辞，并将更改集成到T5中以更好地合适这种众措辞。

　　C4数据集被明了策画为仅英语：langdetect任何页面少于99％的英语也许性的页面将被甩掉。 相反，关于mC4，咱们运用cld3识别100众种措辞。 因为这些措辞中的某些正在互联网上相对稀缺，是以咱们行使了Common Crawl或取到目前为止揭橥的71个月的收集实质。 这比C4所运用的源数据要众得众，C4仅运用2019年4月举行的收集抓取就足以供给豪爽的英语数据。

　　C4中一个主要的发动式过滤步是删除未以英语末尾标点符号终局的行。 因为这对很众措辞都不实用，是以咱们改用“行长过滤器”，该过滤器恳求页面起码包括三行，而且包括200个或更众字符的文本。 不然，咱们将服从C4的过滤办法，对文档中的行举行反复数据删除，然后过滤包括不良词的页面。最终，咱们运用cld3检测每个页面的紧要措辞，并删除置信度低于70％的页面。

　　操纵这些过滤器后，咱们将按措辞对其余页面举行分组，正在语料库中的全部措辞都包括10,000或更众页面。 这会爆发cld3界说的107种“措辞”文本。不过，咱们注视到此中有6种只是类似白话的剧本变体(比方ru是西里尔字母的俄语，而ru-Latn是拉丁字母的俄语)。 图1中显示了每种措辞的页数直方图。 周密的数据集统计讯息(席卷每种措辞的token计数)正在外5(附录)中显示。

　　图1：关于差别的措辞采样指数α(右轴)，每种措辞正在mC4中的页面计数(左轴)，以及来自每种措辞的mT5磨练样本的比例。 咱们的最终模子运用α= 0.3

　　外5：mC4语料库的统计讯息，合计6.6B页和6.3T token。 运用默认的指数滑腻值α= 0.3，“mT5”列显露来自给定措辞的mT5磨练数据的比例。 咱们列出了cld3检测到的107种“措辞”，但请注视此中的六种(token为“拉丁”)只是现有措辞的罗马化变体。

　　咱们用于mT5的模子架构和磨练进程与T5密切近似。 整体来说，咱们基于“T5.1.1”办法作战了mT5，对mT5举行了订正，运用GeGLU非线年)激活函数，正在更大模子中缩放dmodel而不是厘革dff, 对无标签数据举行预磨练而没有dropout等办法。 为简捷起睹，更众周密讯息请参考Raffel et al. (2019)。

　　预磨练众措辞模子的紧要成分是若何从每种措辞中采样数据。最终，这种遴选是零和博弈：若是对低资源措辞的采样过于一再，则该模子也许过拟合；反之亦然。若是高资源措辞没有经历足够的磨练，则该模子将欠拟合。是以，咱们采用(Devlin，2018; Conneau et al.,2019; Arivazhagan et al.,2019)中运用的办法，并依据p(L)∝ Lα的概率通过采样样从来巩固资源较少的措辞，此中p(L)是正在预磨练时间从给定措辞采样文本的概率和L是该措辞中样本的数目。超参数α(日常α1)使咱们能够负责正在低资源措辞上“boost”磨练概率的水平。先前事情运用的值，mBERT(Devlin，2018)是α= 0.7，XLM-R(Conneau等人，2019)的α= 0.3，MMNMT(Arivazhagan等人，2019)的α= 0.2。咱们试验了全部这三个值，挖掘α= 0.3能够正在高资源措辞和低资源措辞的功能之间做出合理的折衷。

　　咱们的模子涵盖了100众种措辞，这须要更大的单词外量。 服从XLM-R(Conneau et al.,2018)之后，咱们将单词外量添加到250,000个单词。 与T5相似，咱们运用SentencePiece(Kudo and Richardson，2018; Kudo，2018)单词模子，这些单词模子以与磨练时间，运用的类似措辞采样率举行磨练。 为了合适具有大字符集(比方中文)的措辞，咱们运用0.99999的字符笼罩率，但还启用了SentencePiece的“byte-fallback”特点，以确保能够独一编码任何字符串。

　　为了使咱们的新模子特别整体化，咱们与现有的豪爽运用众种措辞的预磨练措辞模子举行了扼要比拟。 为简捷起睹，咱们中心先容援助数十种措辞的模子。 外1给出了mT5与最近似模子的high-level比拟。

　　为了验证mT5的功能，咱们从xtreme众措辞基准测试(Hu等人，2020年)中的6个职司评估了咱们的模子：XNLI(Conneau等人，2018年)包括14种措辞的职司； XQuAD(Artetxe等，2019)，MLQA(Lewis等，2019b)和TyDi QA(Clark等，2020)别离包括10、7和11种措辞阅读会意基准; WikiAnn(Pan等人，2017)的定名实体识别(NER)数据集，此中包括来自xtreme的40种措辞(Hu等人，2020); PAWS-X(Yang等人，2019)用7种措辞复述识别数据集。咱们将全部职司转换为文本到文本体式，即直接天生label文本(XNLI和PAWS-X)，实体tags和label(WikiAnn NER)或答复(XQuAD，MLQA和TyDi QA)。关于NER，若是有众个实体，则服从产生的顺次将它们拼接起来；若是没有实体，则标的文本为“无”。咱们探讨这些职司的变体，此中仅依据英语数据(“zero-shot”)或将英语呆板翻译成每种标的措辞的数据(“translate-train”)对模子举行微调。为了简捷起睹，咱们参考Hu等人(2020)来得回相合这些基准的更众周密讯息。

　　服从原始的T5办法，咱们探讨了五个模子巨细：Small(≈300M参数)，Base(600M)，Large(1B)，XL(4B)和XXL(13B)。 与相应的T5模子变体比拟，参数数目的添加来自于mT5中运用的较大单词外。 咱们对1024 batches， 长度为1024的输入序列举行了100万步的预磨练，相当于总共约1万亿输入token。 这与T5的预磨练量类似，差不众是XLM-R的预磨练的1/6。 因为时分局限，咱们只呈报了经历磨练的mt5-XXL的结果，实行了75万步。 最终结果和进一步的测验将正在咱们的大众代码库中举行更新。

　　咱们运用T5正在预磨练时间运用的逆平方根练习率规划，将练习率树立为1 / \sqrt{\max (n, k)}，此中n是目下磨练迭代次数， k = 10^4是预热步数。 服从T5.1.1的办法，咱们不会正在预磨练时间操纵dropout。 咱们运用与T5类似的自监视标的，masked了15％的token，均匀噪声跨度为3。咱们将正在第4.2节中融解此中的极少测验细节。

　　外2给出了咱们的紧要结果，外6至外11(附录)给出了每个职司的每种措辞的细分。 咱们最大的模子mT5-XXL正在咱们探讨的全部职司上都到达了最新水准。 请注视，与咱们的模子差别，InfoXLM(Chi等，2020)从并行磨练数据中受益，而X-STILT(Phang等，2020)行使与标的职司近似的label数据。 总体而言，咱们的结果高出了模子才略，正在跨措辞显露练习中的主要性，并倡议推广容易的预磨练的办法，能够取代依赖于LM筛选，并行数据或中央职司的更繁杂的本事。

　　外2：合于xtreme句子对分类，布局化预测和问答职司的结果。除mT5(咱们的)外，全部目标均来自Fang等(2020)，纵然Conneau等(2019)的XLM-R的正在的XNLI上的涌现(80.9)更好 。 关于“翻译磨练”树立，咱们席卷英语磨练数据，以便与Fang等人(2020)举行比拟。 这与Hu et al(2020)的xtreme“翻译磨练”树立差别。

　　正在“翻译磨练”树立中，咱们正在全部xtreme分类和QA职司上也到达或高出了最新水准。 关于这些职司，咱们对labeled的英语数据及其呆板翻译的组合举行微调。这能够直接与Filter(Fang等人，2020年)以及XLM-R基线举行比拟)。 不过请注视，此树立与xtreme“translatetrain”(Hu等人，2020)有所差别，他们不席卷英文数据。

　　与特意针对该措辞磨练的巨细近似的“专用”模子比拟，已阅览到豪爽的众措辞模子正在给定措辞上的涌现不佳(Arivazhagan等人，2019)。 为了量化这种恶果，咱们比拟了正在SQuAD阅读会意基准上，举行微调时mT5和T5的功能(Rajpurkar等，2016)。结果如外3所示，而T5的结果摘自Raffel等人( 2019)。 固然小型和根柢型mT5模子不足其英语T5同类模子，但咱们挖掘较大的模子缩小了差异。 这证据也许存正在一个蜕变点，该模子有足够的才略有用地练习101种措辞，而没有显明的滋扰影响。

　　咱们运用“Large”模子行为基准运转六次融解，修削百般树立：(i)将dropout rate添加到0.1，以期淘汰对低资源措辞的过拟合，(ii)将序列长度淘汰为512，和T5中相似(iii)将预磨练标的中的均匀噪声跨度长度添加到10，由于咱们阅览到每个token的字符数少于T5；(iv)将措辞采样指数α调解为MMNMT中和mBERT(Devlin，2018)运用的{0.2，0.7}。(v)正在mC4数据pipeline中转为“行长过滤器”，(vi)正在mC4中增加来自103种措辞的Wikipedia data。

　　这些融解对XNLI零射确凿率的影响如外4所示。正在每种处境下，均匀XNLI得分均低于mT5-Large基线，这证据了咱们遴选的树立的合理性。 行长过滤器供给了+2点的晋升，证据了Conneau等人(2019)和Raffel等人(2019)的挖掘，即从Common Crawl中过滤低质料页面很有价钱。 将措辞采样指数α添加到0.7具有改观高资源措辞(比方俄语81.5→82.8)的功能的预期恶果，同时危害了低资源措辞(比方斯瓦希里语75.4→70.6)，均匀恶果为负。 相反，将α低重到0.2会稍微降低一种最终几种措辞(乌尔都语73.5→73.9)，但正在其他地方则无益。 外12和外13(附录)别离供给了相合XNLI的周密每种措辞目标以及zero-shot XQuAD上的融解功能，显示出大致类似的趋向。

　　正在本文中，咱们先容了mT5和mC4：T5模子和C4数据集的大界限众措辞变体。 咱们证据了T5办法可直接实用于众种措辞境况，并正在百般基准测试中均涌现卓异。 咱们揭橥了本文中运用的全部代码和用于预磨练的数据集，以督促他日对众措辞会意的事情。