Skip to main content
推荐文章:跨语言版BERT:Facebook提出跨语言预训练模型XLM
本站微文频道仅收录微信文章列表索引
点击这里去看文章全文

本文来自微信公众号:机器之心 | 发布时间:2019-02-06 11:48:50

点击查看原文
跨语言版BERT:Facebook提出跨语言预训练模型XLM

跨语言版BERT:Facebook提出跨语言预训练模型XLM

机器之心

选自 GitHub

机器之心编译

参与:张倩、思源


自去年 BERT 横空出世以来,预训练语言模型就得到大量的关注,但大多数预训练表征都是单语言的,不同语言的表征并没有什么关系。今天,Facebook 发布了一种新型跨语言预训练语言模型,它旨在构建一种跨语言编码器,从而将不同语言的句子在相同的嵌入空间中进行编码。这种共享的编码空间对机器翻译等任务有很大的优势。


项目地址:https://github.com/facebookresearch/XLM


在这一项工作中,作者展示了跨语言预训练语言模型的高效性,它在多种跨语言理解基准任务中都取得了很好的效果。总的而言,Facebook 提供的是一种跨语言版的 BERT,它在 XNLI 和无监督机器翻译等跨语言任务取得了当前最好的效果。



整个 XLM 开源项目主要展示了预训练语言模型和机器翻译等使用方法,如下所示为项目结构。


1. 预训练语言模型:


  • 因果语言模型(CLM)—单语言

  • BERT 中通过掩码训练的语言模型(MLM)—单语言

  • 翻译语言模型(TLM)—跨语言


2. 监督/无监督机器翻译训练:


  • 降噪自编码器

  • 平行数据训练

  • 在线回译


3.XNLI 微调

4.GLUE 微调


此外,XLM 支持多 GPU 和多节点训练,这对于大规模重训练或微调都很有帮助。


预训练模型


本项目提供预训练跨语言模型,所有预训练模型都是利用 MLM 目标函数训练的:



机器翻译预训练论文中用到的是英-法、英-德、英-罗马尼亚模型。如果要使用这些模型,需要使用相同的数据预处理/BPE 代码来预处理数据。


XNLI 微调用到的模型是 XNLI-15。它可以处理英语、法语、西班牙语、德语、希腊语、保加利亚语、俄语、土耳其语、阿拉伯语、越南语、泰国语、汉语、印地语、斯瓦希里语和乌尔都语。该模型的预处理方法不同于机器翻译模型。


生成跨语言句子表征


项目提供了一段简单的示例代码,它可以帮我们从预训练模型快速获取跨语言句子表征,这种跨语言的句子表征对机器翻译、计算句子相似性或实现跨语言的分类器都很有帮助。项目提供的示例主要是 Python 3 写的,它还需要 Numpy、PyTorch、fastBPE 和 Moses 四个库的支持。其中 fastBPE 主要帮助解决机器翻译中罕见词的表征问题,Moses 主要对文本进行清理和 Tokenize 等过程,这个库并不需要安装。


要生成跨语言的句子表征,首先需要导入一些代码文件和库:


import os
import torch

from src.utils import AttrDict
from src.data.dictionary import Dictionary, BOS_WORD, EOS_WORD, PAD_WORD, UNK_WORD, MASK_WORD
from src.model.transformer import TransformerModel


加载预训练模型:


model_path = '/private/home/guismay/aws/XLM/mlm_tlm_xnli15_1024.pth'
reloaded = torch.load(model_path)
params = AttrDict(reloaded['params'])
print("Supported languages: %s" % ", ".join(params.lang2id.keys()))

__________________________________________

Supported languages: ar, bg, de, el, en, es, fr, hi, ru, sw, th, tr, ur, vi, zh


构建字典、更新参数和构建模型:


# build dictionary / update parameters
dico = Dictionary(reloaded['dico_id2word'], reloaded['dico_word2id'], reloaded['dico_counts'])
params.n_words = len(dico)
params.bos_index = dico.index(BOS_WORD)
params.eos_index = dico.index(EOS_WORD)
params.pad_index = dico.index(PAD_WORD)
params.unk_index = dico.index(UNK_WORD)
params.mask_index = dico.index(MASK_WORD)

# build model / reload weights
model = TransformerModel(params, dico, TrueTrue)
model.load_state_dict(reloaded['model'])


下面展示一些语言的案例,我们会根据预训练模型抽取句子表征,它们已经是 BPE 格式(基于 fastBPE 库):


# list of (sentences, lang)
sentences = [
    ('the following secon@@ dary charac@@ ters also appear in the nov@@ el .''en'),
    ('les zones rurales offr@@ ent de petites routes , a deux voies .''fr'),
    ('luego del cri@@ quet , esta el futbol , el sur@@ f , entre otros .''es'),
    ('am 18. august 1997 wurde der astero@@ id ( 76@@ 55 ) adam@@ ries nach ihm benannt .''de'),
    ('اصدرت عدة افلام وث@@ اي@@ قية عن حياة السيدة في@@ روز من بينها :''ar'),
    ('此外 , 松@@ 嫩 平原 上 还有 许多 小 湖泊 , 当地 俗@@ 称 为 “ 泡@@ 子 ” 。''zh'),
]

# add </s> sentence delimiters
sentences = [(('</s> %s </s>' % sent.strip()).split(), lang) for sent, lang in sentences]


最后创建批量并完成前向传播就能获得最终的句子嵌入向量:


bs = len(sentences)
slen = max([len(sent) for sent, _ in sentences])

word_ids = torch.LongTensor(slen, bs).fill_(params.pad_index)
for i in range(len(sentences)):
    sent = torch.LongTensor([dico.index(w) for w in sentences[i][0]])
    word_ids[:len(sent), i] = sent

lengths = torch.LongTensor([len(sent) for sent, _ in sentences])
langs = torch.LongTensor([params.lang2id[lang] for _, lang in sentences]).unsqueeze(0).expand(slen, bs)

tensor = model('fwd', x=word_ids, lengths=lengths, langs=langs, causal=False).contiguous()
print(tensor.size())


最后输出的张量形状为 (sequence_length, batch_size, model_dimension),它可以进行进一步的微调,从而完成 GLUE 中的 11 项 NLP 任务或 XNLI 任务等。


当然除了提取预训练句子嵌入向量,该项目还展示了如何用于无监督机器翻译等任务,详细内容可查阅原 GitHub 项目。


论文:Cross-lingual Language Model Pretraining



论文链接:https://arxiv.org/abs/1901.07291


摘要:最近的研究已经展示了生成预训练在英语自然语言理解上的有效性。本研究将此方法扩展到多种语言并展示了跨语言预训练的有效性。研究者提出了两种方法,用于学习跨语言模型(XLM):一个是无监督模型,只依赖单语数据,另一个是有监督模型,利用具有新的跨语言模型目标函数的平行数据。该方法在跨语言分类、无监督和有监督机器翻译方面达到了当前最佳水准。在 XNLI 上,该方法将当前最高绝对准确率提高了 4.9%。在无监督机器翻译上,本研究中的方法在 WMT'16 德语-英语任务上的 BLEU 到达了 34.3,将当前最佳水平提高了 9 分。在有监督机器翻译任务中,该方法在 WMT'16 罗马尼亚语-英语任务中的 BLEU 达到 38.5,将当前最佳水平提高了 4 分。



本文为机器之心编译,转载请联系本公众号获得授权

✄------------------------------------------------

加入机器之心(全职记者 / 实习生):hr@jiqizhixin.com

投稿或寻求报道:content@jiqizhixin.com

广告 & 商务合作:bd@jiqizhixin.com

    发送中

    点击查看原文
    本文来自微信公众号:机器之心
    发布时间:2019-02-06 11:48:50

    微信号:almosthuman2014
    简 介:人与科技的美好关系



    本站文章为自动抓取,如有相关转载权限问题
    请邮件:admin@caup.net
    其他推荐
     

    用微信扫一扫