embedding（神经网络中embedding 什么意思）

本文目录

• 神经网络中embedding 什么意思
• embedding在工业界应用以及训练的tricks
• encoding与embedding
• 怎么形象理解embedding这个概念
• bert原码解析(embedding)
• embedding翻译技巧
• 英译汉翻译技巧embedding

神经网络中embedding 什么意思

简单说：超阈值,引起某变化,超阈值,论少,都产影响.定性理解,数字逻辑电路电平阈值类比

embedding在工业界应用以及训练的tricks

embedding在工业界是非常常用的手段。例如双塔模型学习用户与内容的隐式向量表达，其产出可以用于召回，粗排，精排模型等多个阶段。

以下为一些使用的细节：
1、大规模粗排用离线计算的embedding加速，可以扩大粗排规模
2、利用预训练的embedding为模型提供更好的用户表达（一些模型对于某目标的预测不会使用用户的全量行为特征，所以能获取其在全量行为下计算的embedding作为初始化便能提升效果） 这与CV和NLP领域的pre training + fine turning是一样的方法
3、对于很多离散值，使用embedding输入dnn更有利于学习
4、对于一些连续值，也使其离散化后再用emb输入dnn
5、一些长尾用户的embedding更新几率很小，会导致其学习不充分。利用用户一些特征的刻画做用户分桶或聚类可以提升其学习效率（airbnb kdd1028）
6、对embedding层做专门的loss函数（multi-task），只更新其对应参数梯度，能加快其收敛。
7、也可以对一些过于低频的特征值做过滤，能减少参数空间，同样能提升其emb的收敛速度，避免过拟合
8、可以利用embedding做特征扩展。 通过embedding做特征“扩展”
9、建立单独的网络，仅对embedding层进行训练（参见狼厂的abacus）

encoding与embedding

encoding和embedding都是自然语言处理中将词语向量化的方法。

不考虑词之间的联系，每个词之间是独立的。
在这种方法中，没有考虑到同个词不同的语义。
常用的对类别标签进行encoding的one hot encode就是采用了这种方法。因为每个类别是一个数字，它们之间并没有内在联系。
同个词即是同个type。

将类似的词语聚类在一起，使得相似的词语之间的余弦值较小。
由于同一个词语在不同的语境下可能会有不同的含义，同个词可能根据语义不同会有不同的编码方式。这种方法使得同一个词（type）可以有不同的语义（token）。也就是说，同个type不代表同个token。

可以参考知乎上的文章 Word Embedding--介绍

怎么形象理解embedding这个概念

embedding 可以理解为比如降维，或者说把一些复杂难以表达的特征用相对来说可以用数学表达或者更易计算的形式来表达的一种映射。比如把单词转化成向量，把数字（的奇偶正负实复等性质）转化成n维矩阵。

bert原码解析(embedding)

       写这篇文章的起因是看ALBERT的时候，对其中参数因式分解，减少参数的方式不理解，后来通过原码来了解原理。后来想到虽然平时基于bert的nlp任务做的挺多的，但对原理还是一知半解的，所以在此记录。后续有时间的话，将常见的，看过的论文做个总结，不然容易忘记。(attention is all your need,bert,albert,roberta,sentence -bert,simcse,consert,simbert,nezha,ernie,spanbert,gpt,xlnet,tinybert,distillbert)
从图一可以明显看出，bert主要分为三块。embedding层，encoder层，以及pooler层，本章为embedding层的原码分析。
可以看出，输入的input，会先经过tokernizer，会补上cls,sep等特殊字符。然后embedding层会获取句子的token embeddings+segment embeddings+position embeddings作为最终的句子embedding。

1 token embedding:
token embedding有两种初始化方式。如果是训练预训练，随机出初始化一个30522*768的lookup table（根据wordpiece算法，英文一共有30522个sub-word就可以代表所有词汇，每个sub-word 768纬）。如果是在预训练模型的基础上finetune,读取预训练模型训练好的lookup table。假设输入的句子经过tokernized长度为16。经过lookup table就是16*768维的句子表示。

2 position embedding:
position embedding的lookup table 大小512*768，说明bert最长处理长度为512的句子。长于512有几种截断获取的方式。position embedding的生成方式有两种：1 根据公式直接生成 2 根据反向传播计算梯度更新。其中，transformer使用公式直接生成，公式为：

其中，pos指的是这个word在这个句子中的位置；2i指的是embedding词向量的偶数维度，2i+1指的是embedding词向量的奇数维度。为什么这个公式能代表单词在句子中的位置信息呢？因为位置编码基于不同位置添加了正弦波，对于每个维度，波的频率和偏移都有不同。也就是说对于序列中不同位置的单词，对应不同的正余弦波，可以认为他们有相对关系。优点在于减少计算量了，只需要一次初始化不需要后续更新。

其中， bert使用的是根据反向传播计算梯度更新。

3 segment embedding:
bert输入可以为两句话。。每句话结尾以seq分割。从embedding的大小可以看出，lookup table由两个768组成，对应第一句和第二句。该参数也由训练得到。

4 LN以及dropout:
embeddings = dropout(layernorm(token embeddings+segment embeddings+position embeddings))。Normalization 有很多种，但是它们都有一个共同的目的，那就是把输入转化成均值为 0 方差为1的数据。我们在把数据送入激活函数之前进行normalization(归一化)，因为我们不希望输入数据落在激活函数的饱和区，发生梯度消失的问题，使得我们的模型训练变得困难。这里不使用bn可以去除batch size对模型的影响。

下一篇为bert核心encoder模块的解析。

embedding翻译技巧

embedding通常被翻译为”埋置、物体”的意思，其中文解释还有”把”的意思。

埋置：

1、例句：i’m embedding you with several hundred thousand men and women who are。

2、翻译:我要让你加入几十万真正的士兵之中。

3、来源：英国拉丁词典。

物体：

1、例句：A method for embedding light microscope cryostat section of kidney for electron microscopy。

2、翻译:肾小球诊断样品由光镜的冰冻切片补做电镜制样的方法。

3、来源：英语自学简明词典。

把：

1、翻译:并利用视觉掩蔽效应自适应地选择嵌入强度，使得不可见性和鲁棒性得到很好的折中。

2、来源：英语发音在线词典。

3、插入、把。

英语例句：

1、Using HVS to choose the adaptive strength of embedding, it has a better invisibility and robustness.翻译:并利用视觉掩蔽效应自适应地选择嵌入强度，使得不可见性和鲁棒性得到很好的折中。

2、Bone marrow biopsy and plastic embedding is suggested to improve the diagnosis of BMB.翻译:建议采用骨髓活检塑料包埋切片，以提高BMB诊断水平。

3、Example application: inline content embedding.翻译:示例应用程序：内联内容嵌入。

4、Embedding whatever she last ingested into her bone?翻译:然后把她最后吃的东西嵌进了椎骨？

英译汉翻译技巧embedding

embedding中文意思是：嵌入。

Embedding（嵌入）是拓扑学里面的词，在深度学习领域经常和Manifold（流形）搭配使用。

在深度学习领域最原初的切入点是所谓的Manifold Hypothesis（流形假设）。流形假设是指“自然的原始数据是低维的流形嵌入于(embedded in)原始数据所在的高维空间”。那么，深度学习的任务就是把高维原始数据（图像，句子）映射到低维流形，使得高维的原始数据被映射到低维流形之后变得可分，而这个映射就叫嵌入（Embedding）。

Embedding就是从原始数据提取出来的Feature，也就是那个通过神经网络映射之后的低维向量。

双语例句：

Example application:Inline content embedding.

示例应用程序：内联内容嵌入。

Support for embedding widgets in ListGrid cells.

可以在ListGrid单元格中嵌入widget。

The key ingredients of a great Flash embedding method.

好的flash嵌入方法的关键。

Embedding,Table of Contents, Nicer Book Overview page.

嵌入、目录，和更好的摘要页面。

Increase space utilization by embedding less free space.

通过嵌入更少的空闲空间提高空间利用率。

This is the DE facto standard library for embedding SWFs.

这实际上是嵌入sWF的标准库。

Embedding and running the installation non-interactively.

非交互式地嵌入和运行安装。

Embedding copies the binary documents in the XML document.

嵌入是将二进制文档复制到XML文档中。

Embedding accessibility design in the development process.

在开发过程中嵌入易访问性设计。

Listing 1:Embedding a version element inside a SOAP header.

清单1：在SOAP消息头内部嵌入版本元素。