２０ｌ７年２月 井仙胜用 丸 －Ｖｏ１．３４ Ｎｏ．２ Ａｐｐｌｉｃａｔｉｏｎ Ｒｅｓｅａｒｃｈ ｏｆ Ｃｏｍｐｕｔｅｍ Ｆｅｂ．２０１７ 低资源条件下基于ｉ—ｖｅｃｔｏｒ特征的ＬＳＴＭ 递归神经网络语音识别系统冰 黄光许 ，田盎 ，康健 ，刘加 ，夏善红 （１．中国科学院大学，北京１００１９０；２．中国科学院电子学研究所传感技术国家重点实验室，北京１００１９０；３．清 华大学电子工程系清华信息科学与技术国家实验室，北京１０００８４） 摘要：在低资源条件下，由于带标注训练数据较少，搭建的语音识别系统性能往往不甚理想。针对此问题，首 先在声学模型上研究了长短时记忆（ＬＳＴＭ）递归神经网络，通过对长序列进行建模来充分挖掘上下文信息，并且 引入线性投影层减小模型参数；然后研究了在特征空间中对说话人进行建模的技术，提取出能有效反映说话人 和信道信息的身份认证矢量（ｉ－ｖｅｃｔｏｒ）；最后将上述研究结合构建了基于ｉ－ｖｅｃｔｏｒ特征的ＬＳＴＭ递归神经网络系 统。在Ｏｐｅｎ ＫＷＳ ２０１３标准数据集上进行实验，结果表明该技术相比于深度神经网络基线系统有相对１０％的 字节错误率降低。 关键词：语音识别；长短时记忆神经网络；身份认证矢量 中图分类号：ＴＰ３９１．４２ 文献标志码：Ａ 文章编号：１００１—３６９５（２０１７）０２．０３９２．０５ ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１００１－３６９５．２０１７．０２．０１６ Ｌｏｎｇ ｓｈｏｒｔ ｔｅｒｍ ｍｅｍｏｒｙ ｒｅｃｕｒｒｅｎｔ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ａｃｏｕｓｔｉｃ ｍｏｄｅｌｓ ｕｓｉｎｇ ｉ－ｖｅｃｔｏｒ ｆｏｒ ｌｏｗ ｒｅｓｏｕｒｃｅ ｓｐｅｅｃｈ ｒｅｃｏｇｎｉｔｉｏｎ Ｈｕａｎｇ Ｇｕａｎｇｘｕ ，Ｔｉａｎ Ｙａｏ。Ｋａｎｇ Ｊｉａｎ ，Ｌｉｕ Ｊｉａ ，Ｘｉａ Ｓｈａｎｈｏｎｇ ，（１．Ｕｎｉｖｅｒｓｉｔｙ ｏｆＣｈｉｎｅｓｅ Ａｃａｄｅｍｙ ｏｆＳｃｉｅｎｃｅｓ，Ｂｅｉｊｉｎｇ １００１９０，Ｃｈｉｎａ；２．Ｓｔａｔｅ Ｋｅｙ Ｌａｂｏｒａｔｏｒｙ ｏｆ Ｔｒａｎｓｄｕｃｅｒ Ｔｅｃｈｎｏｌｏｇｙ，Ｉｎｓｔｉｔｕｔｅ ｏｆＥｌｅｃｔｒｏ— ｎｉｃｓ，Ｃｈｉｎｅｓｅ Ａｃａｄｅｍｙ ｏｆｓｃ话 ∞，Ｂｅｉｉｎｇ １００１９０，Ｃｈｉｆｎａ；３．Ｔｓｉｎｇｈｕａ Ｎａｔｉｏｎａｌ Ｌａｂｏｒａｔｏｒｙｆｏｒ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｃｉｅｎｃｅ＆Ｔｅｃｈｎｏｌｏｇｙ，Ｄｅｐｔ．ｏｆ Ｅｌｅｃｔｒｏｎｉｃ Ｅｎｇｉｅｅｒｎｉｎｇ，Ｔｓｉｎｇｈｎａ Ｕｎｉｖｅｒｓｉｔｙ，Ｂｅｑｉｎｇ １０００８４，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｕｎｄｅｒ ｔｈｅ ｃｏｎｄｉｔｉｏｎ ｏｆ ｌｏｗ ｒｅｓｏｕｒｃｅ，ｌｉｔｔｌｅ ｌａｂｅｌｅｄ ｔｒａｉｎｉｎｇ ｄａｔａ ｉｓ ａｖａｉｌａｂｌｅ ａｎｄ ｔｈｅ ｐｅｒｆｏｒｍａｎｃｅ ｏｆ ｓｐｅｅｃｈ ｒｅｃｏｇｎｉ－ ｔｉｏｎ ｓｙｓｔｅｍ ｉｓ ｎｏｔ ｉｄｅａ１．Ｔｏ ｓｏｌｖｅ ｔｈｉｓ ｐｒｏｂｌｅｍ．Ｆｉｒｓｔ，ｔｈｉｓ ｐａｐｅｒ ｉｎｖｅｓｔｉｇａｔｅｄ ｌｏｎｇ ｓｈｏｒｔ ｔｅｒｍ ｍｅｍｏｒｙ ｒｅｃｕｒｒｅｎｔ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ （ＬＳＴＭ ＲＮＮ）ｆｏｒ ａｃｏｕｓｔｉｃ ｍｏｄｅｌｉｎｇ．Ｉｔ ｗａｓ ａ ｐｏｗｅｒｆｕｌ ｔｏｏｌ ｔｏ ｍｏｄｅｌ ｌｏｎｇ ｔｉｍｅ ｓｅｒｉｅｓ ａｎｄ ｃｏｕｌｄ ｍａｋｅ ｆｕｌｌ ｕｓｅ ｏｆ ｔｈｅ ｃｏｎｔｅｘｔ ｉｎ— ｆｏｒｍａｔｉｏｎ．Ｌｉｎｅａｒ ｐｒｏｊｅｃｔｉｏｎ ｌａｙｅｒ ｒｅｄｕｃｅｄ ｔｈｅ ｎｕｍｂｅｒ ｏｆ ｍｏｄｅｌ ｐａｒａｍｅｔｅｒｓ．Ｔｈｅｎ，ｉｔ ｅｘｐｌｏｒｅｄ ｓｐｅａｋｅｒ ｍｏｄｅｌｉｎｇ ｍｅｔｈｏｄｓ ｉｎ ｔｈｅ ｆｅａｔｕｒｅ ｓｐａｃｅ，ａｎｄ ｅｘｔｒａｃｔｅｄ ｉｄｅｎｔｉｔｙ ｖｅｃｔｏｒ（ｉ－ｖｅｃｔｏｒ）ｗｈｉｃｈ ｃｏｎｔａｉｎｅｄ ｔｈｅ ｓｐｅａｋｅｒ ａｎｄ ｃｈａｎｎｅｌ ｉｎｆｏｒｍａｔｉｏｎ ｓｉｍｕｌｔｎｅｏｕｓ—ａ ｌｙ．Ｆｉｎａｌｌｙ，ｉｔ ｐｒｅｓｅｎｔｅｄ ａ ｎｏｖｅｌ ｓｙｓｔｅｍ，ｗｈｉｃｈ ｃｏｍｂｉｎｅｄ ｔｈｅ ＬＳＴＭ ＲＮＮ ｍｏｄｅｌ ａｎｄ ｉ－ｖｅｃｔｏｒ ｆｅａｔｕｒｅ．Ｒｅｓｕｌｔｓ ｏｎ ｔｈｅ ｓｔａｎｄａｒｄ Ｏｐｅｎ ＫＷＳ ２０１３ ｄａｔａ ｓｅｔ ｓｈｏｗ ｔｈａｔ ｔｈｉｓ ｔｅｃｈｎｏｌｏｇｙ ｐｒｏｄｕｃｅｓ ａ ｒｅｌａｔｉｖｅ ｉｍｐｒｏｖｅｍｅｎｔ ｏｆ ａｂｏｕｔ １０％ｉｎ ＴＥＲ ｏｖｅｒ ｔｈｅ ＤＮＮ ｂａｓｅ－ ｌｉｎｅ ｓｙｓｔｅｍ． Ｋｅｙ ｗｏｒｄｓ：ｓｐｅｅｃｈ ｒｅｃｏｇｎｉｔｉｏｎ；ｌｏｎｇ ｓｈｏｒｔ ｔｅｒｍ ｍｅｍｏｒｙ（ＬＳＴＭ）；ｉ－ｖｅｃｔｏｒ 这种情况下其语音识别效果还远远达不到令人满意的程度。 ０ 引言 近年来，深度神经网络（ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ，ＤＮＮ）的研究 根据文献可知，ＣＤ—ＤＮＮ—ＨＭＭ（ｃｏｎｔｅｘｔ－ｄｅｐｅｎｄｅｎｔ－ｄｅｅｐ ｎｅｕｒｌａ ｎｅｔｗｏｒｋ．ｈｉｄｄｅｎ Ｍａｒｋｏｖ ｍｏｄｅ１）系统本身较适用于训练数 据充分的场景，在低资源条件下容易对训练集过拟合 ；采用 了固定长度的输入窗来建模语音的上下文特性 ，但是实际 情况下的语音信号具有动态特性，所以不能充分利用上下文信 和应用极大地推动了语音识别的发展，它相对于使用高斯混合 模型（Ｇａｕｓｓｉａｎ ｍｉｘｔｕｒｅ ｍｏｄｅｌ，ＧＭＭ）搭建的语音识别系统取得 了巨大的进步…，也使得各种语音应用如春笋般涌现。在无 息；没有充分利用说话人和电话信道等信息架进行建模 』。 综上，这些都是导致识别结果较差的原因。 为了克服ＣＤ—ＤＮＮ—ＨＭＭ建模的缺点，专家们不断探索新 的建模方法，出现的子空间高斯混合模型 Ｊ、卷积神经网络模 型 、ＬＳＴＭ递归神经网络模型（１ｏｎｇ ｓｈｏｒｔ ｔｅｒｍ ｍｅｍｏｒｙ ｒｅｃｕｒ— 噪声环境下大数据集的语音识别技术已经非常成熟，但是面对 各种各样的应用场景和噪声环境，特别是在低数据资源条件下 （语音语料等训练数据资源匮乏）说话人无关的语音识别效果 还不甚理想。可以看到，针对一些特定任务，如国家信息安全、 小语种的识别 等，其数据量通常只有几十小时甚至几小时， 收稿日期：２０１６一Ｏ１—０４；修回Ｅｔ期：２０１６－０２－２９ ｒｅｎｔ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ，Ｉ＿ＳＴＭ ＲＮＮ） 以及端到端声学建模 方法 基金项目：国家自然科学基金资助项目（６１２７３２６８，６１３７００３４，６１４０３２２４） 作者简介：黄光许（１９９０一），男，四川资中人，硕士研究生，主要研究方向为语音识别技术（ｈｕａｎｇｇｕａｎｇｘｕｌ３＠ｍａｉｌｓ．ｕｃａｓ．ａｃ．ｅｎ）；田矗（１９８９一）， 男，湖南湘西人，博士研究生，主要研究方向为说话人识别技术；康健（１９９０一），男，北京人，博士研究生，主要研究方向为语音识 ；刘加（１９５４一）， 男，福建福州人，教授，博导，主要研究方向为语音ｉ￣Ｊｌ，ｌ、语音编码及合成；夏善红（１９５８，），女，北京人，研究员，博导，主要研究方向为电场传感器、 ＭＥＭＳ技术、无限网络传感器． 第２期 黄光许，等：低资源条件下基于ｉ－ｖｅｃｔｏｒ特征的ＬＳＴＭ递归神经网络语音识别系统 ・３９３・ 等是目前最前沿的研究方向。 本文针对上述问题和低资源的特定场景，展开了对声学模 型和声学特征的研究。在声学模型层面上，本文在实验中对 划的一部分¨ 。具体的语料库信息如下：实验语言为越南语， 采样率为８ ｋＨｚ的电话对话语音；训练集为８７．１ ｈ全集（ｆｕｌｌ ｌａｎｇｕａｇｅ ｐａｃｋ，ＦｕｌｌＬＰ）有标注语音数据；开发集为１０。０ ｈ语音 数据。 本文实验环境的搭建基于ＫＡＬＤＩ工具包 。实验中采 用的评价指标为国际通用的字节错误率（ｔｏｋｅｎ ｅｌｒｏｒ ｒａｔｅ）。具 ＬＳＴＭ递归神经网络模型进行了研究，它能够对长序列建模， 能有效挖掘语音信号的帧间先验信息 ，它引入的线性连接 递归结构克服了普通ＲＮＮ难以优化和难以对长序列建模的缺 点。在特征层面上，引入了ｉ－ｖｅｃｔｏｒ特征，它能够有效表征说话 人和信道信息 １． ｊ。从本质上说该方法属于子空间方法，具 体计算公式如下： ｕｂ＋＃ １＋＃ＴＥＲ：—＃ｓｄｅｉｎｓ——＿￣——一有清晰的物理意义，并且很容易集成到ＬＳＴＭ递归神经网络系 统中。实验表明，本文提出的基于ｉ－ｖｅｃｔｏｒ特征的ＬＳＴＭ递归 ：ｔｏｋｓ ×１００％ （７） 其中：＃ｓｕｂ、＃ｄｅｌ和＃ｉｎｓ分别代表识别结果中的替换、删除和插 入错误。完全正确为Ｏ％，考虑到插入错误，最差可以超过 神经网络表现出了良好的性能，该方法在ＯＰＥＮ ＫＷＳ ２０１３标 准数据集上字节错误率获得了显著的下降。 １ ＧＭＭ．ＨＭＭ和ＣＤ．ＤＮＮ．ＨＭＭ语音识别基线系统 １．１ ＧＭＭ—ＨＭＭ声学模型 隐马尔可夫模型（ｈｉｄｄｅｎ ｍａｒｋｏｖ ｍｏｄｅｌ，ＨＭＭ）是一种语音 信号的统计模型，它包括可观测的单状态输出和隐含状态。作 为一个双重随机过程，其中之一是马尔可夫链，它用来描述音 素状态的转移，另一个随机过程用来描述音素状态和信号短时 频谱特征之间的统计对应关系¨ 。ＧＭＭ—ＨＭＭ的建模就是将 ＨＭＭ的状态表示为的多高斯混合模型。数学公式可以表 示为 ｐ（ ｆｘ） 善∞ｊ１ｆ × 丽 ｘ ｅｘｐｌ 一÷（丁 －／＊ｉ） 五 －／ｚｉ）｝ｊ （１） 其中：式（１）是状态Ａ对语音的观测序列 的输出概率， 、乏、 分别表示第ｉ个高斯分量的均值、方差和权重。 １．２ ＣＤ．ＤＮＮ．ＨＭＭ声学模型 深度神经网络是一种含有多个隐含层的前馈神经网 络¨ 。它包含了输入层、隐含层和输出层。输入特征 由前 后１０帧左右的声学特征组成。隐含层是多层的非线性变换。 ｈｆ＿ （（ ） ＋ａ ） （２） ＝ｈ 一 １＞０ （３） 其中：ｈｌ为ｉ层神经元的输出， 和ｏ：为权重矩阵和偏置。初始 状态 。＝ 。隐含层的非线性变换使用ｓｉｇｍｏｉｄ激活函数： （ ） （４） 在输出层￡使用ｓｏｆｔｍａｘ函数： ｐ（ｙ＝ｓｌｖＬ ＝ 劳 ㈣ 这里使用交叉熵作为损失函数来调整参数，定义如下： Ｄ １ Ｄ（Ｘｔ） ｌ６（ｙ ｓ ）ｌｏｇｐ（ｙｌＸｔ） （６） 其中： 是第ｔ帧的标签；６（），＝ ）表示其为训练数据类别时为 １，其余情况为０；ｐ（ｙｌ ）表示ＤＮＮ输出概率。 ＣＤ．ＤＮＮ．ＨＭＭ就是用ＤＮＮ的输出层代替ＧＭＭ来对 ＨＭＭ的状态概率进行建模。在参数训练过程中，首先使用受 限玻尔兹曼机（ｒｅｓｔｒｉｃｔｅｄ Ｂｏｈｚｍａｎｎ ｍａｃｈｉｎｅｓ，ＲＢＭ）对神经网 络预训练 ，然后再使用标注数据进行有监督训练。 １．３实验配置 本文在实验中使用的数据集来自美国国家标准与技术研 究所（ＮＩＳＴ）２０１３年举办的国际关键词（ＯＰＥＮ ＫＷＳ ２０１３）评 测。该评测为美国情报高等计划署ＩＡＲＰＡ组织的ＢＡＢＥＬ计 １００％。 １．４语音识别基线系统 １）声学特征实验使用的基本声学特征为１３维的感知线 性预测（ｐｅｒｃｅｐｔｉｏｎ ｌｉｎｅａｒ ｐｒｅｄｉｃｔｉｏｎ，ＰＬＰ）特征，其帧长为２５ ｍｓ，帧移为１０ ｍｓ。由于越南语为带调的语言，所以本文还提 取了３维的ｐｉｔｃｈ特征＿ｌ ，共得到１６维的原始声学特征。然 后对该特征作均值归一化处理和一阶、二阶差分，随后对该特 征作前后各三帧的拼接，对拼接后的特征作ＬＤＡ（１ｉｎｅａｒ ｄｉｓ－ ｃｒｉｍｉｎａｎｔ ａｎａｌｙｓｉｓ）降至４０维，对特征作ＭＬＬＴ（ｍａｘｉｍｕｍ ｌｉｋｅｌｉ－ ｈ０ｏｄ ｌｉｎｅａｒ ｔｒａｎｓｆｏｒｍａｔｉｏｎ），再使用基于ｆＭＬＬＲ（ｆｅａｔｕｒｅ ｓｐａｃｅ ｍａｘｉｍｕｍ ｌｉｋｅｌｉｈｏｏｄ ｌｉｎｅａｒ ｒｅｇｒｅｓｓｉｏｎ）说话人变换” 的说话人自 适应训练方法训练ＧＭＭ—ＨＭＭ模型。对于ＣＤ－ＤＮＮ—ＨＭＭ的 声学特征，本文使用ｆＭＬＬＲ特征，并作前后各５帧的拼接（５帧 的上文和５帧的下文），得到４４０维的输入特征。 ２）声学模型 ＧＭＭ—ＨＭＭ声学模型的物理状态数为 ４ ６２１，高斯混合数目为７５ ０９０。ＣＤ—ＤＮＮ—ＨＭＭ模型使用前馈 全连接的ＤＮＮ网络结构，网络的输入节点数为４４０，输出节点 为４ ６２１。ＤＮＮ共有６层隐含层，每层节点数为２ ０４８。该模型 的参数数量为３０．４ ｍｉｌｌｉｏｎ。 ３）语言模型实验使用ｔｒｉｒｇａｍ语言模型，并且使用ＭＫＮ 算法进行语言模型概率平滑 。发音词典由ＮＩＳＴ发布的发 音词典整理而来，本文使用了有调的音素集和发音词典。词汇 量为６ ９６１，音素个数为２３８。 调整模型参数以获得最优的语音识别基线系统，简称为 ＧＭＭ－ＨＭＭ和ＣＤ－ＤＮＮ—ＨＭＭ，结果如表１所示。 表１ ＧＭＭ—ＨＭＭ和ＣＤ－ＤＮＮ—ＨＭＭ越南语语音识别基线系统 系统描述ＴＥＲ／％ ＧＭＭ ＨＭＭ ６１．０ ＣＤ．ＤＮＮ．ＨＭＭ ５２．９ 表１中实验结果与世界上其他重要研究单位在该数据库 上最新报道的实验结果处于同一水平 。在这里也可以看 到ＣＤ－ＤＮＮ・ＨＭＭ相对于ＧＭＭ—ＨＭＭ带来了很大的性能提升， 但与此同时也可以了解到在低资源条件下其语音识别系统性 能较差，这也是开展本文研究工作的意义所在。后续实验中， 笔者将基于ＣＤ－ＤＮＮ—ＨＭＭ的基线结果进行研究比较，并保持 语言模型、发音词典以及音节等集合均不变。 ２基于长短时记忆（ＬＳＴＭ）递归神经网络的声学建 模研究 ２．１ ＬＳ＇Ｉ＇Ｍ递归神经网络声学模型 近两年来，长短时记忆递归神经网络系统在语音识别领域 取得了巨大的成功，将语音识别的错误率显著降低。ＬＳＴＭ递 ・３９４・ 计算机应用研究 第３４卷 归神经网络属于本质上是递归神经网络 圳，但是它解决了 在ＢＰ１－ｒ（ｂａｃｋ ｐｒｏｐａｇａｔｉｏｎ ｔｈｒｏｕｇｈ ｔｉｍｅ）训练过程中时间域上的 为１ ０２４，每层对应的递归投影数目为５１２。该ＬＳＴＭＰ递归神 经网络模型参数数量为１６．０ ｍｉｌｌｉｏｎ，输入为１３维ＰＬＰ和３维 ｐｉｔｃｈ原始声学特征，输出状态数目为４ ６２１。时延第一层设置为 一梯度消失问题，使模型能够建模信号的长时依赖关系。它刚好 解决了ＣＤ—ＤＮＮ—ＨＭＭ因为采用固定窗长而不能充分利用上 下文信息的问题。ＬＳＴＭ递归神经网络将隐含层作了改进，其 记忆单元结构如图１所示。 １，第二层为一２，ｂａｔｃｈ数设置为１００，学习率设置为０．０００ ３～ ０．０００ ０３，动量更新设置为０．５，迭代次数为ｌＯ次。在实验过 程中为了加速训练过程，使用了ＮＶＩＤＩＡ Ｋ２０显卡和ＣＵＤＡ语 言进行声学模型训练。该系统简称为ＬＳＴＭＰ ＲＮＮ。实验结果 如表２所示。 图１ ＬＳＴＭ ＲＮＮ记忆单元结构 ＬＳＴＭ递归神经网络中递归连接为线性连接，该连接依靠 信号 来控制，该门被称为遗忘门（ｆｏｒｇｅｔ ｇａｔｅ）。因为它不需 要经过类似ｓｉｇｍｏｉｄ函数的非线性变换，所以在Ｂｔｒｌ３＇训练中， ＬＳＴＭ的梯度信号在不同时刻的传递过程中不会衰减。除了 （ａ）ＬＳＴＭ Ｃｏ）ＬＳＴＭＰ （Ｃ）ＤＬＳＴＭＰ 图２ ＬＳＴＭＰ ＲＮＮ层间结构 表２基于ＬＳＴＭＰ递归神经网络 越南语语音识别系统 系统描述ＧＭＭ．ＨＭＭ ＣＤ．ＤＮＮ．ＨＭＭ 遗忘门之外，还有输入门（ｉｎｐｕｔ ｇａｔｅ）和输出门（ｏｕｔｐｕｔ ｇａｔｅ）， 对应信号ｉ 和Ｏ 。在ＬＳＴＭ递归神经网络模型中， 和Ｙ 分别 为ｔ时刻网络的输入和输出。按照文献［８，２４］所示，令Ｃｔ和 ｍ 分别为ｔ时刻的神经元激活函数输出和隐含层输出，则从 到Ｙ 的计算公式为 ｉ ＝ｏｒ（¨ ＋ ＝ ＴＥＲ／％ ６１．Ｏ ５２．９ ４８．８ ＬｓＴＭＰＲＮＮ 从表２中可以看到，ＬＳＴＭＰ递归神经网络系统的性能明 ｍ 一１＋ ｃ 一ｔ＋ｂｉ） ｍ 一１＋ ｆ＋ 一ｌ＋ ） ：（Ｗｉ．ｘ ＋ ｃｔ＝ ０Ｃｔ—ｌ＋ｉ Ｏｇ（ ｍｌ一１＋ｂｃ） Ｏ ＝ （Ⅵ， ｔ＋Ｗｏｍｍ —ｌ＋ ｍ ＝Ｏ ｏｈ（ ） Ｙ ： （ Ｃｔ＋ｂｏ） 善（８） （９） 显优于ＧＭＭ以及ＤＮＮ的识别结果，该方法能够有效地改善 低资源情况下越南语的语音识别性能。相比于ＣＤ．ＤＮＮ． （１０） ＨＭＭ，模型的层数和参数数目大幅减小，并且该模型还有两个 优点：ａ）ＬＳＴＭＰ递归神经网络由于具有对长时间序列进行建 模的能力，所以它能挖掘更多的上下文信息，在实际建模过程 中它可以直接利用白化后的ｌ６维声学特征进行训练，而不需 要像ＧＭＭ、ＤＮＮ系统一样对特征作差分、拼接、ＬＤＡ以及 （１１） （１２） （１３） ＋ ） 其中： 、 、 、 是连接输入信号 的权重矩阵；ｗｃ 、 、 是连接神经元隐含层输出信号ｍ 的权重矩阵； 是连接神经元激活函数输出矢量 和门函数的 ＭＬＬＴ等．ｂ）该系统也不需要像普通ＤＮＮ神经网络一样通过 ＲＢＭ预训练来提供神经网络的初值和权重。 、 、 对角矩阵；ｂｉ、ｂｃ、ｂ，、ｂｏ是偏置向量； 和 是ＬＳＴＭ输出的 权重矩阵和偏置矢量；Ｃｔ为胞元的激活函数输出矢量；ｇ和ｈ 是胞元输入到输出的激活函数；ｇ和ｈ通常为ｔａｎｈ函数；ｏｒ为 ３ 基于ｉ－￣ｅｃｔｏｒ特征的ＬＳ．『Ｍ神经网络语音识别系统 ３．１ 基于ＧＭＭ—ＵＢＭ的ｉ－￣ｅｃｔｏｒ声学特征 ｓｉｇｍｏｉｄ函数； 为输出层的ｓｏｆｔｍａｘ函数；代价函数这里使用交 叉熵，灰色线代表有权重的网络连接关系，灰色虚线代表递归 连接关系。 在实际的建模过程中使用两层的ＬＳＴＭ递归神经网络，对 ｉ－ｖｅｃｔｏｒ因子分析技术由联合因子分析（ＪＦＡ）演变而来，并 且被成功应用于说话人识别领域 。它假设说话人和信道的 信息处于高斯混合模型各均值构成的高维均值超矢量空间的 一于深层的ＬＳＴＭ递归神经网络，它在时间域和空间域上都具有 深层结构。本文还在递归层引入线性投影 Ｊ，使模型参数减 小，并且使得声学模型更具鲁棒性。带线性投影的递归结构被 称为长短时记忆投影（１ｏｎｇ ｓｈｏｒｔ ｔｅｒｍ ｍｅｍｏｒｙ ｐｒｏｊｅｃｔｅｄ，ＬＳＴ－ 个子空间中。ｉ－ｖｅｃｔｏｒ将一段语音信号的声学特征转换成一 个低维的固定长度的特征矢量，保留了关于说话人和信道的信 息 。根据文献［２７］所示，选择１３维的ＭＦＣＣ作为前端语 通过ＧＭＭ—ＵＢＭ（Ｇａｕｓｓｉａｎ ｍｉｘｔｕｒｅ ｍｏｄｅｌ—ｕｎｉｖｅｒｓａｌ ｂａｃｋ－ 音特征，提取该矢量的流程如图３所示。 ｇｒｏｕｎｄ ｍｏｄｅ１）方式来提取ｉ－ｖｅｃｔｏｒ矢量 。提取该矢量可以 由式（１４）来表示。 Ｍ＝ｍ＋Ｔｗ （１４） ＭＰ）递归神经网络，层间连接如图２（ｅ）所示。在实验中将投 影层数目设置为记忆单元数目的一半，ＬＳＴＭＰ递归神经网络 参数数目减小到ＬＳＴＭ递归神经网络的１／４。 ２．２基于ｋＳ＇ＩＭＰ递归神经网络的语音识别系统 在实验中使用两层的ＬＳＴＭＰ递归神经网络，每层节点数 其中：Ｍ表示高斯混合模型均值超矢量；ｍ为与说话人和信道 都无关的超矢量；总体变化子空间矩阵７－是从高维空间到低 第２期 黄光许，等：低资源条件下基于ｉ－ｖｅｃｔｏｒ特征的ＬＳＴＭ递归神经网络语音识别系统 ・３９５・ 维空间的映射；Ｗ即为提取后的ｉ－ｖｅｃｔｏｒ矢量。对第ｉ段语音 信号的第ｔ帧表示为 ，假设它服从下面这个分布： “）， ） （１５） ｆ“～ ｙ Ｎ（ ＋ 同样的ｉ－ｖｅｃｔｏｒ特征。由于ｌＯ帧占用的时长为０．１ ｓ，其对在线 语音识别几乎没有影响。该模型的识别结果如表３所示。 表３基于ｉ－ｖｅｃｔｏｒ特征的ＬＳＴＭＰ递归 神经网络越南语语音识别系统 系统描述ＧＭＭ．ＨＭＭ 其中： 是总体变量子空间矩阵； 和 是第ｋ个高斯的均 值和方差；ｏＪ“’即为第ｉ段语音的ｉ－ｖｅｃｔｏｒ矢量。通过后验概 ＴＥＲ／％ ６１．０ 系统描述ＬＳＴＭＰ ＲＮＮ ＴＥＲ／％ ４８．８ 率计算 在第 个状态上的概率为 ．ｙ ｐ（ｋＩ 输入特征 ＣＤ．ＤＮＮ．ＨＭＭ ５２．９ Ｌ盯ＭＰ ＲＮＮ＋ｉ ｖｅｃｔｏｒ ４７．７ ） （１６） 可以看到，本文使用的算法明显降低了字节错误率。该系 统通过对长时间的语音序列建模，充分挖掘了上下文信息，通 过拼接ｉ－ｖｅｃｔｏｒ特征在模型中利用了说话人和信道信息。实验 结果表明，在拼接了１００维ｉ－ｖｅｃｔｏｒ特征的ＬＳＴＭＰ递归神经网 络系统中取得了最小的字节错误率，相对于ＣＮ．ＤＮＮ．ＨＭＭ基 线系统取得了１０％的提升。可见基于ｉ－ｖｅｃｔｏｒ特征的ＬＳＴＭ递 图３基于ＧＭＭ—ＵＢＭ：方式提取ｉ—ｖｅｃｔｏｒ＇￣征 归神经神经网络建模技术能有效地提升语音识别的性能。另 外本文使用的方法能很好地支持搭建在线语音识别系统。在 识别系统中，可以一边用训练好的７－矩阵提取ｉ－ｖｅｃｔｏｒ特征，一 通过最大后验概率和最大期望ＥＭ算法更新语音信号相 对于通用背景模型ＵＢＭ的ｋ个高斯分量上的零阶、一阶和二 阶统计量，如式（１７）～（１９）所示。 ”＝∑．ｙ： ｔ 边将该特征与原有声学特征拼接后送入训练好的声学模型进 行在线解码。 （１７） ）：∑’，｛ ￡ （１８） ４结束语 ＬＳＴＭ递归神经网络结构和性能优异，值得人们继续研究 和改进。本文提出的基于ｉ－ｖｅｃｔｏｒ特征的ＬＳＴＭ递归神经网络 ｓｌ ）＝∑ｙｇ ） ‘ （１９） 这些统计量将用来训练７－矩阵，在子空间训练过程中用 以上统计量反复更新 的先验分布。在得到７－矩阵后可以 系统有效地提升了识别率，既体现了ＬＳＴＭ递归神经网络的优 越性，又克服了用说话人无关的语音特征进行声学模型训练的 不足。本文基于ＬＳＴＭ递归神经网络系统的优化只是一次尝 试，对于如何更有效地提取与说话人和信道相关的特征以及如 何更好地针对不同情况下的ＬＳＴＭ递归神经网络作优化都需 要继续深入研究和探讨。另外，本文的任务是低资源下的语音 识别技术，所以多语言、跨语言的建模等都是下一步需要研究 的方向。 参考文献： ［１］Ｍｏｈａｍｅｄ Ａ，Ｄａｈｌ Ｇ，Ｈｉｎｔｏｎ Ｇ．Ｄｅｅｐ ｂｅｌｉｅｆ ｎｅｔｗｏｒｋｓ ｆｏｒ ｐｈｏｎｅ ｒｅｃｏｇ— ｎｉｉｔｏｎ［Ｃ］／／Ｐｒｏｃ ｏｆ ＮＩＰＳ Ｗｏｒｋｓｈｏｐ ｏｎ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ ｆｏｒ Ｓｐｅｅｃｈ Ｒｅｃｏｇｎｉｔｉｏｎ ａｎｄ Ｒｅｌａｔｅｄ Ａｐｐｌｉｃａｔｉｏｎｓ．２００９． 根据式（１４）得到ｉ－ｖｅｃｔｏｒ矢量，并作归一化操作。 可以看到在式（１５）中，在之前的提取方式中使用的ＧＭＭ－ ＵＢＭ是通过特征进行无监督学习的模型，这也是说话人识别 中采用的方式。从上文中可以看到，只要有ｋ个类就可以通过 上述方式提取出ｉ－ｖｅｃｔｏｒ特征 Ｊ。在连续语音识别中，通过 ＧＭＭ训练出来的三音子聚类状态便满足该条件，并且训练出 来的聚类状态具有鉴别区分性。所以在实验中用三音子聚类 状态替换无监督的ＧＭＭ状态。其余步骤均按标准的ＧＭＭ— ＵＢＭ流程计算．ｒ矩阵和提取ｉ－ｖｅｃｔｏｒ矢量。 ３．２ 基于ｉ－ｖｅｃｔｏｒ的ＬＳＴＭＰ递归神经网络语音识别系统 ＬＳＴＭＰ递归神经网络使用的是短时声学特征，并没有利 用到说话人和信道等其他相关信息。而ｉ－ｖｅｃｔｏｒ作为一种长时 特征，它表征了说话人和信道的信息，将它引入ＬＳＴＭＰ递归神 经网络。本文将提取好的ｉ－ｖｅｃｔｏｒ特征和已有的１６维声学特 ［２］Ｂｅｓａｃｉｅｒ Ｌ，Ｂａｒｎａｒｄ Ｅ，Ｋａｒｐｏｖ Ａ，ｅｔ ａ１．Ａｕｔｏｍａｔｉｃ ｓｐｅｅｃｈ ｒｅｃｏｇｎｉｔｉｏｎ ｏｒｆ ｕｎｄｅｒ—ｒｅｓｏｕｒｃｅｄ ｌａｎｇｕａｇｅｓ：ａ ｓｕｒｖｅｙ［Ｊ］．Ｓｐｅｅｃｈ Ｃｏｍｍｕｎｉｃａ－ ｔｉｏｎ，２０１４，５６（８）：８５－１００． ［３］Ｂｉｓｈｏｐ Ｃ Ｍ．Ｐａｔｔｅｒｎ ｒｅｃｏｇｎｉｔｉｏｎ ａｎｄ ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ（ｉｎｆｏｒｍａｔｉｏｎ ｓｃｉｅｎｃｅ ａｎｄ ｓｔａｔｉｓｔｉｃｓ）［Ｍ］．Ｎｅｗ Ｙｏｒｋ：Ｓｐｒｉｎｇｅｒ－Ｖｅｒｌａｇ，２００６：２３６－ ２３７． 征进行拼接，拼接方式如图４所示。即针对每一帧声学特征 均拼接一个ｉ－ｖｅｃｔｏｒ特征，然后送入ＬＳＴＭＰ递归神经网络进行 训练。该方式只需要增加输入层神经元的个数，而不需要改动 原有的算法程序。 ［４］Ｌｕｋｅ Ａ，Ｃｏｏｋｅ Ｊ，Ｌｕｋｅ Ｃ．Ｉｎｖｅｓｔｉｇａｔｉｏｎ ｏｆ ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ （ＤＮＮ）ｆｏｒ ｌａｒｇｅ ｖｏｃａｂｕｌａｒｙ ｃｏｎｔｉｎｕｏｕｓ ｓｐｅｅｃｈ ｒｅｃｏｇｎｉｉｔｏｎ：ｗｈｙ ＤＮＮ ｓｕｒｐａｓｓｅｓ ＧＭＭＳ ｉｎ ａｃｏｕｓｔｉｃ ｍｏｄｅｌｉｎｇ［Ｊ］．Ｉｎｔｅｍａｔｉｏｎａｌ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｃｈｉｎｅｓｅ Ｓｐｏｋｅｎ Ｌａｎｇｕａｇｅ Ｐｒｏｃｅｓｓｉｎｇ，２０１２，７１ ９６（８）：３０１— ３０５． ［５］Ｍｉａｏ Ｙａｊｉｅ，Ｊｉａｎｇ Ｌｕ，Ｚｈａｎｇ Ｈａｏ，ｅｔ ａ１．Ｉｍｐｒｏｖｅｍｅｎｔｓ ｔｏ ｓｐｅａｋｅｒ ａｄａｐｔｉｖｅ ｔｒａｉｎｉｎｇ ｏｆ ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ［Ｃ］／／Ｐｒｃ ｏｏｆ Ｓｐｏｋｅｎ Ｌａｎ— ｕａｇｅ Ｔｅｃｈｎｏｌｇｏｇｙ Ｗｏｒｋｓｈｏｐ．［Ｓ．１．］：ＩＥＥＥ Ｐｒｅｓｓ，２０１４：１６５—１７０． ［６］Ｐｏｖｅｙ Ｄ，Ｂｕｒｇｅｔ Ｌ，Ａｇａｒｗａｌ Ｍ，ｅｔ ａ１．Ｔｈｅ ｓｕｂｓｐａｃｅ Ｇａｕｓｓｉｎ ｍｉａｘｔｕｒｅ ｍｏｄｅｌ：ａ ｓｔｒｕｃｔｕｒｅｄ ｍｏｄｅｌ ｆｏｒ ｓｐｅｅｃｈ ｒｅｃｏｎｉｇｔｉｏｎ［Ｊ］．Ｃｏｍｐｕｔｅｒ Ｓｐｅｅｃｈ＆Ｌａｎｇｕａｇｅ，２０１１，２５（２）：４ｏ４—４３９． ［７］Ａｂｄｅｌ－Ｈａｍｉｄ０，ＭｏｈａｍｏｄＡ，ＪｉｎｇＨｕａｉ，ｅｔａ１．Ａｐｐｌｙｉｎｇ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ ｃｏｎｃｅｐｔｓ ｔｏ ｈｙｂｒｉｄ ＮＮ—ＨＭＭ ｍｏｄｅｌ ｏｒ ｆｓｐｅｅｃｈ ｒｅｃｏｇ－ ｎｉｔｉｏｎ［Ｃ］／／Ｐｒｏｃ ｏｆ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｃｏｕｓｔｉｃｓ， Ｓｐｅｅｃｈ ａｎｄ Ｓｉｎａｌｇ Ｐｒｏｃｅｓｓｉｎｇ．２０１２：４２７７—４２８０． ・３９６・ 计算机应用研究 第３４卷 ［８］Ｓａｋ Ｈ，Ｓｅｎｉｏｒ Ａ，Ｂｅａｕｆａｙｓ Ｆ．Ｌｏｎｇ ｓｈｏｒｔ．ｔｅｒｍ ｍｅｍｏｒｙ ｒｅｃｕｒｒｅｎｔ ｎｅｕ． ｂａｓｅｄ ｓｐｅｅｃｈ ｒｅｅｏ ｉｔｉｏｎ［Ｊ］．Ｃｏｍｐｕｔｅｒ Ｓｐｅｅｃｈ＆Ｌａｎｇｕａｇｅ， １９９８，１２（１２）：７５—９８． ｒａｌ ｎｅｔｗｏｒｋ ａｒｃｈｉｔｅｃｔｕｒｅｓ ｆｏｒ ｌａｒｇｅ ｓｃａｌｅ ａｃｏｕｓｔｉｃ ｍｏｄｅｌｉｎｇ［Ｃ］／／Ｐｒｅｅ ｏｆ Ａｎｎｕａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｆ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｐｅｅｃｈ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ａｓｓｏｃｉａ— ｔｉｏｎ．２０１４：３３８－３４２． ［２０］Ｃｈｅｎ Ｓ Ｆ，Ｇｏｏｄｍａｎ Ｊ．Ａｎ ｅｍｐｉｉｒｃａｌ ｓｔｕｄｙ ｏｆ ｓｍｏｏｔｈｉｎｇ ｔｅｃｈｎｉｑｕｅｓ ｆｏｒ ｌａｎｇｕａｇｅ ｍｏｄｅｌｉｎｇ【Ｊ］．Ｃｏｍｐｕｔｅｒ Ｓｐｅｅｃｈ＆Ｌａｎｇｕａｇｅ，１９９６，１ ３ （４）：３５９—３９３． ［９］Ｇｒａｖｅｓ Ａ，Ｆｅｒｎ６ｎｄｅｚ Ｓ，Ｇｏｍｅｚ Ｆ，ｅｔ ａ１．Ｃｏｎｎｅｃｔｉｏｎｉｓｔ ｔｅｍｐｏｒａｌ ｃｌａｓｓｉ— ｉｃａｔｆｉｏｎ：ｌａｂｅｌｌｉｎｇ ｕｎｓｅｇｍｅｎｔｅｄ ｓｅｑｕｅｎｃｅ ｄａｔａ ｗｉｔｈ ｒｅｃｕｒｒｅｎｔ ｎｅｕｒａｌ ［２１］Ｔｓａｋａｌｉｄｉｓ Ｓ，ＨｓｉａｏＲＣ。ＫａｒａｋｏｓＤ，ｅｔ ａ１．，ｎｌｅ２０１３ ＢＢＮＶｉｅｔｎａｍｅｓｅ ｔｅｌｅｐｈｏｎｅ ｓｐｅｅｃｈ ｋｅｙｗｏｒｄ ｓｐｏｔｔｉｎｇ ｓｙｓｔｅｍ［Ｃ］／／Ｐｒｏｃ ｏｆ ＩＥＥＥ Ｉｎｔｅｒ－ ｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｃｏｕｓｔｉｃｓ，Ｓｐｅｅｃｈ ａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ． ２０１４：７８２９—７８３３． ｎｅｔｗｏｒｋｓ『Ｃ］／／Ｐｒｏｃ ｏｆ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍａｃｈｉｎｅ Ｌｅａｒ ｎｉｎｇ．２００６：３６９—３７６． ［１０］Ｇｒａｖｅｓ Ａ，Ｊａｉｌｆｙ Ｎ，Ｍｏｈａｍｅｄ Ａ．Ｈｙｂｒｉｄ ｓｐｅｅｃｈ ｒｅｃｏｇｎｉｔｉｏｎ ｗｉｔｈ ｄｅｅｐ ｂｉｄｉｒｅｃｔｉｏｎｌａ ＬＳＴＭ［Ｃ］／／Ｐｒｅｅ ｏｆ ＩＥＥＥ Ｗｏｒｋｓｈｏｐ ｏｎ Ａｕｔｏｍａｔｉｃ Ｓｐｅｅｃｈ Ｒｅｃｏｇｎｉｔｉｏｎ ａｎｄ Ｕｎｄｅｒｓｔａｎｄｉｎｇ．２０１３：２７３・２７８． ［２２］Ｃｈｅｎ Ｎ Ｆ，Ｓｉｖａｄａｓ Ｓ，Ｌｉｍ Ｂ Ｐ，ｅｔ ａ１．Ｓｔｒａｔｅｇｉｅｓ ｆｏｒ Ｖｉｅｔｎａｍｅｓｅ ｋｅｙ— ｗｏｒｄ ｓｅａｒｃｈ［Ｃ］／／Ｐｒｏｃ ｏｆ ＩＥＥＥ Ｉｎｔｅｍａｔｉｏｎａｔ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｅｏｕｓ— ｔｉｃｓ，Ｓｐｅｅｃｈ ａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ．２０１４：４１２１・４１２５． ［１１］Ｄｅｈａｋ Ｎ，Ｋｅｎｎｙ Ｐ，Ｄｅｈａｋ Ｒ，ｅｔ ａ１．Ｆｒｏｎｔ—ｅｎｄ ｆａｃｔｏｒ ａｎａｌｙｓｉｓ ｆｏｒ ｓｐｅａｋｅｒ ｖｅｒｉｉｆｃａｔｉｏｎ［Ｊ］．ＩＥＥＥ Ｔｒａｎｓ ０ｎ Ａｕｄｉｏ Ｓｐｅｅｃｈ＆Ｌａｎ－ ｇｕａｇｅ Ｐｒｏｃｅｓｓｉｎｇ，２０１１，１９（４）：７８８－７９８． ［２３］蔡猛．低资源条件下基于深度神经网络的语音识别声学建模研究 ［Ｄ］．北京：清华大学，２０１５． ［２４］Ｇｒａｖｅｓ Ａ，Ｍｏｈａｍｅｄ Ａ。Ｈｉｎｔｏｎ Ｇ．Ｓｐｅｅｃｈ ｒｅｃｏｇｎｉｔｉｏｎ ｗｉｔｈ ｄｅｅｐ ｒｅ－ ［１２］Ｓａｏｎ Ｇ，Ｓｏｈａｕ Ｈ，Ｎａｈａｍｏｏ Ｄ，ｅｔ ａ１．Ｓｐｅａｋｅｒ ａｄａｐｔａｔｉｏｎ ｏｆ ｎｅｕｒｌａ ｎｅｔ－ ｗｏｒｋ ａｃｏｕｓｔｉｃ ｍｏｄｅｌｓ ｕｓｉｎｇ ｉ－ｖｅｃｔｏｒｓ［Ｃ］／／Ｐｍｅ ｏｆ ＩＥＥＥ Ｗｏｒｋｓｈｏｐ ｏｎ Ａｕｔｏｍａｔｉｃ Ｓｐｅｅｃｈ Ｒｅｃｏｇｎｉｔｉｏｎ ａｎｄ Ｕｎｄｅｒｓｔａｎｄｉｎｇ．２０１３：５５－５９． ｃｕｒｒｅｎｔ ｎｅｕｒｌａ ｎｅｔｗｏｒｋｓ［Ｃ］／／Ｐｒｅｅ ｏｆ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｆｎｅｒｅｎｃｅ ｏｎ Ａｃｏｕｓｔｉｃｓ，Ｓｐｅｅｃｈ ａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ．２０１３：６６４５—６６４９． ［１３］Ｉｅｅｅ Ｌ Ｒ Ｒ Ｆ．Ａ ｔｕｔｏｉｒａｌ ｏｎ ｈｉｄｄｅｎ Ｍａｒｋｏｖ ｍｏｄｅｌｓ ａｎｄ ｓｅｌｅｃｔｅｄ ａｐｐｌｉ— ｃａｔｉｏｎｓ ｉｎ ｓｐｅｅｃｈ ｒｅｃｏｇｎｉｔｉｏｎ［Ｊ］．Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ，１９８９， ７７（２）：２５７—２８６． ［２５］Ｓｅｎｉｏｒ Ａ，Ｌｏｐｅｚ－Ｍｏｒｅｎｏ Ｉ．Ｉｍｐｒｏｖｉｎｇ ＤＮＮ ｓｐｅａｋｅｒ ｉｎｄｅｐｅｎｄｅｎｃｅ ｗｉｔｈ ｉ－ｖｅｃｔｏｒ ｉｎｐｕｔｓ［Ｃ］／／Ｐｒｏｅ ｏｆ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｃｏｕｓｔｉｃｓ，Ｓｐｅｅｃｈ ａｎｄ Ｓｉｎａｌｇ Ｐｒｏｃｅｓｓｉｎｇ．２０１４：２２５—２２９． ［１４］Ｈｉｎｔｏｎ Ｇ，Ｄｅｎｇ Ｌｉ，Ｙｕ Ｄｏｎｇ，ｅｔ ａ１．Ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ ｆｏｒ ａｃｏｕｓｔｉｃ ｍｏｄｅｌｉｎｇ ｉｎ ｓｐｅｅｃｈ ｒｅｃｏｇｎｉｔｉｏｎ［Ｊ］．ＩＥＥＥ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｍａｇａ－ ｚｉｎｅ，２０１２，２９（６）：８２－９７． ［２６］栗志意，张卫强，何亮，等．基于总体变化子空间自适应的ｉ－ｖｅｃｔｏｒ 说话人识剐系统研究［Ｊ］．自动化学报，２０１４，４０（８）：１８３６－１８４０． ［２７］Ｇｕｐｔａ Ｖ，Ｋｅｎｎｙ Ｐ，Ｏｕｅｌｌｅｔ Ｐ，ｅｔ ａ１．ｉ－ｖｅｃｔｏｒ－ｂａｓｅｄ ｓｐｅａｋｅｒ ａｄａｐｔａｔｉｏｎ ｏｆ ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ ｆｏｒ ｆｅｎｃｈ ｂｒｏａｄｃａｓｔｒ ａｕｄｉｏ ｔｒａｎｓｃｒｉｐｔｉｏｎ［ｃ］ ／／Ｐｒｏｃ ｏｆ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｃｏｕｓｉｃｓ，Ｓｐｅｅｔｃｈ ａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ．２０１４：６３３４－６３３８． ［１５］Ｈｉｎｔｏｎ Ｇ，Ｏｓｉｎｄｅｒｏ Ｓ，Ｔｅｈ Ｙ．Ａ ｆａｓｔ ｌｅａｒｎｉｎｇ ａｌｇｏｒｉｔｈｍ ｏｒｆ ｄｅｅｐ ｂｅｌｉｅｆ ｎｅｔｓ［Ｊ］．Ｎｅｕｒａｌ Ｃｏｍｐｕｔａｔｉｏｎ，２００６，１８（７）：１５２７—５４． ［１６］Ｎａｔｉｏｎａｌ Ｉｎｓｔｉｔｕｔｅ ｏｆＳｉａｎｄａｒｄｓ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ．Ｏｐｅｎ ＫＷＳ１３ ｋｅｙｗｏｒｄ ｓｅａｒｃｈ ｅｖａｌｕａｔｉｏｎ、ｐｌａｎ【ＥＢ／ＯＬ］．（２０１３）．［２０１６—０１—０４］．ｈｔｔｐ：／／ ｗｗｗ．ｎｉｓｔ．ｇｏｖ／ｉｔｌ／ｉａｄ／ｍｉｇ／ｕｐｌｏａｄ／ＫＷＳ１３一ｅｖａｌｐｌａｎ—ｖ４．ｐｄｆ． ・ ［２８］Ｓｎｙｄｅｒ Ｄ，Ｇａｒｃｉａ－Ｒｏｍｅｍ Ｄ，Ｐ０ｖｅｙ Ｄ．Ｔｉｍｅ ｄｅｌａｙ ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔ— ｗｏｒｋ—ｂａｓｅｄ ｕｎｉｖｅｒｓａｌ ｂａｃｋｇｒｏｕｎｄ ｍｏｄｅｌｓ ｆｏｒ ｓｐｅａｋｅｒ ｒｅｃｏｇｎｉｔｉｏｎ［ｃ］ ／／Ｐｒｏｃ ｏｆ ＩＥＥＥ Ｗｏｒｋｓｈｏｐ ｏｎ Ａｕｔｏｍａｔｉｃ Ｓｐｅｅｃｈ Ｒｅｃｏｇｎｉｔｉｏｎ ａｎｄ Ｕｎ— ｄｅｒｓｔａｎｄｉｎｇ．２０１５：９２—９７． ［１７］Ｐｏｖｅｙ Ｄ，Ｇｈｏｓｈａｌ Ａ，Ｂ０ｕｌｉａｎｎｅ Ｇ，ｅｔ ａ１．Ｔｈｅ Ｋａｌｄｉ ｓｐｅｅｃｈ ｒｅｃｏｇｎｉｔｉｏｎ ｔｏｏｌｋｉｔ［Ｃ］／／Ｐｒｏｅ ｏｆ ＡＳＲＵ．２０］１：１．４． ［１８］Ｇｈａｂｒｅｍａｎｉ Ｐ，ＢａｂａＡｌｉ Ｂ，Ｐｏｖｅｙ Ｄ，ｅｔ ａ１．Ａ ｐｉｔｃｈ ｅｘｔｒａｃｔｉｏｎ ａｌｇｏ－ ｒｉｔｈｍ ｔｕｎｅｄ ｏｆｒ ａｕｔｏｍａｔｉｃ Ｓｐｅｅｃｈ ｒｅｃｏｇｎｉｔｉｏｎ［Ｃ］／／Ｐｒｏｅ ｏｆ ＩＥＥＥ Ｉｎ— ｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｃｏｕｓｔｉｃｓ，Ｓｐｅｅｃｈ ａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ． ２０１４：２４９４－２４９８． ［２９］Ｌｅｉ Ｙｕｎ，Ｓｅｈｅｆｆｅｒ Ｎ，Ｆｅｔｔｅｒ Ｌ，ｅｔ ａ１．Ａ ｎｏｖｅｌ ｓｃｈｅｍｅ ｆｏｒ ｓｐｅａｋｅｒ ｒｅ． ｃｏｇｎｉｔｉｏｎ ｕｓｉｎｇ ａ ｐｈｏｎｅｔｉｃａｌｌｙ—ａｗａｒｅ ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ［Ｃ］／／Ｐｒｏｅ ｏｆ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｃｏｕｓｔｉｃｓ，Ｓｐｅｅｃｈ ａｎｄ Ｓｉｎａｌ ｇＰｒｏｃｅｓｓｉｎｇ．２０１４：１６９５．１６９９． 『１９］Ｇａｌｅｓ Ｍ Ｊ Ｆ．Ｍａｘｉｍｕｍ ｌｉｋｅｌｉｈｏｏｄ ｌｉｎｅａｒ ｔｒａｎｓｆｏｒｍａｔｉｏｎｓ ｆｏｒ ＨＭＭ— （上接第３５０页） ｃｅｓ ｏｎ Ｗｅｂ Ｉｎｔｅｌｌｉｇｅｎｃｅ ａｎｄ ＩｎｔｅＵｉｇｅｎｔ Ａｇｅｎｔ Ｔｅｃｈｎｏｌｏｇｉｅｓ．Ｗａｓｈｉｎｇ－ ｔｏｎ ＤＣ：ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ，２０１３：１５９—１６２． ［４］Ｈａｎ Ｈｕｉ，Ｇｉｌｅｓ Ｃ Ｌ，Ｚｈａ Ｈｏｎｇｙｕａｎ，ｅｔ ａ１．Ｔｗｏ ｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ ａｐｐｒｏａｃｈｅｓ ｆｏｒ ｎａｍｅ ｄｉｓａｍｂｉｎａｔｉｇｏｎ ｉｎ ａｕｔｈｏｒ ｃｉｔａｔｉｏｎｓ［Ｃ］／／Ｐｒｏｃ ｏｆ ｔｈｅ ４ｔｈ ＡＣＭ／ＩＥＥＥ—ＣＳ Ｊｏｉｎｔ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｄｉｉｇｔａｌ Ｌｉｂｒａｒｉｅｓ．Ｎｅｗ Ｙｏｒｋ：ＡＣＭ Ｐｒｅｓｓ，２００４：２９６—３０５． ［１０］Ｋａｎｇ Ｉ Ｓ，Ｎａ Ｓ Ｈ，Ｌｅｅ Ｓ，ｅｔ ａ１．Ｏｎ ｃｏ—ａｕｔｈｏｒｓｈｉｐ ｆｏｒ ａｕｔｈｏｒ ｄｉｓａｍ— ｂｉｎａｔｇｉｏｎ［ｊ］．Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ＆Ｍａｎａｇｅｍｅｎｔ，２００９，４５ （１）：８４—９７． ［５］Ｈａｎ Ｈｕｉ，Ｚｈａ Ｈｏｎｇｙｕｎ：ａ，Ｇｉｌｅｓ Ｃ Ｌ，ｅｔ ａ１．Ｎａｍｅ ｄｉｓａｍｂｉｇｕａｔｉｏｎ ｉｎ ａｕｔｈｏｒ ｃｉｔａｔｉｏｎｓ ｕｓｉｎｇ ａ ｋ－ｗａｙ ｓｐｅｃｔｒｌ ａｃｌｕｓｔｅｒｉｎｇ ｍｅｔｈｏｄ［Ｃ］／／Ｐｒｏｃ ｏｆ ｔｈｅ ５ｔｈ ＡＣＭ／ＩＥＥＥ－ＣＳ Ｊｏｉｎｔ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｄｉｇｉｔａｌ Ｌｉｂｒａｒｉｅｓ．Ｎｅｗ Ｙｏｒｋ：ＡＣＭ Ｐｒｅｓｓ，２００５：３３４—３４３． ［１ １］Ｓｏｎｇ Ｙａｎｇ，Ｈｕａｎｇ Ｊｉａｎ，Ｃｏｕｎｃｉｌｌ Ｉ Ｇ，ｅｔ ａ１．Ｅｆｉｃｉｆｅｎｔ ｔｏｐｉｃ—ｂａｓｅｄ ｕｎｓｕｐｅｒｖｉｓｅｄ ｎａｎｌｅ ｄｉｓａｍｂｉｇｕａｔｉｏｎ［Ｃ］／／Ｐｒｏｅ ｏｆ ｔｈｅ ７ｔｈ ＡＣＭ／ＩＥＥＥ— ＣＳ Ｊｏｉｎｔ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｄｉｇｉｔａｌ Ｌｉｂｒａｒｉｅｓ．Ｎｅｗ Ｙｏｒｋ：ＡＣＭ Ｐｒｅｓｓ， ２００７：３４２—３５１． ［６］Ｌｅｖｉｎ Ｍ，Ｋｒａｗｃｚｙｋ Ｓ，Ｂｅｔｈａｒｄ Ｓ，ｅｔ ａ１．Ｃｉｔａｔｉｏｎ—ｂａｓｅｄ ｂｏｏｔｓｔｒａｐｐｉｎｇ ｏｒｆ ｌｒｇｅ－ｓｃａｌｅ ａｕｔａｈｏｒ ｄｉｓａｍｂｉｎａｔｇｉｏｎ［Ｊ］．Ｊｏｕｍａｌ ｏｆ ｔｈｅ Ａｍｅｒｉｃａｎ Ｓｏｃｉｅｔｙ ｆｏｒ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｃｉｅｎｃｅ＆Ｔｅｃｈｎｏｌｏｇｙ，２０１２，６３（５）： １０３０．１Ｏ４７． ［１２］宁博，张菲菲．基于异构知识库的命名实体消歧［Ｊ］．西安邮电大 学学报，２０１４，１９（４）：７０－７６． ［１３］ｈｔｔｐ：／／ｎｌｐ．ｓｔａｆｎｏｒｄ．ｅｄｕ／ｓｏｉｆｗａｒｅ／ｓｅｇｍｅｎｔｅｒ．ｓｈｔｍｌ［ＥＢ／ＯＬ］． ［１４］孙昌年．基于主题模型的文本相似度计算研究与实现［Ｄ］．合肥： 安徽大学，２０１２． ［７］Ｃｈｉｎ Ｗｅｉｓｈｅｎｇ，Ｊｕａｎ Ｙｕｃｈｉｎ，Ｚｈｕａｎｇ Ｙｏｎｇ，ｅｔ ａ１．Ｅｆｆｅｃｔｉｖｅ ｓｔｉｒｎｇ ｐｒｏｃｅｓｓｉｎｇ ｎｄａ ｍａｔｃｈｉｎｇ ｆｏｒ ａｕｔｈｏｒ ｄｉｓａｍｂｉｇｕａｔｉｏｎ［Ｊ］．Ｊｏｕｒｎａｌ ｏｆ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ Ｒｅｓｅａｒｃｈ，２０１４，１５：３０３７—３０６４． ［１５］Ｏｎｏ Ｓ，Ｓａｔｏ Ｉ，Ｙ０ｓｈｊｄａ Ｍ，ｅｔ ａ１．Ｐｅｒｓｏｎ ｎａｌｎｅ ｄｉｓａｍｂｉｇｕａｔｉｏｎ ｉｎ Ｗｅｂ ｐａｇｅｓ ｕｓｉｎｇ ｓｏｃｉｌ ｎｅｔａｗｏｒｋ．ｃｏｍｐｏｕｎｄ ｗｏｒｄｓ ａｎｄ ｌａｔｅｎｔ ｔｏｐｉｃｓ ［８］Ｋｌｏｓｉｋ Ｄ Ｆ，Ｓｔｅｆａｎ Ｂ，Ｍａｒｃ．ｒＩ＇｝ｌｏｒｓｔｅｎ Ｈ．Ｍｏｔｉｆ－ｂａｓｅｄ ｓｕｃｃｅｓｓ ｓｃｏｒｅｓ ｉｎ ｃｏａｕｔｈｏｒｓｈｉｐ ｎｅｔｗｏｒｋｓ ａｌｅ ｈｉｓｈｌｙ ｓｅｎｓｉｔｉｖｅ ｔｏ ａｕｔｈｏｒ ｎａｍｅ ｄｉｓａｍｂｉ— ［Ｃ］／／Ｐｒｅｃ ｏｆ ｔｈｅ １２ｔｈ Ｐａｃｉｉｆｃ—Ａｓｉａ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｄｖａｎｃｅｓ ｉｎ Ｋｎｏｗｌｅｄｇｅ Ｄｉｓｃｏｖｅｒｙ ａｎｄ Ｄａｔａ Ｍｉｎｉｎｇ．Ｂｅｒｌｉｎ：Ｓｐｒｉｎｇｅｒ—Ｖｅｒｌａｇ，２００８： ２６０．２７１． ｎａｔｉｇｏｎ［Ｊ］．Ｐｈｙｓｉｃａｌ Ｒｅｖｉｅｗ Ｅ Ｓｔａｔｉｓｔｉｃａｌ Ｎｏｎｌｉｎｅａｒ＆Ｓｏｆｔ Ｍａｔ－ ｔｅｒ Ｐｈｙｓｉｃｓ，２０１４，９０（３）：１０９—１２７． ［１６］Ｐｏｉｂｅａｎ Ｔ，Ｓａｇｇｉｏｎ Ｈ，Ｐｉｓｋｏｒｓｋｉ Ｊ，ｅｔ ａ１．Ｍｕｈｉ－ｓｏｕｒｃｅ，ｍｕｈｉｌｉｎｇｕａｌ ｉｎｆｏｒｍａｔｉｏｎ ｅｘｔｒａｃｔｉｏｎ ａｎｄ ｓｕｍｍａｒｉｚａｔｉｏｎ［Ｍ］．Ｂｅｒｌｉｎ：Ｓｐｒｉｎｇｅｒ－Ｖｅｒ－ ｌａｇ。２０１１． ［９］Ａｌｈｅｌｂａｗｙ Ａ，Ｇａｉｚａｎｓｋａｓ Ｒ．Ｎａｍｅｄ ｅｎｔｉｔｙ ｄｉｓａｍｂｉｇｕａｔｉｏｎ ｕｓｉｎｇ ＨＭＭｓ［Ｃ］／／Ｐｒｏｃ ｏｆ ＩＥＥＥ／ＷＩＣ／ＡＣＭ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｉｎｔ Ｃｏｎｆｅｒｅｎ．
