自然言語処理分野論文まとめ【2020年02月14日arXiv公開】

この論文の概要（機械翻訳による和訳）
自動音声認識用の自己回帰シーケンス間注意アーキテクチャにおける超音波転写の問題について説明します。ここでは、モデルがドメイン外発話で提示された場合に反復出力の非常に長いシーケンスを生成します。 LibriSpeechコーパスでのみトレーニングされた注意深いエンコーダーデコーダーモデルを使用して、BritishNational Corpusからオーディオをデコードします。 500文字を超えるデコード出力（1秒あたり100文字を超える）を生成する5秒の記録が多数あることがわかります。同じデータでトレーニングされたフレーム同期ハイブリッド（DNN-HMM）モデルでは、これらの異常に長いトランスクリプトは生成されません。これらのデコードの問題は、ESPnetの音声変換モデルで再現可能であり、自己注目のCTCモデルである程度再現可能であり、これらの問題はアテンションメカニズムの使用に固有のものであることを示唆しています。出力内のワードピースの正しい数を予測するために別個の長さ予測モデルを作成します。これにより、LibriSpeechタスクでのワードエラー率を増加させることなく、問題のあるデコード結果を特定および切り捨てることができます。

この論文の概要（機械翻訳による和訳）
オープンドメインの自然言語生成（NLG）モデルの自動評価は課題であり、BLEUやPerplexityなどの広く使用されているメトリックは、場合によっては誤解を招く可能性があります。本論文では、自然言語理解能力が高いことが示されているBERTの微調整により、生成された1組の文を比較することを学習することにより、自然言語生成モデルを評価することを提案します。また、NLGモデルのモデルレベルの品質を、スキルレベルシステムによるサンプルレベルの比較結果で評価することを提案します。完全に自己管理された方法で訓練することができますが、私たちのモデルは、人間の判断をより良くするために、少しの人間の好みの注釈でさらに微調整することができます。トレーニング済みモデルの評価に加えて、トレーニング中にパフォーマンスインジケーターとしてモデルを適用して、ハイパーパラメーターの調整と早期停止を改善することを提案します。ストーリー生成とチャットチャット対話生成の両方に対するアプローチを評価します。実験結果は、我々のモデルが以前の自動評価アプローチと比較して人間の好みとよりよく相関することを示しています。提案されたメトリックでのトレーニングは、人間の評価でより良いパフォーマンスをもたらし、提案されたモデルの有効性をさらに実証します。

この論文の概要（機械翻訳による和訳）
データは、人類史上これまでになく大量に作成されています。この尽きることのない情報の供給をふるいにかけ、分析する際に人間を支援する技術の需要の増加を期待するのは当然です。この必要性は、大量の消費者調査データがビデオ録画を通じて収集される市場調査業界に存在します。現在、ビデオデータを分析するための標準的な方法は人的労働です。市場調査員は、大部分の消費者調査ビデオを手動でレビューして、関連する部分を特定します-ハイライト。業界のアートターンアラウンド率は2.2です。ビデオコンテンツの1時間ごとに2.2時間の人手が必要です。この研究では、データをふるいにかける研究者を支援する教師付き学習モデルに基づいたNLPベースのハイライト識別と抽出のための新しいアプローチを提示します。私たちのアプローチは、長い形式と短い形式のビデオデータから構築された、ユーザーが作成した手動で作成されたハイライトクリップにかかっています。この問題は、ビデオ文字起こしが可能なため、NLPアプローチに最適です。勾配ブースティングからリカレントニューラルネットワークまで、モデルの複数のクラスを評価し、ハイライトの抽出と識別におけるパフォーマンスを比較します。次に、分類器の最大入力長よりもはるかに大きいドキュメントを分析するために設計された4つのサンプリング方法を使用して、最高のパフォーマンスのモデルが評価されます。スタンドアロンの分類子であるROC AUCスコアは0.93〜0.94の範囲で非常に高いパフォーマンスを報告していますが、大きなドキュメントで評価すると有効性が大幅に低下していることがわかります。私たちの結果に基づいて、さまざまなユースケースのためのモデル/サンプリングアルゴリズムの組み合わせを提案します。

この論文の概要（機械翻訳による和訳）
名前付きエンティティリンクは、ドキュメント内のあいまいな言及をナレッジベース内のエンティティにマップすることです。ドキュメント内のメンションに複数の候補エンティティがあるという事実を考えると、名前付きエンティティのリンクは困難です。メンションがドキュメント内に複数回出現する場合、メンションの外観の前後のコンテキストによって競合があるため、メンションをリンクすることは困難です。さらに、指定されたトレーニングデータセットは、言及をそのマッピングエンティティにリンクするために手動で行われるため、小さいため困難です。文献には、最近の埋め込み方法がドキュメントレベルでトレーニングデータセットからエンティティのベクトルを学習する多くの報告された研究があります。使用するのに不十分な情報を犠牲にして、文書に同じ言及が出現する。知識グラフから学習した関係を最大化することにより、新しい統合埋め込み手法を提案します。私たちの方法の有効性は、実験研究で確認します。

この論文の概要（機械翻訳による和訳）
アスペクトベースの感情分析は、テキスト内の特定のアスペクトに対する感情的な傾向を識別することを目的としています。事前トレーニングされたBERTの微調整は、このタスクで優れたパフォーマンスを発揮し、最先端のパフォーマンスを実現します。既存のBERTベースの作品は、BERTの最後の出力層のみを利用し、中間層のこれらの知識を無視します。このホワイトペーパーでは、BERTの微調整のパフォーマンスを向上させるためにBERT中間層を使用する可能性について検討します。私たちの知る限り、この研究に関する既存の研究はありません。一般性を示すために、自然言語推論タスクにもこのアプローチを適用します。実験結果は、提案されたアプローチの有効性と一般性を示しています。

この論文の概要（機械翻訳による和訳）
研究者が最先端のモデルを使用してタスク指向の対話システムを構築し、エンドツーエンドの評価を実行し、システムの弱点を診断できるようにするオープンソースのツールキットであるConvLab-2を紹介します。 ConvLabの後継として（Lee et al。、2019b）、ConvLab-2はConvLabのフレームワークを継承しますが、より強力なダイアログモデルを統合し、より多くのデータセットをサポートします。それに加えて、私たちは研究者が対話システムを診断するのを支援するための分析ツールと対話型ツールを開発しました。分析ツールは豊富な統計を提示し、シミュレートされたダイアログからの一般的な誤りを要約し、エラー分析とシステム改善を促進します。対話型ツールは、システムと対話し、各システムコンポーネントの出力を変更することで、開発者が組み立てられたダイアログシステムを診断できるユーザーインターフェイスを提供します。

この論文の概要（機械翻訳による和訳）
突然変異テストを使用して、指定されたテストスイートの障害検出機能を評価できます。この目的のために、突然変異試験フレームワークの2つの特性が最も重要です。（i）実際の障害を代表する突然変異体を生成する必要があります。 （ii）変異体を自動的に生成、注入、およびテストできる完全なツールチェーンを提供する必要があります。最初の点に対処するために、最近、Recurrent NeuralNetwork Encoder-Decoderアーキテクチャを使用して、実際のプログラムからマイニングされた〜787kの障害から変異体を学習するアプローチを提案しました。このアプローチの経験的評価により、実際の障害を代表する変異体を生成する可能性が確認されました。このホワイトペーパーでは、ディープラーニングモデルを完全な自動化ツールチェーンにラップして、実際の障害から学習した変異体を生成、注入、およびテストできるツール、DeepMutationを紹介します。ビデオ：https：//sites.google.com/view/learning-mutation/deepmutation

この論文の概要（機械翻訳による和訳）
Transformerは、自然言語処理タスクで広く使用されています。ただし、Transformerをトレーニングするには、通常、慎重に設計された学習レートウォームアップステージが必要です。これは、最終パフォーマンスに不可欠であることが示されていますが、最適化が遅くなり、ハイパーパラメーターチューニングが増えます。この論文では、まず、学習率のウォームアップ段階が不可欠である理由を理論的に研究し、層の正規化の場所が重要であることを示します。具体的には、初期化時に、元の設計のポストLNトランスフォーマーに対して、残差ブロック間のレイヤーの正規化では、出力レイヤー近くのパラメーターの予想される勾配が大きくなります。したがって、これらの勾配に大きな学習率を使用すると、トレーニングが不安定になります。ウォームアップ段階は、この問題を回避するために実際に役立ちます。一方、我々の理論は、層の正規化が残差ブロックの内側に置かれた場合（Pre-LN Transformerとして最近提案された）、初期化時に勾配が適切に動作することも示しています。これにより、Pre-LNTransformersのトレーニングのウォームアップステージを削除することができます。実験で、ウォームアップステージのないPre-LNトランスフォーマーは、幅広いアプリケーションでトレーニング時間とハイパーパラメーターチューニングを大幅に短縮しながら、ベースラインと同等の結果を達成できることを示しています。