自然言語処理分野論文まとめ【2020年01月28日arXiv公開】

この論文の概要（機械翻訳による和訳）
Meenaを公開します。これは、パブリックドメインのソーシャルメディアの会話からデータマイニングおよびフィルター処理されたエンドツーエンドのマルチターンオープンドメインチャットボットです。この2.6Bパラメータニューラルネットワークは、複雑さを最小限に抑えるようにトレーニングされています。これは、マルチターンの会話品質の人間の判断と比較する自動メトリックです。この判断をキャプチャするために、私たちは良好な会話の重要な要素をキャプチャする感度と特異度平均（SSA）と呼ばれる人間の評価指標を提案します。興味深いことに、我々の実験は、複雑さとSSAの間に強い相関関係があることを示しています。エンドツーエンドで最適なパープレキシティがSSAでトレーニングされたMeenascores（マルチターン評価で72％）であるという事実は、パープレキシティをより適切に最適化できる場合、86％の人間レベルのSSAが潜在的に到達可能であることを示唆しています。 Meena（フィルタリングメカニズムとtuneddecodingを使用）のスコアは79％SSAで、次に評価したスコアリングチャットボットよりも23％高くなりました。

この論文の概要（機械翻訳による和訳）
高品質の機械翻訳（MT）システムの構築、および他の多言語NLPアプリケーションには、並列テキストが必要です。多くの南アジア言語では、そのようなデータは不足しています。この論文では、インドの13の主要言語と英語を組み合わせた平行文で構成される、新たに公開されたコーパス（PMIndia）について説明しました。コーパスには、言語ペアごとに最大56000文が含まれています。 2つの異なる自動文アライメント方法の評価を含むコーパスの構築方法を説明し、コーパスに関するいくつかの初期NMT結果を示します。

この論文の概要（機械翻訳による和訳）
ますます、公共政策、ガバナンス、およびビジネス戦略の重要な決定は、構成員（市民、株主など）のニーズと意見をより深く理解することに依存しています。トピックに関する多数の意見を収集することが容易になりましたが、意見の空間をナビゲートするのを支援する自動化ツールの必要性があります。このような状況では、意見の類似性を理解し、定量化することが重要です。テキストの類似性または全体的な感情のみに基づいた測定では、意見間の距離を効果的に把握できないことがよくあります。したがって、微妙な観察を活用する意見間の類似性をキャプチャするための新しい距離尺度を提案します。類似した意見は、特定の関連するエンティティに類似した感情極性を表しています。具体的には、監視なしの設定では、距離測定により、既存のアプローチに比べて調整されたランドインデックススコア（最大56倍）とシルエット係数（最大21倍）が大幅に向上します。同様に、教師あり設定では、テキストの類似性、スタンス類似性、およびセンチメント類似性に依存する既存のアプローチと比較して、私たちの意見の距離測定はかなり優れた精度（最大20％増加）を達成します

この論文の概要（機械翻訳による和訳）
POLARを導入します。これは、意味の差異を採用することで、事前に訓練された単語の埋め込みに解釈可能性を追加するフレームワークです。セマンティックディファレンシャルは、2つの極の正反対のスケール（コールド-ホット、ソフト-ハード）でスケールでその位置を分析することにより、ワードのセマンティクスを測定するための心理測定構成です。私たちのアプローチの核となる考え方は、既存の事前学習済みの単語埋め込みを、セマンティック差分を介して、そのような極の対極によって定義される解釈可能な次元を持つ新しい「極」空間に変換することです。オラクル、すなわち外部ソースによって。さまざまなダウンストリームタスクにフレームワークを展開することにより、フレームワークの有効性を実証します。このタスクでは、解釈可能な単語の埋め込みにより、元の単語の埋め込みに匹敵するパフォーマンスが得られます。また、フレームワークによって選択された解釈可能な次元が人間の判断と一致することを示します。一緒に、これらの結果は、パフォーマンスを損なうことなく、語の埋め込みに解釈可能性を追加できることを示しています。私たちの仕事は、事前に訓練された単語埋め込みの解釈に興味のある研究者やエンジニアに関連しています。

この論文の概要（機械翻訳による和訳）
学習管理システム（LMS）と教育データマイニング（EDM）は、オンライン教育環境の2つの重要な部分であり、前者は学習コンテンツを管理し、学習活動を整理する集中型のWebベースの情報システム（Stone and Zheng、2014）であり、後者は生成されたデータの分析にデータマイニング手法を使用します。この作業の一環として、EDMの3つの主要なタスクに関する文献レビュー（セクション2を参照）、欠点と既存の未解決の問題の特定、およびブルメンフィールドチャート（セクション3を参照） ）。そのように使用されているペーパーとリソースの統合セットは、https：//github.com/manikandan-ravikiran/cs6460-Surveyで公開されています。調査のカバレッジ統計とレビューマトリックスは、それぞれ図1と表1に示すとおりです。頭字語の拡張は、付録セクション4.1に追加されます。

この論文の概要（機械翻訳による和訳）
Time-DepthSeparable（TDS）コンボリューションとConnectionist Temporal Classification（CTC）に基づいたオンラインのエンドツーエンド音声認識システムを設計します。将来のコンテキストを制限するためにコアTDSアーキテクチャを改善し、精度を維持しながらレイテンシを削減します。このシステムは、適切に調整されたハイブリッドASRベースラインのほぼ3倍のスループットを持ち、レイテンシーが低く、ワードエラー率が優れています。認識装置の効率にとっても重要なのは、高度に最適化されたビーム検索デコーダです。設計の選択の影響を示すために、スループット、レイテンシ、精度を分析し、ユーザーの要件に基づいてこれらのメトリックを調整する方法について説明します。

この論文の概要（機械翻訳による和訳）
Machine Reading Comprehension（MRC）は、与えられた文章に基づいて質問に対する正しい答えを判断するためにmachineを必要とするAIの課題です。 MRCsystemsは、必要に応じて質問に答えるだけでなく、与えられたパッセージに従って回答が得られない場合も区別し、回答を巧みに避けなければなりません。 MRCタスクに答えられない質問が含まれる場合、エンコーダーに加えてベリファイアと呼ばれる重要な検証モジュールが特に必要になりますが、MRCモデリングの最新のプラクティスは、「読み「。このホワイトペーパーでは、MRCタスクのより良い検証器の設計を、答えられない質問とともに探求しています。人間が読解の質問をどのように解決するかに触発されて、私たちは2段階の読解と検証戦略を統合したレトロスペクティブリーダー（レトロリーダー）を提案しました： 2）答えを検証し、最終的な予測を与える集中的な読書。提案された読者は、2つのベンチマークMRCチャレンジデータセットSQuAD2.0とNewsQAで評価され、新しい最先端の結果を達成します。有意性テストは、このモデルが強力なALBERTベースラインよりも著しく優れていることを示しています。提案された読者の有効性を解釈するために、一連の分析も行われます。

この論文の概要（機械翻訳による和訳）
分類法は、機械で解釈可能なセマンティクスで構成され、多くのWebアプリケーションに貴重な知識を提供します。たとえば、オンライン小売業者（AmazonやeBayなど）は製品の推奨に分類法を使用し、Web検索エンジン（GoogleやBingなど）は分類法を活用してクエリの理解を強化しています。分類法を手動または半自動で構築するために多大な努力が払われてきました。ただし、Webコンテンツの急増に伴い、既存の分類法は時代遅れになり、新しい知識を獲得できなくなります。したがって、多くのアプリケーションでは、既存の分類法の動的な拡張が大きな需要があります。このホワイトペーパーでは、一連の新しい概念を追加して、既存の分類法を拡張する方法を検討します。 TaxoExpanという名前の新しい自己監視型フレームワークを提案します。このフレームワークは、既存の分類法からトレーニングデータとして<クエリコンセプト、アンカーコンセプト>のペアを自動的に生成します。 TaxoExpanは、このような自己監視データを使用して、クエリコンセプトがアンカーコンセプトの直接の下位語であるかどうかを予測するモデルを学習します。 TaxoExpanでは、2つの革新的な手法を開発しています。（1）既存の分類法のアンカー概念のローカル構造をエンコードする位置強化グラフニューラルネットワーク、および（2）学習モデルがラベルノイズの影響を受けないようにするノイズに強いトレーニング目標異なるドメインからの3つの大規模なデータセットに関する広範な実験により、分類法の拡張に対するTaxoExpanの有効性と効率性の両方が実証されています。

この論文の概要（機械翻訳による和訳）
スマートスピーカー用の音声トリガー検出システムの設計について説明します。この調査では、2つの大きな課題に対処します。 1つ目は、検出器が複雑な音響環境に配置され、外部ノイズとデバイス自体による大きな再生があることです。第二に、特定のキーワードまたはトリガーフレーズのトレーニングサンプルを収集することは困難であり、トリガーフレーズ固有のトレーニングデータが不足します。低電力検出器が常に実行され、トリガーフレーズをリッスンする2段階のカスケードアーキテクチャについて説明します。この段階で検出が行われた場合、候補のオーディオセグメントは、セグメントがトリガーフレーズを含むことを検証するために、より大きく複雑なモデルによって再スコアリングされます。この研究では、これらの2パス検出器のアーキテクチャと設計に注目します。ラベル付きの大きなトレーニングデータセットが与えられた場合、音声転写を生成する一般的な音響モデルをトレーニングすることから始めます。次に、ベースラインシステムにとって困難な、はるかに小さな例のデータセットを収集します。次に、マルチタスク学習を使用してモデルをトレーニングし、より大きなデータセットで正確な音声表記を同時に生成します。私たちの結果は、提案されたモデルが、追加のパラメーターを必要としないさまざまな困難なテスト条件でのベースラインと比較してエラーを半分に減らすことを示しています。

この論文の概要（機械翻訳による和訳）
IoTネットワークで動的に変化するクラスターのサイズの信頼性の高い効率的な推定は、その名目上の運用において重要です。ほとんどの以前の推定スキームは、比較的小さなフレームサイズと多数のラウンドで機能しました。ここでは、アクティブなノードの textquotedblleft GaussianEstimator、 textquotedblright（GEAN）という名前の新しい推定器を提案します。推定で望ましい精度を達成するためのスロット。より具体的には、フレームサイズの選択は、TriangularArray Central Limit Theoremに従って行われます。これにより、近似誤差を定量化することもできます。フレームサイズを大きくすると、統計平均が推定量のアンサンブル平均により速く収束し、近似誤差の定量化が精度要件に対応するためのラウンド数を決定するのに役立ちます。 $ {0,1 } $と$ {0,1、e } $という2つの異なるチャネルモデルの下でスキームの分析を示しますが、以前のすべてのスキームは$ {0,1 } $チャネルの下でのみ機能しました。モデル。 GEANの全体的なパフォーマンスは、所定のレベルの推定精度を達成するために推定に必要なスロットの数を考慮すると、以前に提案されたスキームよりも優れています。

この論文の概要（機械翻訳による和訳）
データを手動でラベル付けせずに、株価の動きに関連する関連イベントを識別する方法を提示します。特定の時間枠の一連のニュースヘッドラインを指定したアテンションベースのニューラルネットワークをトレーニングし、特定の株価指数（つまり、DOWN、STAY、UP）の価格の動きを予測します。アテンションレイヤーは入力セレクターとして機能します。各ヘッドライン埋め込みの正規化された重みを計算します。埋め込みの加重平均は、価格の動きを予測するために使用されます。ネットワークがトレーニングされた後、アテンションレイヤーがその正規化されていない重みによってニュースイベントのグローバルなランキングを生成できるかどうかを理解するための分析を提示します。ランキングは、関連する金融イベントをより高くランク付けできる必要があります。この最初の研究では、関連性のプロキシとしてニュースカテゴリを使用します。より関連性の高いカテゴリに属する​​ニュースは、上位にランク付けする必要があります。 4つのインデックスに関する実験では、価格の変化を説明するのにより関連性の高いカテゴリに対して、重みがイベントのグローバルセットを実際に歪めるという兆候があることが示唆されています。この効果は、在庫予測に関するネットワークのパフォーマンスを反映しています。

この論文の概要（機械翻訳による和訳）
多肢選択式機械読解（MRC）では、パッセージと質問が与えられたときに、モデルが一連の解答オプションから正しい解答を決定する必要があります。したがって、エンコーダとしての強力な事前トレーニング済み言語モデルに加えて、多肢選択MRCは特に、通過、質問、および回答のトリプレット間の関係を効果的にキャプチャすることを想定したマッチングネットワーク設計に依存しています。事前に訓練された最新の言語モデルは、マッチングネットワークのサポートがなくても十分に強力であり、最新のマッチングネットワークは十分に複雑であることが示されていますが、MRC関係を注目として直接モデル化する斬新な基本ソリューションを提案しますネットワーク内のメカニズム。提案されたDUalMulti-head Co-Attention（DUMA）は、単純であるが効果的であり、事前に訓練された言語モデルを一般的に促進できることが示されています。提案された方法は、強力な言語モデルの観点から、DUMAがまだ最新のパフォーマンスに到達するためにモデルを後押しする可能性があることを示す、2つのベンチマーク多肢選択MRCタスク、DREAMおよびRACEで評価されます。

この論文の概要（機械翻訳による和訳）
毎日何百万ものニュース記事がオンラインで公開されており、読者がフォローするのは圧倒的です。同じイベントを報告している記事をニュース記事にグループ化することは、読者のニュース消費を支援する一般的な方法です。ただし、各ストーリーの代表的な見出しを効率的かつ効果的に生成することは、依然として困難な研究課題です。文書セットの自動要約は何十年も研究されてきましたが、記事のセットの代表的な見出しの生成に焦点を当てた研究はほとんどありませんでした。この作業では、ニュース記事の代表的な見出しを生成する問題を研究します。人間の注釈なしで大規模な生成モデルを訓練するための遠隔監視アプローチを開発します。このアプローチは、2つの技術コンポーネントを中心にしています。まず、さまざまなレベルでさまざまな品質と量のバランスを備えた大量のラベルなしコーパスを組み込むマルチレベルの事前トレーニングフレームワークを提案します。このフレームワーク内で訓練されたモデルは、純粋な人間のキュレートコーパスで訓練されたモデルよりも優れていることを示しています。第二に、複数の記事で共有される顕著な情報を抽出するために、新しい自己投票ベースの記事注目レイヤーを提案します。このレイヤーを組み込んだモデルは、ニュース記事の潜在的なノイズに対してロバストであり、ノイズの有無にかかわらず既存のベースラインよりも優れていることを示します。人間のラベルを組み込むことでモデルをさらに強化することができ、遠方の監督アプローチがラベル付きデータの需要を大幅に減らすことを示しています。