自然言語処理分野論文まとめ【2020年01月29日arXiv公開】

この論文の概要（機械翻訳による和訳）
注意ベースのエンコーダ/デコーダニューラルネットワークモデルは、目標指向の対話システムで有望な結果を最近示しています。ただし、これらのモデルは、エンドツーエンドのテキスト生成機能を維持しながら、状態を完全に把握し、それを組み込むことに苦労しています。このようなモデルはユーザーの意図とナレッジグラフの統合から大きなメリットを得ることができるため、本書では、入力としてナレッジグラフとコーパスの共同埋め込みでトレーニングされるRNNベースのエンドツーエンドエンコーダーデコーダーアーキテクチャを提案します。このモデルは、誤ったエンティティを出力として生成することを罰するための追加の正規化技術とともにマルチタスク学習パラダイムでトレーニングされた、テキスト生成とともにユーザー意図の追加統合を提供します。モデルはさらに、推論中にナレッジグラフエンティティルックアップを組み込んで、生成された出力が提供されたローカルナレッジグラフに基づいてステートフルであることを保証します。最終的にBLEUスコアを使用してモデルを評価し、経験的評価は、提案されたアーキテクチャがタスク指向の対話システムのパフォーマンスの向上に役立つことを示しています。

この論文の概要（機械翻訳による和訳）
近年、NLPの研究により、DNNモデルによる記録的な精度向上が見られました。ただし、電力消費は、NLPシステムを展開するための実用的な懸念事項の1つです。現在の最新のアルゴリズムのほとんどはGPUに実装されていますが、これは電力効率が悪く、展開コストも非常に高くなります。一方、CNN Domain SpecificAccelerator（CNN-DSA）は大量生産されており、低電力および低コストの計算能力を提供しています。このペーパーでは、CNN-DSAでスーパーキャラクターズメソッドを実装します。さらに、スーパーキャラクターメソッドを変更して、マルチモーダルデータ、つまりCL-Affsharedtaskのテキストと表形式のデータを利用します。

この論文の概要（機械翻訳による和訳）
関連する一連のフレーズから「XをYと見なす」などのテンプレートを抽出するには、その内部構造を識別する必要があります。このペーパーでは、シーケンスバイナリ決定ダイアグラム（SeqBDD）の新しいリラックスしたバリアントを使用して、タグ付きテキストからオンザフライでテンプレートを抽出するための教師なしアプローチを紹介します。 SeqBDDは、一連のシーケンスを最小DFAと同等のグラフィカル構造に圧縮できますが、よりコンパクトで、テンプレート抽出のタスクにより適しています。この論文の主な貢献は、少量のデータから一般的な表現を形成できるようにするSeqBDD構築アルゴリズムの緩い形式です。 Relaxed SeqBDD構築中のテキスト内の共有構造の圧縮プロセスは、抽出したいテンプレートを自然に誘導します。実験により、このメソッドはコーパスからの動詞+前置詞テンプレートとソーシャルメディアからのショートメッセージからの句節テンプレートに基づくタスクで高品質の抽出が可能であることが示されています。

この論文の概要（機械翻訳による和訳）
感情を持たない短くてシンプルなテキストは、その文脈とともに読むときに強い感情を表すことができます。つまり、同じ文はその文脈に応じて、極端な怒りと幸福を表現できます。この論文では、文中の単語の相互依存性を学習すると同時に、対話中の文の相互依存性を学習する文脈的影響検出（CAD）フレームワークを提案します。提案されているCADフレームワークは、Gated Recurrent Unit（GRU）に基づいています。GRUは、コンテキストワードの埋め込みやその他の多様な手作りの機能セットによってさらに支援されます。評価と分析により、このモデルはFriendsデータセットとEmotionPushデータセットでそれぞれ最新の方法よりも5.49％と9.14％優れていることが示唆されています。

この論文の概要（機械翻訳による和訳）
ワールドビルディングは、ナラティブインテリジェンスを必要とするあらゆるタスクの基盤を形成します。この作品では、自然言語を使用してプレイヤーが「見る」「話す」テキストベースの世界、つまりインタラクティブなフィクションの世界を手続き的に生成することに焦点を当てています。これらの世界を生成するには、セマンティックに一貫性があり、興味深く、一貫性があることに加えて、日常的かつ主題的な常識的な優先順位を参照する必要があります。インスピレーションとして既存のストーリープロットを使用して、位置やオブジェクトなどの世界構造に関する基本情報をエンコードする部分的な知識のグラフを最初に抽出する方法を提示します。この知識グラフは、テーマ知識を利用して自動的に完成し、他の世界を一新する神経言語生成モデルを導くために使用されます。人間の参加者ベースの評価を実行し、認知モデルを抽出して入力するニューラルモデルの能力をテストし、ルールベースおよび人間が作成したベースラインに対して条件付けられた言語を生成します。コードは、https：//github.com/rajammanabrolu/WorldGenerationで入手できます。

この論文の概要（機械翻訳による和訳）
望ましいデータセットを取得する検索エンジンの能力は、データの共有と再利用にとって重要です。既存のデータセット検索エンジンは通常、クエリとデータセットの説明の一致に依存しています。ただし、ユーザーは、説明テキストと一致する用語を使用してクエリを作成するための十分な事前知識を持たない場合があります。生成されたスキーマラベルを混合ランキングモデルに組み込み、クエリとデータセットメタデータの関連性だけでなく、クエリと生成されたスキーマラベルの類似性も考慮します。実世界のデータセットでメソッドを評価するために、データセット取得タスク専用の新しいベンチマークを作成します。実験では、ベースラインメソッドと比較して、アプローチがデータセット取得タスクの精度とNDCGスコアを効果的に改善できることを示しています。 。

この論文の概要（機械翻訳による和訳）
シードエンティティの小さなセット（たとえば、「米国」、「ロシア」）を考えると、コーパスベースのセット拡張は、特定のコーパスから同じセマンティッククラス（この例では国）を共有するエンティティの広範なセットを誘導することです。 。拡張を設定すると、Web検索、分類法の構築、クエリの提案など、知識発見における幅広いダウンストリームアプリケーションにメリットがあります。既存のコーパスベースのセット拡張アルゴリズムは、通常、語彙パターンと分布の類似性を組み込むことにより、特定のシードをブートストラップします。ただし、明示的に提供されるネガティブセットがないため、これらのメソッドは、ガイダンスなしでシードセットを自由に拡張することによりセマンティックドリフトの影響を受けます。ユーザーの興味の対象セットに密接に関連するネガティブセットとして補助セットを自動的に生成し、次に補助セットとターゲットセットを比較することで識別機能を抽出する複数セットの同時展開を実行する新しいフレームワーク、Set-CoExpanを提案します互いに区別されるセットにより、セマンティックドリフトの問題を解決します。このホワイトペーパーでは、補助セットを生成することにより、ターゲットセットの拡張プロセスをガイドして、境界付近のこれらのあいまいな領域に補助セットが触れないようにし、Set-CoExpanが強力なベースラインメソッドを大幅に上回ることを示します。

この論文の概要（機械翻訳による和訳）
電子医療記録（EHR）から患者の情報を抽出することに焦点を当てた大量の研究により、注釈付きコーパスの需要が増加しました。これは、自然言語処理（NLP）アルゴリズムの開発と評価の両方にとって非常に貴重なリソースです。英語の範囲外、特にブラジル系ポルトガル語の多目的臨床コーパスが存在しないことは明白であり、生物医学NLP分野の科学的進歩に深刻な影響を与えています。この研究では、複数の医学分野、文書の種類、および機関からの臨床テキストを使用して、注釈付きのコーパスを開発しました。以下を提示します：（1）以前の研究から学んだ共通の側面と教訓をリストアップした調査、（2）複製して他の注釈イニシアチブを導くことができるきめ細かい注釈スキーマ、（3）注釈提案機能に焦点を当てたウェブベースの注釈ツール、および（4）アノテーションの内因性評価と外因性評価の両方。この作業の結果は、65,117のエンティティと11,263の関係でラベル付けされた1,000の臨床ノートを持つコーパスであるSemClinBrであり、さまざまな臨床NLPタスクをサポートし、EHRのポルトガル語の二次使用を後押しします。

この論文の概要（機械翻訳による和訳）
Meenaを公開します。これは、パブリックドメインのソーシャルメディアの会話からデータマイニングおよびフィルター処理されたエンドツーエンドのマルチターンオープンドメインチャットボットです。この2.6Bパラメータニューラルネットワークは、複雑さを最小限に抑えるようにトレーニングされています。これは、マルチターンの会話品質の人間の判断と比較する自動メトリックです。この判断をキャプチャするために、私たちは良好な会話の重要な要素をキャプチャする感度と特異度平均（SSA）と呼ばれる人間の評価指標を提案します。興味深いことに、我々の実験は、複雑さとSSAの間に強い相関関係があることを示しています。エンドツーエンドで最適なパープレキシティがSSAでトレーニングされたMeenascores（マルチターン評価で72％）であるという事実は、パープレキシティをより適切に最適化できる場合、86％の人間レベルのSSAが潜在的に到達可能であることを示唆しています。 Meena（フィルタリングメカニズムとtuneddecodingを使用）のスコアは79％SSAで、次に評価したスコアリングチャットボットよりも23％高くなりました。

この論文の概要（機械翻訳による和訳）
高品質の機械翻訳（MT）システムの構築、および他の多言語NLPアプリケーションには、並列テキストが必要です。多くの南アジア言語では、そのようなデータは不足しています。この論文では、インドの13の主要言語と英語を組み合わせた平行文で構成される、新たに公開されたコーパス（PMIndia）について説明しました。コーパスには、言語ペアごとに最大56000文が含まれています。 2つの異なる自動文アライメント方法の評価を含むコーパスの構築方法を説明し、コーパスに関するいくつかの初期NMT結果を示します。

この論文の概要（機械翻訳による和訳）
ますます、公共政策、ガバナンス、およびビジネス戦略の重要な決定は、構成員（市民、株主など）のニーズと意見をより深く理解することに依存しています。トピックに関する多数の意見を収集することが容易になりましたが、意見の空間をナビゲートするのを支援する自動化ツールの必要性があります。このような状況では、意見の類似性を理解し、定量化することが重要です。テキストの類似性または全体的な感情のみに基づいた測定では、意見間の距離を効果的に把握できないことがよくあります。したがって、微妙な観察を活用する意見間の類似性をキャプチャするための新しい距離尺度を提案します。類似した意見は、特定の関連するエンティティに類似した感情極性を表しています。具体的には、監視なしの設定では、距離測定により、既存のアプローチに比べて調整されたランドインデックススコア（最大56倍）とシルエット係数（最大21倍）が大幅に向上します。同様に、教師あり設定では、テキストの類似性、スタンス類似性、およびセンチメント類似性に依存する既存のアプローチと比較して、私たちの意見の距離測定はかなり優れた精度（最大20％増加）を達成します

この論文の概要（機械翻訳による和訳）
POLARを導入します。これは、意味の差異を採用することで、事前に訓練された単語の埋め込みに解釈可能性を追加するフレームワークです。セマンティックディファレンシャルは、2つの極の正反対のスケール（コールド-ホット、ソフト-ハード）でスケールでその位置を分析することにより、ワードのセマンティクスを測定するための心理測定構成です。私たちのアプローチの核となる考え方は、既存の事前学習済みの単語埋め込みを、セマンティック差分を介して、そのような極の対極によって定義される解釈可能な次元を持つ新しい「極」空間に変換することです。オラクル、すなわち外部ソースによって。さまざまなダウンストリームタスクにフレームワークを展開することにより、フレームワークの有効性を実証します。このタスクでは、解釈可能な単語の埋め込みにより、元の単語の埋め込みに匹敵するパフォーマンスが得られます。また、フレームワークによって選択された解釈可能な次元が人間の判断と一致することを示します。一緒に、これらの結果は、パフォーマンスを損なうことなく、語の埋め込みに解釈可能性を追加できることを示しています。私たちの仕事は、事前に訓練された単語埋め込みの解釈に興味のある研究者やエンジニアに関連しています。

この論文の概要（機械翻訳による和訳）
学習管理システム（LMS）と教育データマイニング（EDM）は、オンライン教育環境の2つの重要な部分であり、前者は学習コンテンツを管理し、学習活動を整理する集中型のWebベースの情報システム（Stone and Zheng、2014）であり、後者は生成されたデータの分析にデータマイニング手法を使用します。この作業の一環として、EDMの3つの主要なタスクに関する文献レビュー（セクション2を参照）、欠点と既存の未解決の問題の特定、およびブルメンフィールドチャート（セクション3を参照） ）。そのように使用されているペーパーとリソースの統合セットは、https：//github.com/manikandan-ravikiran/cs6460-Surveyで公開されています。調査のカバレッジ統計とレビューマトリックスは、それぞれ図1と表1に示すとおりです。頭字語の拡張は、付録セクション4.1に追加されます。

この論文の概要（機械翻訳による和訳）
Time-DepthSeparable（TDS）コンボリューションとConnectionist Temporal Classification（CTC）に基づいたオンラインのエンドツーエンド音声認識システムを設計します。将来のコンテキストを制限するためにコアTDSアーキテクチャを改善し、精度を維持しながらレイテンシを削減します。このシステムは、適切に調整されたハイブリッドASRベースラインのほぼ3倍のスループットを持ち、レイテンシーが低く、ワードエラー率が優れています。認識装置の効率にとっても重要なのは、高度に最適化されたビーム検索デコーダです。設計の選択の影響を示すために、スループット、レイテンシ、精度を分析し、ユーザーの要件に基づいてこれらのメトリックを調整する方法について説明します。

この論文の概要（機械翻訳による和訳）
Machine Reading Comprehension（MRC）は、与えられた文章に基づいて質問に対する正しい答えを判断するためにmachineを必要とするAIの課題です。 MRCsystemsは、必要に応じて質問に答えるだけでなく、与えられたパッセージに従って回答が得られない場合も区別し、回答を巧みに避けなければなりません。 MRCタスクに答えられない質問が含まれる場合、エンコーダーに加えてベリファイアと呼ばれる重要な検証モジュールが特に必要になりますが、MRCモデリングの最新のプラクティスは、「読み「。このホワイトペーパーでは、MRCタスクのより良い検証器の設計を、答えられない質問とともに探求しています。人間が読解の質問をどのように解決するかに触発されて、私たちは2段階の読解と検証戦略を統合したレトロスペクティブリーダー（レトロリーダー）を提案しました： 2）答えを検証し、最終的な予測を与える集中的な読書。提案された読者は、2つのベンチマークMRCチャレンジデータセットSQuAD2.0とNewsQAで評価され、新しい最先端の結果を達成します。有意性テストは、このモデルが強力なALBERTベースラインよりも大幅に優れていることを示しています。提案された読者の有効性を解釈するために、一連の分析も行われます。