自然言語処理分野論文まとめ【2020年01月30日arXiv公開】

この論文の概要（機械翻訳による和訳）
最近のグラフからテキストへのモデルは、ノード表現を学習するためにグローバルまたはローカル集約を使用して、グラフベースのデータからテキストを生成します。グローバルノードエンコーディングにより、2つの離れたノード間の明示的な通信が可能になり、すべてのノードが接続されているため、グラフトポロジが無視されます。対照的に、ローカルノードエンコーディングは、グラフ構造をキャプチャする直接接続されたノード間の関係を考慮しますが、長距離関係のキャプチャに失敗する可能性があります。この作業では、両方のエンコード戦略のベストを集め、グローバルおよびローカルの両方のノードコンテキストを組み合わせた入力グラフをエンコードする新しいモデルを提案します。私たちのアプローチは、テキスト生成のためのより良いコンテキスト化されたノード埋め込みを学習することができます。私たちの実験では、モデルがKGからテキストへの生成を大幅に改善し、AGENDAdatasetで17.81のBLEUスコアを達成し、見られたカテゴリのWebNLGデータセットで63.10を達成し、最新技術をそれぞれ3.51および2.51ポイント上回ることを実証しました。

この論文の概要（機械翻訳による和訳）
Abstract MeaningRepresentation（AMR）グラフを比較するために、さまざまなメトリックが提案されています。正規のSmatchメトリック（Cai and Knight、2013）は、あるグラフから別のグラフに変数を並べて、一致するトリプルを比較します。最近リリースされたSemBleuメトリック（Song and Gildea、2019）は、機械翻訳メトリックBleu（Papineni et al。、 2002）、可変アライメントのステップを除去し、よりグローバルなグラフプロパティの取得を目指して計算効率を向上させます。私たちの目的は3つあります。 ii）SmatchとSemBleuの徹底的な分析を行い、後者がいくつかの望ましくない特性を示すことを示します。例えば、それは識別不能ルールのアイデンティティに違反し、制御が難しいバイアスを導入します; iii）非常にわずかな意味の逸脱のみにより慈善的であり、すべての確立された基準の達成を目標とする新しいメトリックS2matchを提案します。その適合性を評価し、SmatchおよびSemBleuに対する利点を示します。

この論文の概要（機械翻訳による和訳）
マイクロブログでの本物の主張と偽の主張に対するコミュニティの反応を区別することを学ぶことで、噂の検出に対処します。既存の最新モデルは、会話型ツリーをモデル化するツリーモデルに基づいています。ただし、ソーシャルメディアでは、返信を投稿するユーザーは特定のユーザーではなくスレッド全体に返信する場合があります。トランスフォーマーネットワークのマルチヘッドアテンションメカニズムとツイート間の長距離相互作用をモデル化するために、ポストレベルアテンションモデル（PLAN）を提案します。このモデルのバリエーションを調査しました：（1）変圧器ネットワークにツリー構造情報を組み込む構造認識自己注意モデル（StA-PLAN）、および（2）階層トークンおよび事後レベル注意モデル（StA-HiTPLAN）トークンレベルの自己注意を伴う文表現。私たちの知る限り、私たちは2つの噂検出データセット（PHEMEデータセット、Twitter15およびTwitter16データセット）でモデルを評価した最初の人です。私たちの最高のモデルは、両方のデータセットの現在の最先端モデルよりも優れていることを示しています。さらに、アテンションメカニズムにより、トークンレベルとポストレベルの両方で噂検出の予測を説明できます。

この論文の概要（機械翻訳による和訳）
注意ベースのエンコーダ/デコーダニューラルネットワークモデルは、目標指向の対話システムで有望な結果を最近示しています。ただし、これらのモデルは、エンドツーエンドのテキスト生成機能を維持しながら、状態を完全に把握し、それを組み込むことに苦労しています。このようなモデルはユーザーの意図とナレッジグラフの統合から大きなメリットを得ることができるため、本書では、入力としてナレッジグラフとコーパスの共同埋め込みでトレーニングされるRNNベースのエンドツーエンドエンコーダーデコーダーアーキテクチャを提案します。このモデルは、誤ったエンティティを出力として生成することをペナルティ化するための追加の正規化手法とともにマルチタスク学習パラダイムでトレーニングされた、テキスト生成とユーザー意図の追加統合を提供します。このモデルは、推論中にナレッジグラフエンティティルックアップをさらに組み込み、生成された出力が、提供されたローカルナレッジグラフに基づいてステートフルであることを保証します。最終的にBLEUスコアを使用してモデルを評価し、経験的評価は、提案されたアーキテクチャがタスク指向の対話システムのパフォーマンスの向上に役立つことを示しています。

この論文の概要（機械翻訳による和訳）
近年、NLPの研究により、DNNモデルによる記録的な精度の向上が見られました。ただし、電力消費は、NLPシステムを展開するための実用的な懸念事項の1つです。現在の最新のアルゴリズムのほとんどはGPUに実装されていますが、これは電力効率が悪く、展開コストも非常に高くなります。一方、CNN Domain SpecificAccelerator（CNN-DSA）は大量生産されており、低電力および低コストの計算能力を提供しています。このペーパーでは、CNN-DSAでスーパーキャラクターズメソッドを実装します。さらに、スーパーキャラクターメソッドを変更して、マルチモーダルデータ、つまりCL-Affsharedtaskのテキストと表形式のデータを利用します。

この論文の概要（機械翻訳による和訳）
関連する一連のフレーズから「XをYと見なす」などのテンプレートを抽出するには、その内部構造を識別する必要があります。このペーパーでは、シーケンスバイナリ決定ダイアグラム（SeqBDD）の新しいリラックスしたバリアントを使用して、タグ付きテキストからオンザフライでテンプレートを抽出するための教師なしアプローチを紹介します。 SeqBDDは、一連のシーケンスを最小DFAと同等のグラフィカル構造に圧縮できますが、よりコンパクトで、テンプレート抽出のタスクにより適しています。この論文の主な貢献は、少量のデータから一般的な表現を形成できるようにするSeqBDD構築アルゴリズムの緩い形式です。 Relaxed SeqBDD構築中のテキスト内の共有構造の圧縮プロセスは、抽出したいテンプレートを自然に誘導します。実験により、このメソッドはコーパスからの動詞+前置詞テンプレートとソーシャルメディアからのショートメッセージからの句節テンプレートに基づくタスクで高品質の抽出が可能であることが示されています。

この論文の概要（機械翻訳による和訳）
感情を持たない短くてシンプルなテキストは、その文脈とともに読むときに強い感情を表すことができます。つまり、同じ文はその文脈に応じて、極端な怒りと幸福を表現できます。この論文では、文中の単語の相互依存性を学習すると同時に、対話中の文の相互依存性を学習する文脈的影響検出（CAD）フレームワークを提案します。提案されているCADフレームワークは、Gated Recurrent Unit（GRU）に基づいています。GRUは、コンテキストワードの埋め込みやその他の多様な手作りの機能セットによってさらに支援されます。評価と分析により、このモデルはFriendsデータセットとEmotionPushデータセットでそれぞれ最新の方法よりも5.49％と9.14％優れていることが示唆されています。

この論文の概要（機械翻訳による和訳）
ワールドビルディングは、ナラティブインテリジェンスを必要とするあらゆるタスクの基盤を形成します。この作品では、自然言語を使用してプレイヤーが「見る」「話す」テキストベースの世界、つまりインタラクティブなフィクションの世界を手続き的に生成することに焦点を当てています。これらの世界を生成するには、意味的に一貫性があり、興味深く、一貫性があることに加えて、日常的かつテーマ的な常識的な優先順位を参照する必要があります。インスピレーションとして既存のストーリープロットを使用して、位置やオブジェクトなどの世界構造に関する基本情報をエンコードする部分的な知識のグラフを最初に抽出する方法を提示します。この知識グラフは、テーマ知識を利用して自動的に完成し、他の世界を一新する神経言語生成モデルを導くために使用されます。人間の参加者ベースの評価を実行し、認知モデルを抽出して入力するニューラルモデルの能力をテストし、ルールベースおよび人間が作成したベースラインに対して条件付けられた言語を生成します。コードは、https：//github.com/rajammanabrolu/WorldGenerationで入手できます。