自然言語処理分野論文まとめ【2020年01月31日arXiv公開】

この論文の概要（機械翻訳による和訳）
ビッグデータの力を活用することは、ブランドマネージャーが消費者の認識のパターンと傾向を明らかにし、ブランドと望ましいトピックとの肯定的または否定的な関連性を監視する機会を表します。このペーパーでは、ブランドの重要性を評価し、（大きな）テキストデータの分析を通じてブランド分析を提供するように設計されたSBSブランドインテリジェンスアプリ（SBS BI）の機能について説明します。 SBS BIの機能をより適切に説明するために、2020年米国民主党大統領予備選挙に焦点を当てたケーススタディを紹介します。 EventRegistryデータベースから50,000のオンライン記事をダウンロードしました。これには、世界中から収集された主流とブログの両方のニュースが含まれています。これらのオンラインニュース記事は、共起する単語のネットワークに変換され、ソーシャルネットワーク分析とテキストマイニングの方法とツールを組み合わせて分析されました。

この論文の概要（機械翻訳による和訳）
Amazon Alexa、Apple Siri、Google Assistantなどの仮想アシスタントは、多くの場合、セマンティック解析コンポーネントに依存して、ユーザーが話した発話に対して実行するアクションを理解します。従来、ルールベースの統計的スロット充填システムは「単純な」クエリの解析に使用されてきました。つまり、単一のアクションを含み、重複しないエンティティのセットに分解できるクエリ。最近では、より複雑な発話を処理するためにシフト削減パーサーが提案されています。これらのメソッドは強力ですが、解析できるクエリのタイプに特定の制限を課します。つまり、クエリを解析ツリーとして表現できる必要があります。この作業では、Sequence to SequencemodelsおよびPointer Generator Networkに基づいて、単純なクエリと複雑なクエリの両方を処理する統合アーキテクチャを提案します。さらに、実験により、3つの公開データセット（ATIS、SNIPS、FacebookTOP）で最先端のパフォーマンスを達成し、以前のシステムよりも完全一致の精度が3.3％から7.7％向上していることが示されています。最後に、2つの内部データセットに対するアプローチの有効性を示します。

この論文の概要（機械翻訳による和訳）
NLPタスクと言語の種類のほとんどの組み合わせには、注釈付きデータが不足しているため、教師ありトレーニングのドメイン内の例がありません。カニューレモデルは、利用可能なデータとタスク言語の組み合わせからリソースの少ないものへのサンプル効率の一般化をどのように行いますか？この作業では、神経パラメータの空間のベイズ生成モデルを提案します。このスペースは、各言語および各タスクの潜在変数に因数分解できると想定しています。変分推論による、見られたタスクと言語の組み合わせからのデータに基づいて、このような潜在変数よりも後を推測します。これにより、予測時に見えない組み合わせのゼロショット分類が可能になります。たとえば、ベトナム語の名前付きエンティティ認識（NER）およびWolofの品詞（POS）タグ付けのトレーニングデータが与えられた場合、モデルはWolofのNERの正確な予測を実行できます。特に、4つの大陸と11の家族からの33の言語の類型学的に多様なサンプルで実験し、最新のゼロショットクロスリンガル転送方法と同等以上の結果が得られることを示します。最も強力なベースラインと比較して、平均でPOStaggingで4.49ポイント、NERで7.73ポイントパフォーマンスが向上します。

この論文の概要（機械翻訳による和訳）
アスペクトベースのセンチメント分析（ABSA）は、センチメントとそのターゲットの抽出を扱います。ニューラルネットワークの一般化を支援するために、このタスクのラベル付きデータを収集するのは面倒で時間がかかる場合があります。別の方法として、実世界の例と同様のデータを、埋め込みスペースで実行される敵対プロセスを通じて人工的に生成することができます。これらの例は実際の文ではありませんが、ニューラルネットワークをより堅牢にする正則化方法として機能することが示されています。この作業では、Goodfellow et alによって提唱された敵対的トレーニングを適用します。 （2014）、Xu et al。によって提案されたトレーニング後のBERT（BERT-PT）言語モデル（2019）感情分析におけるアスペクト抽出およびアスペクト感情分類の2つの主要なタスクについて。アブレーション研究により訓練後のBERTの結果を改善した後、ABSAで敵対訓練を利用するためのBERT敵対訓練（BAT）と呼ばれる新しいアーキテクチャを提案します。提案されたモデルは、両方のタスクでトレーニング後のBERTよりも優れています。私たちの知る限り、これはABSAにおける敵対的訓練の適用に関する最初の研究です。

この論文の概要（機械翻訳による和訳）
この論文では、ロシア語の言語、つまり、エヴェンキ語、カレリア語、セルクップ語、およびVepsの形態学的分析に関する最初の共有タスクの結果について説明します。問題の言語では、小さなコーパスのみが利用可能です。タスクには、形態素解析、単語形式生成、形態素セグメンテーションが含まれます。 4つのチームが共有タスクに参加しました。それらのほとんどは、機械学習アプローチを使用しており、既存のルールベースのアプローチよりも優れています。この記事では、共有タスク用に準備されたデータセットについて説明し、参加者のソリューションの分析を記載しています。さまざまな形式の言語コーパスがCONLL-U形式に変換されました。ユニバーサル形式により、データセットは他の言語コーパスに匹敵し、他のNLPタスクでの使用が容易になります。

この論文の概要（機械翻訳による和訳）
データ抽出方法に関するこの研究は、自然言語処理の最近の進歩を医療テキストに基づく証拠合成に適用します。関心のあるテキストには、英語および多言語コンテキストの臨床試験の要約が含まれます。主な焦点は、人口、介入、比較、および結果（PICO）フレームワークで特徴付けられる情報ですが、データ抽出はこれらのフィールドに限定されません。トランスフォーマーに基づく最近のニューラルネットワークアーキテクチャは、文脈学習された単語の埋め込みと自己注意メカニズムのこのアーキテクチャの使用によってもたらされた、転送学習の能力と、普遍的な読解などの下流の自然言語処理タスクのパフォーマンスの向上を示しています。この論文は、PICO文予測タスクのあいまいさに関する問題の解決に貢献するとともに、名前付きエンティティ認識システムをトレーニングするための注釈を使用して、高性能であるにもかかわらず、体系的なレビュー自動化での質問応答のための柔軟なアーキテクチャをトレーニングする方法を強調します。 PICOエンティティ抽出のためのトレーニングアノテーションの量が不十分であるという問題は、拡張によって対処されます。このペーパーのすべてのモデルは、システマティックレビュー（半）自動化をサポートすることを目的として作成されました。彼らは高いF1スコアを達成し、生物医学文献のデータマイニングをサポートするためにトランスベースの分類方法を適用する可能性を示しています。

この論文の概要（機械翻訳による和訳）
コードミキシング（またはコードスイッチング）は、言語的に多様なユーザーベースによって生成されるソーシャルメディアコンテンツで見られる一般的な現象です。調査によると、インドの亜大陸では、ソーシャルメディア投稿のかなりの部分がコードの切り替えを示しています。コード混合ドキュメントがさらに下流の分析にもたらす困難は十分に理解されていますが、特定のシナリオでの混合ドキュメントのコーディングに対する貸出の可視性は、以前は見過ごされていた有用性を持っています。たとえば、複数の言語が混在して書かれたドキュメントは、より多くの視聴者が部分的にアクセスできる可能性があります。これは、視聴者のかなりの部分がコンポーネント言語の1つで流さを欠いている場合に特に便利です。このホワイトペーパーでは、最小限の監視を必要とするポリグロット埋め込みベースの方法を活用して、サンプルコード混合ドキュメントへの非体系的なアプローチを提供します。プルワマのテロ攻撃によって引き起こされた2019年のインドとパキスタンの紛争の文脈において、人間の幸福のためにコードミキシングを活用する未開拓の可能性を実証します：英語文書のみで訓練された既存の敵意から拡散する文書は、リソースは少ないが広く使用されている言語で書かれた emph {hope speech}コンテンツを取得するためのブリッジとして利用されます-ローマ字ヒンディー語。提案されたパイプラインは最小限の監督を必要とし、ウェブモデレーションの労力を大幅に削減する見込みがあります。

この論文の概要（機械翻訳による和訳）
この記事では、暫定的にダイアグラムモードと呼ばれるものの説明をスケッチすることにより、ダイアグラム表示へのマルチモーダルパースペクティブを提案します。現代のマルチモダリティ理論に照らして図式表現を検討し、図式表現が自然言語、さまざまな形式のグラフィックス、矢印、線などの表現要素を一貫した組織に統合することを可能にするものを説明します。 2つの最近の図コーパスを使用して提案されたアプローチを説明し、特に図の構成要素を特定し、それらの相互関係を説明する際に、マルチモーダルアプローチが図表現の実証分析をサポートする方法を示します。

この論文の概要（機械翻訳による和訳）
言語間適応における最近の研究のほとんどは、異なる言語での語順の差異を考慮していません。ソース言語の語順に適合するクロスリンガルモデルは、語順が異なるターゲット言語の処理に失敗する可能性があると仮定します。推測をテストするために、クロスリンガルシーケンスラベリングタスクの順序に依存しないモデルを構築します。このモデルは入力シーケンスの語順情報をエンコードせず、各トークンの予測はシーケンス全体の注意に基づいています。対話自然言語理解、品詞タグ付け、および名前付きエンティティ認識タスクに関する実験結果は、語順情報を取り除くことにより、ベースラインモデルよりも優れたゼロショットのクロスリンガルパフォーマンスを実現できます。

この論文の概要（機械翻訳による和訳）
クロスリンガルNLPタスクのパフォーマンスは、手元の言語の（非）類似性の影響を受けます。たとえば、以前の研究では、バイリンガルレキシコン誘導（BLI）の期待される成功とモノリンガル埋め込みスペース間の（近似）同型性の推定との間に関連があることが示唆されていますこの作業では、言語の類似性とタスクのパフォーマンスの相関関係に焦点を当てた大規模な研究を提示し、数千の言語ペアと4つの異なるタスク（BLI、機械翻訳、解析、およびPOSタグ付け）を対象としています。 2つの単一言語空間間の同型度を定量化する、新しい言語距離尺度EigenvalueDivergence（EVD）を提案します。 1）埋め込みベースのEVD距離から導出された言語類似性スコアは、異なる言語間タスクで観察されるパフォーマンスと強く関連していること、2）EVDは、他の標準的な埋め込みベースの言語距離測定よりも優れており、同時に計算的に扱いやすく、最後に、EVDは、類型的に駆動される言語距離測定を補完する情報をキャプチャすることを実証します。これらの組み合わせにより、すべての言語を横断するタスクのパフォーマンスレベルとさらに高い相関が得られることが報告されています。

この論文の概要（機械翻訳による和訳）
教師なし音声表現学習は、音声構造と相関し、下流の音声認識パフォーマンスを改善する表現の発見で顕著な成功を示しています。ただし、ほとんどの研究は、読解英語の音声認識システム（Wall StreetJournalやLibriSpeechなど）のパフォーマンスを向上させる能力の観点から表現を評価することに焦点を当てています。この評価方法論では、音声表現が持つべき2つの重要な要件を見落としています。ドメインシフトに対する堅牢性と他の言語への転送可能性です。このペーパーでは、最大8000時間の多様でノイズの多い音声データから表現を学習し、ドメインシフトに対するロバスト性と、多くの言語での認識パフォーマンスを向上させる能力を調べて、表現を評価します。私たちの表現は、結果として得られる認識システムに大幅な堅牢性の利点をもたらすことがわかりました。ベースライン機能セットと比較して、ドメイン外転送の大幅な改善が見られ、これらの機能は、調性言語や低リソース言語を含む25の音声的に多様な言語で同様に改善を提供します。

この論文の概要（機械翻訳による和訳）
大量の並列テキストが自由に使える場合のために、ニューラルネットワークに基づいた複数の言語間転送学習アプローチが提案されています。ただし、実際の多くの設定では、並列注釈付きトレーニングデータのサイズは制限されています。さらに、以前の言語横断マッピングの研究は、主に単語レベルに焦点を合わせてきました。これは、そのような技術が言語を越えて整列された文表現を簡単に取得するためにも適用できるかどうかという問題を提起する。この目的のために、限られた量の並列データからクロスリンガル文表現のマッピングを学習する敵対的双方向文埋め込みマッピング（ABSent）フレームワークを提案します。

この論文の概要（機械翻訳による和訳）
最近のグラフからテキストへのモデルは、ノード表現を学習するためにグローバルまたはローカル集約を使用して、グラフベースのデータからテキストを生成します。グローバルノードエンコーディングにより、2つの離れたノード間の明示的な通信が可能になり、すべてのノードが接続されているため、グラフトポロジが無視されます。対照的に、ローカルノードエンコーディングは、グラフ構造をキャプチャする直接接続されたノード間の関係を考慮しますが、長距離関係のキャプチャに失敗する可能性があります。この作業では、両方のエンコード戦略のベストを集め、グローバルおよびローカルの両方のノードコンテキストを組み合わせた入力グラフをエンコードする新しいモデルを提案します。私たちのアプローチは、テキスト生成のためのより良いコンテキスト化されたノード埋め込みを学習することができます。私たちの実験では、モデルがKGからテキストへの生成を大幅に改善し、AGENDAdatasetで17.81のBLEUスコアを達成し、見られたカテゴリのWebNLGデータセットで63.10を達成し、最新技術をそれぞれ3.51および2.51ポイント上回ることを実証しました。

この論文の概要（機械翻訳による和訳）
Abstract MeaningRepresentation（AMR）グラフを比較するために、さまざまなメトリックが提案されています。正規のSmatchメトリック（Cai and Knight、2013）は、あるグラフから別のグラフに変数を並べて、一致するトリプルを比較します。最近リリースされたSemBleuメトリック（Song and Gildea、2019）は、機械翻訳メトリックBleu（Papineni et al。、 2002）、可変アライメントのステップを除去し、よりグローバルなグラフプロパティの取得を目指して計算効率を向上させます。私たちの目的は3つあります。 ii）SmatchとSemBleuの徹底的な分析を行い、後者がいくつかの望ましくない特性を示すことを示します。例えば、それは識別不能ルールのアイデンティティに違反し、制御が難しいバイアスを導入します; iii）非常にわずかな意味の逸脱のみにより慈善的であり、すべての確立された基準の達成を目標とする新しいメトリックS2matchを提案します。その適合性を評価し、SmatchおよびSemBleuに対する利点を示します。

この論文の概要（機械翻訳による和訳）
マイクロブログでの本物の主張と偽の主張に対するコミュニティの反応を区別することを学ぶことで、噂の検出に対処します。既存の最新モデルは、会話型ツリーをモデル化するツリーモデルに基づいています。ただし、ソーシャルメディアでは、返信を投稿するユーザーは特定のユーザーではなくスレッド全体に返信する場合があります。トランスフォーマーネットワークのマルチヘッドアテンションメカニズムとツイート間の長距離相互作用をモデル化するために、ポストレベルアテンションモデル（PLAN）を提案します。このモデルのバリエーションを調査しました：（1）変圧器ネットワークにツリー構造情報を組み込む構造認識自己注意モデル（StA-PLAN）、および（2）階層トークンおよび事後レベル注意モデル（StA-HiTPLAN）トークンレベルの自己注意を伴う文表現。私たちの知る限り、私たちは2つの噂検出データセット（PHEMEデータセット、Twitter15およびTwitter16データセット）でモデルを評価した最初の人です。私たちの最高のモデルは、両方のデータセットの現在の最先端モデルよりも優れていることを示しています。さらに、アテンションメカニズムにより、トークンレベルとポストレベルの両方で噂検出の予測を説明できます。