自然言語処理分野論文まとめ【2020年02月07日arXiv公開】

この論文の概要（機械翻訳による和訳）
この論文では、最初の多言語（フランス語、英語、アラビア語）および多文化（インドヨーロッパ言語対文化的に近い言語ではない）皮肉な検出システムを提案します。単一言語の単語表現を使用して、機能ベースのモデルとニューラルアーキテクチャの両方を採用しています。これらのシステムのパフォーマンスを最新のシステムと比較して、その機能を特定します。多言語の単語表現またはテキストベースの機能を使用して異なる言語で個別にトレーニングされたこれらの単一言語モデルは、アイロニーの注釈付きデータ。

この論文の概要（機械翻訳による和訳）
ナレッジグラフを介したクエリ応答のためのロジックベースのシステムは、グラフで明示的に表された情報に依存する応答のみを返します。リコールを改善するために、最近の研究では、欠落しているリンクやラベルなどの追加情報を予測するための埋め込みの使用が提案されています。これらの埋め込みにより、グラフの構造に完全に依存することなく、グラフのエンティティをクエリの回答として採点できます。最も単純な場合、このような設定でクエリに応答するには、2つのエンティティ間のリンクを予測する必要があります。ただし、linkpredictionは、複数のエンティティと変数を含む複雑なクエリに対処するには不十分です。このタスクを解決するために、ノードが変数とエンティティに対応するクエリのグラフ表現にメッセージ受け渡しメカニズムを適用することを提案します。これにより、クエリの埋め込みが行われ、応答するエンティティが埋め込みスペース内でそれに近くなります。メソッドの一般的な定式化により、以前の作業と比較して、より多様なクエリタイプのセットをエンコードできます。トレーニング中に見られないエッジに依存するクエリに回答することでメソッドを評価し、競争力のあるパフォーマンスを得ます。以前の研究とは対照的に、我々の方法は、シングルホップのリンク予測タスクのトレーニングから、より複雑な構造を持つアンサーリングクエリまで一般化できることを示しています。定性分析は、学習した埋め込みがさまざまなエンティティタイプの概念をうまく捕捉していることを明らかにしています。

この論文の概要（機械翻訳による和訳）
ソーシャルメディアプラットフォームでは、毎日何百万ものオンラインディスカッションが生成されています。トピックモデリングは、大規模な大規模なデータセットをよりよく理解するための効率的な方法です。従来のトピックモデルでは、オンラインディスカッションの成功が制限されていました。その制限を克服するために、ディスカッションスレッドツリー構造を使用して、「ポピュラリティ」メトリックを提案し、コメントに対する返信数を定量化して、単語の出現頻度と「推移性」を拡張しますネストされたディスカッションスレッドのノード間のトピック依存関係を特徴付ける概念。人気と推移性に基づいた会話構造認識トピックモデル（CSATM）を構築して、トピックとコメントへの割り当てを推測します。実際のフォーラムデータセットでの実験を使用して、トピック割り当ての一貫性と印象的な精度の6つの異なる測定値を使用して、トピック抽出のパフォーマンスの向上を実証しました。

この論文の概要（機械翻訳による和訳）
セマンティックノイズは、ドメイン固有の業界のテキスト分析アクティビティに大きく影響します。それは、重要な意思決定作業において最重要を保持するテキストの理解を妨げます。この作業では、セマンティックノイズをテキストの物語に寄与しない一連の用語として形式化します。標準的な統計ベースのストップワードの概念を超えて、セマンティックノイズを排除するために用語のセマンティクスを検討します。メタデータをカテゴリカルコーパステキストに関連付け、そのほぼ損失のない性質を示すための新しい意味論的注入手法を提示します。この手法に基づいて、用語のコンテキストを使用してセマンティックノイズをフィルタリングするための教師なしテキスト前処理フレームワークを提案します。後で、automobile-domainのWebフォーラムデータセットを使用して、提案されたフレームワークの評価結果を示します。

この論文の概要（機械翻訳による和訳）
この論文では、チェコの頂点裁判所（最高裁判所、最高行政裁判所、憲法裁判所）の引用データを紹介します。このデータセットは、チェコの裁判所判決のテキストのコーパス-CzCDC 1.0から自動的に抽出されました。裁判所の決定識別子を抽出するための自然言語処理パイプラインを構築することにより、引用データを取得しました。パイプラインには、（i）ドキュメントセグメンテーションモデルと（ii）参照認識モデルが含まれていました。さらに、後続の定性的および定量的分析のベースとして高品質の引用データを実現するために、データセットを手動で処理しました。データセットは一般に公開されます。

この論文の概要（機械翻訳による和訳）
感情の極性を「ポジティブ」および「ネガティブ」として表現することは、通常、極性の強度/程度と比較して範囲が限られています。これらの2つのタスク（つまり、センチメント分類とセンチメント強度予測）は密接に関連しており、学習プロセス中に互いに支援を提供する場合があります。この論文では、マルチタスク学習フレームワークで複数タスクの関連性を活用することを提案します。当社のマルチタスクモデルは、多様な手作りの機能セットによってさらに支援される畳み込みゲートリカレントユニット（GRU）フレームワークに基づいています。評価と分析により、マルチタスクフレームワークの関連タスクの共同学習は、シングルタスクフレームワークの個々のタスクよりも優れていることが示唆されています。

この論文の概要（機械翻訳による和訳）
構造化されていないペルソナ指向の対話システム（UPDS）は、事前定義された自然言語ユーザーのペルソナの説明（例：「私はビーガンです」）を利用することで、ペルソナの一貫した応答を生成するのに効果的であることが実証されています。ただし、事前に定義されたユーザーのペルソナの説明は通常短く、いくつかの説明的な単語のみに制限されているため、それらをダイアログと関連付けることは困難です。その結果、既存の方法では、ペルソナの一貫した応答を生成するときに、ペルソナリデーションを使用できないか、不適切に使用します。これに対処するために、神経局所拡張フレームワーク、すなわちペルソナ探査とエクスプロイト（PEE）を提案します。 PEEは、ペルソナ探査とペルソナエクスプロイトという2つの主要モジュールで構成されています。前者は、変分オートエンコーダ（VAE）ベースのトピックモデルを使用して、既存の対話コーパスをマイニングおよび相関させることにより、事前定義されたユーザーのペルソナ記述を拡張することを学習します。後者は、事前定義および拡張されたユーザーペルソナ記述を利用して、ペルソナの一貫した応答を生成することを学習します。ペルソナ搾取にユーザーのペルソナ記述をより適切に活用することを学習させるために、ペルソナ指向の損失関数を紹介します。エンコーダーおよびデコーダーでのペルソナ選択。実験結果は、自動評価と人間評価の両方の観点から、当社のアプローチが最先端のベースラインより優れていることを示しています。

この論文の概要（機械翻訳による和訳）
音響単語埋め込みは、可変長音声セグメントの固定次元表現です。ラベルなしスピーチが唯一の利用可能なリソースである設定では、そのような埋め込みは「ゼロリソース」スピーチ検索、インデックス付け、および発見システムで使用できます。ここでは、複数の適切にリソース化された言語からのラベル付きデータで単一の教師付き埋め込みモデルをトレーニングし、それを目に見えないゼロリソース言語に適用することを提案します。この転送学習アプローチでは、2つの多言語リカレントニューラルネットワークモデルを検討します。すべてのトレーニング言語のジョイントボキャブラリーでトレーニングされた判別分類器と、単語ペアを再構築するためにトレーニングされた通信オートエンコーダです。これらを、6つのターゲットのゼロリソース言語で単語弁別タスクを使用してテストします。リソースの豊富な7つの言語でトレーニングされた場合、両方のモデルは同様に機能し、リソースゼロの言語でトレーニングされた教師なしモデルよりも優れています。トレーニング言語が1つだけの場合、2番目のモデルはより適切に機能しますが、パフォーマンスは特定のトレーニングとテスト言語のペアにより依存します。

この論文の概要（機械翻訳による和訳）
ユーザーは膨大な情報に圧倒される可能性があるため、オンラインメディアソースと公開されたニュースの急速な普及により、ニュース記事に読者を引き付けるための見出しがますます重要になっています。このペーパーでは、ニュース記事の性質を保持し、同時に読者の目を引く、インスピレーションを得た見出しを生成します。インスピレーションを受けたヘッドライン生成のタスクは、特定のニュース記事から魅力的なヘッドラインを作成することに重点を置いた、特定の形式のヘッドライン生成（HG）タスクと見なすことができます。見出しの生成（PORL-HG）.PORL-HGは、1）記事から魅力的な文を選択するよう抽出者を導くための人気のあるTopicAttention（PTA）と、2）魅力的な文を書き換えるための抽象者を導くための人気の予測子。さらに、抽出器の文選択は微分不可能であるため、強化学習（RL）の手法を利用して、ギャップを人気スコア予測子から得られた報酬で埋めます。定量的および定性的実験を通じて、提案されたPORL-HGは、人間（71.03％）と予測者（少なくとも27.60％）の両方によって評価された魅力に関して、最新の見出し生成モデルよりも大幅に優れていることを示しています。 PORL-HGの最新版は、最先端の世代モデルにも匹敵します。

この論文の概要（機械翻訳による和訳）
米国での自動車購入の経験の大部分は、自動車販売店でのやり取りに関係しています。ディーラーでは、自動車の買い手が必要性を営業担当者に伝えます。ただし、ほとんどの自動車購入者は、必要な車両の簡単な説明しかありません。したがって、彼らは自分の理想の車を「車の話」でしか説明することができません。カースピークは、車の物理的属性に関係する抽象的な言語です。このホワイトペーパーでは、カースピークを定義します。また、自動車の言語の合理的なデータセットを管理することも目指しています。最後に、車の会話を分類するために、いくつかの分類器をトレーニングします。

この論文の概要（機械翻訳による和訳）
ユーモアなどの創造的なテキストのデータセットの構築は、非常に困難です。プレイヤーがニュースの見出しを編集して面白くし、他の人が編集した見出しの面白さを評価する競争力のあるゲーム、FunLinesを紹介します。 FunLinesは、ユーモア生成プロセスを楽しく、インタラクティブで、協力的で、やりがいのある、教育的なものにし、従来のクラウドソーシングアプローチと比較して非常に低コストでプレイヤーの関与を維持し、ユーモアデータを提供します。 、分析が示すように。これにより、生成されたデータセットの品質がさらに向上します。以前のベンチマークよりも優れたユーモア分類モデルをトレーニングすることにより、このデータの有効性を示し、このデータセットを公開します。

この論文の概要（機械翻訳による和訳）
言語モデルのトレーニングで事前トレーニング目標を微調整目標に明示的に揃えることにより、微調整タスクのパフォーマンスが大幅に向上し、必要な微調整の例の最小量が削減されることを実証します。客観的なアライメントから得られたパフォーマンスマージンにより、利用可能なトレーニングデータが少ないタスクのために、より小さなサイズの言語モデルを構築できます。関心のある概念のタグ付けおよび頭字語検出タスクに客観的な調整を適用することにより、これらの主張の経験的証拠を提供します。客観的なアライメントにより、768 x 3および512 x 3のトランスフォーマー言語モデルは、タスクごとにわずか200の微調整例を使用して、関心の概念のタグ付けで83.9％/ 82.5％、頭字語検出で73.8％/ 70.2％の精度に達することがわかりました768 x 3モデルは、+ 4.8％/ + 3.4％および+9.9％/ + 6.3％の客観的な調整なしで事前トレーニングされています。数百以下のトレーニング例が存在する場合の微調整用の小さな言語モデルに名前を付けます。実際には、客観的なアライメントによって有効化されるサンプル学習はほとんどなく、人間のラベリングコストを節約するだけでなく、よりリアルタイムのアプリケーションで言語モデルを活用することもできます。

この論文の概要（機械翻訳による和訳）
このペーパーでは、7年目のBioASQcompetitionへの2019年の提出について詳しく説明します。 Task-7b、フェーズB、Exact AnsweringTaskのアプローチを示します。これらの質問応答（QA）タスクには、Factoid、Yes / No、List TypeQuestion answeringが含まれます。私たちのシステムは、コンテキストワード埋め込みモデルに基づいており、BioBERTを使用して生物医学の質問応答タスク用に調整された、Transformers（BERT）ベースのシステムからの双方向エンコーダ表現を使用しました.3番目のテストバッチセットでは、システムが最高のMRRスコアを達成しましたforFactoid質問応答タスク。また、リスト型の質問応答タスクシステムでは、4番目のテストバッチセットで最高のリコールスコアを達成しました。詳細なアプローチとともに、提出物の結果を提示し、現在のアプローチで特定された欠点と、それらを改善する方法を強調します将来の実験。

この論文の概要（機械翻訳による和訳）
インタビューチャットボットは、テキストベースの会話でユーザーの関心を引き、意見や意見を引き出します。ただし、自由回答形式の質問に対するユーザーのフリーテキスト応答を処理し、魅力的なユーザーエクスペリエンスを提供できる効果的なインタビューチャットボットを構築することは困難です。最初のステップとして、公開されている実用的なAIテクノロジーを使用して効果的なインタビューチャットボットを構築することの実現可能性と有効性を調査しています。実現可能性を実証するために、アクティブリスニングスキルのサブセット（ユーザーの入力を把握して適切に応答する能力）を備えたインタビューチャットボットを有効にするプロトタイプを構築しました。プロトタイプの有効性を評価するために、206人のユーザーによるライブ評価で、4つの一般的なインタビュートピックについて、アクティブリスニングスキルの有無にかかわらず、インタビューチャットボットのパフォーマンスを比較しました。私たちの仕事は、効果的なインタビューチャットボット、ハイブリッドチャットボットプラットフォーム、およびインタビュータスクを超えた共感的なチャットボットを構築するための実用的な設計の意味を提示します。

この論文の概要（機械翻訳による和訳）
契約、ステートメント、ファイリングなどのビジネスドキュメントから重要なコンテンツ要素を自動的に抽出する技術には、ビジネス運用をより効率的にする可能性があります。この問題は、シーケンスのラベル付けタスクとして定式化でき、BERTの2種類のビジネス文書への適合性を示しています：規制申告と不動産リース契約。この問題には、「標準の」情報抽出タスクよりも簡単にする側面や、より困難にする他の側面がありますが、バランスの取れた注釈データ（100文書未満）が妥当な精度を達成するには十分であることがわかります。モデルをエンドツーエンドのクラウドプラットフォームに統合し、使いやすい注釈インターフェイスと、ユーザーがドキュメントをアップロードしてモデル出力を検査できる推論インターフェイスの両方を提供します。

この論文の概要（機械翻訳による和訳）
ソーシャルメディア投稿からの自動ロケーションタイプ分類の問題を紹介します。私たちの目標は、特定の場所を中心に小さな半径で投稿されたメッセージのセットを、学校、教会、レストラン、博物館などの対応する場所タイプと正しく関連付けることです。地理的に近接して投稿されたツイートに関連する場所のデータセットを提供します。この問題に対する2つのアプローチを検討します。（a）各メッセージが最初に分類され、次にメッセージセットに関連付けられた場所が個々のメッセージラベルから推測されるパイプラインアプローチ。 （b）個々のメッセージを同時に処理して、目的のロケーションタイプを生成する共同アプローチ。この結果は、共同アプローチの優位性を示しています。さらに、問題の独自の構造により、弱い関連メッセージが共同で処理されて単一の最終ラベルが生成されるため、より単純な線形分類器は、以前のテキスト分類タスク。

この論文の概要（機械翻訳による和訳）
計算言語学およびNLPで使用される最も複雑な構文表現の1つは、ドイツ語などの言語のすべての文法現象を表すために重要な不連続な構成ツリーです。依存関係解析の最近の進歩は、ポインタネットワークが文内の単語間の構文関係を非効率的に解析することに優れていることを示しています。この種のシーケンス間モデルは、非投影依存ツリーを構築する際に卓越した精度を実現しますが、その可能性は、より困難なタスクでまだ証明されていません。ポインターネットワークによって、品詞情報を必要とせずに、これまでで最も正確な不連続成分表現を生成できる新しいニューラルネットワークアーキテクチャを提案します。そのために、不連続な構成要素構造を拡張された非射影依存構造として内部的にモデル化します。提案されたアプローチは、広く使用されている2つのNEGRAおよびTIGERベンチマークで最新の結果を達成し、以前の作業を大幅に上回るパフォーマンスを実現しています。

この論文の概要（機械翻訳による和訳）
BERTやRoBERTaのような事前に訓練された大きなモデルに知識を注入する問題を研究します。既存の方法では、通常、知識を注入するときに事前トレーニングモデルの元のパラメーターが更新されます。しかし、複数の種類の知識が注入されると、それらは壊滅的な忘却の問題に苦しむ可能性があります。これに対処するために、Kアダプターを提案します。 RoBERTaを事前学習済みモデルとして使用すると、K-Adapterには、RoBERTaに接続されたプラグインなど、注入されたさまざまな種類の知識に対応したニューラルアダプターがあります。異なるアダプタ間で情報の流れはありません。したがって、異なるアダプタは分散された方法で効率的にトレーニングされます。 WikipediaとWikidataで自動的に調整されたテキストトリプレットから得られた事実知識と、依存関係解析から得られた言語知識を含む2種類の知識を注入します。関係分類、エンティティタイピング、質問回答を含む3つの知識駆動型タスク（合計6つのデータセット）の結果は、各アダプターがパフォーマンスを改善し、両方のアダプターの組み合わせがさらに改善されることを示しています。プローブ実験は、K-AdapterがRoBERTaよりも豊富な事実と常識の知識をキャプチャすることをさらに示しています。

この論文の概要（機械翻訳による和訳）
Princeton WordNet（PWN）は、自然言語処理の開発を促進する認知言語学に基づく語彙意味論的ネットワークです。PWNに基づいて、5つの中国語ワードネットが開発され、構文とセマンティクスの問題が解決されました。東北大学中国語WordNet（NEW）、Sinica Bilingual Ontological WordNet（BOW）、南東大学ChineseWordNet（SEW）、台湾大学Chinese WordNet（CWN）、Chinese Open WordNet（COW）が含まれます。これらを使用することにより、これらの単語ネットワークの精度とカバレッジが低く、PWNのセマンティックネットワークを完全に描写できないことがわかりました。そこで、これらの欠点を補うために、Multi-Fusion Chinese Wordnet（MCW）と呼ばれる新しい中国語のワードネットを作成することにしました。重要なアイデアは、オックスフォードの対訳辞書と新華の対訳辞書の助けを借りてSEWを拡張し、それを修正することです。具体的には、修正に機械学習と手動調整を使用しました。作業を支援するために2つの標準が策定されました。補題の精度を比較するために、関連性の計算、単語の類似性、単語の意味の曖昧性解消を含む3つのタスクで実験を実施し、同時にカバレッジも比較しました。結果は、MCWが当社の方法によるカバレッジと精度の恩恵を受けることができることを示しています。しかし、特に補題に関しては、まだ改善の余地があります。将来的には、MCWの精度を高め、MCWの概念を拡張し続けます。

この論文の概要（機械翻訳による和訳）
最近の分析では、言語モデリング用に事前トレーニングされたエンコーダーが特定の形態統語構造をキャプチャすることが示唆されています。ただし、単語ベクトルのプローブフレームワークでは、構成要素や依存関係の解析などの標準的なセットアップの結果は依然として報告されません。このペーパーはこの問題に対処し、事前トレーニングアーキテクチャのみに依存する完全な解析（英語）を行い、デコードは行いません。まず、シーケンスのタグ付けとして構成要素と依存関係の解析をキャストします。次に、単一のフィードフォワードレイヤーを使用して、単語ベクトルを線形化されたツリーをエンコードするラベルに直接マッピングします。これは次の目的で使用されます：（i）事前学習済みのエンコーダーを使用して構文モデリングをどこまで到達できるかを確認し、（ii）異なる単語ベクトルの構文感度について（学習中に事前学習ネットワークの重みをフリーズすることで）いくらか明らかにします。評価のために、bracketingF1-scoreとLASを使用し、スパンの長さと依存関係の変位の表現全体の詳細な違いを分析します。全体的な結果は、PTB（93.5％）およびエンドツーエンドEN-EWT UD（78.8％）の既存のシーケンスタギングパーサーを上回っています。

この論文の概要（機械翻訳による和訳）
この作業では、インド語を考慮した言語識別のための新しいプーリング戦略を提案します。アイデアは、堅牢な言語認識のために、可変長オーディオの発話レベル機能を取得することです。 GhostVLADアプローチを使用して、ローカルフレームレベルの特徴を時間全体で集約することにより、可変長入力オーディオの発話レベルの特徴ベクトルを生成します。生成された特徴ベクトルは、非常に優れた言語識別機能を備えており、言語識別タスクの最新の結果を得るのに役立ちます。インドの7つの言語の635Hrsの音声データで実験を行っています。私たちの方法は、F1スコアが1.88％の絶対的な改善によって従来のxベクトル[11]メソッドよりも優れており、保持されたテストデータで98.43％のF1スコアを達成しています。システムをさまざまなプーリング手法と比較し、GhostVLADがこのタスクに最適なプーリング手法であることを示します。また、Ghost-VLADプーリングを使用して生成された発話レベルの埋め込みの視覚化を提供し、この方法が非常に優れた言語識別機能を持つ埋め込みを作成することを示します。