2020年02月14日に発表されたAI分野の論文25本のAbstractをまとめて和訳しました。
この記事の見出し
- 1 Public Bayesian Persuasion: Being Almost Optimal and Almost Persuasive
- 2 Self-explainability as an alternative to interpretability for judging the trustworthiness of artificial intelligences
- 3 Recursed is not Recursive: A Jarring Result
- 4 Parameterizing Branch-and-Bound Search Trees to Learn Branching Policies
- 5 Component Analysis for Visual Question Answering Architectures
- 6 dtControl: Decision Tree Learning Algorithms for Controller Representation
- 7 Using Automated Theorem Provers for Mistake Diagnosis in the Didactics of Mathematics
- 8 A Bayesian Approach to Conversational Recommendation Systems
- 9 Learning to Compare for Better Training and Evaluation of Open Domain Natural Language Generation Models
- 10 Constructing a Highlight Classifier with an Attention Based LSTM Neural Network
- 11 Real-Time Semantic Background Subtraction
- 12 Joint Embedding in Named Entity Linking on Sentence Level
- 13 A Zero-Shot based Fingerprint Presentation Attack Detection System
- 14 Learning Flat Latent Manifolds with VAEs
- 15 Convex Density Constraints for Computing Plausible Counterfactual Explanations
- 16 Service Selection using Predictive Models and Monte-Carlo Tree Search
- 17 The {0,1}-knapsack problem with qualitative levels
- 18 Reward-rational (implicit) choice: A unifying formalism for reward learning
- 19 Approximate MMAP by Marginal Search
- 20 Utilizing BERT Intermediate Layers for Aspect Based Sentiment Analysis and Natural Language Inference
- 21 Deep Multi-Task Augmented Feature Learning via Hierarchical Graph Neural Network
- 22 The Unreasonable Effectiveness of Deep Learning in Artificial Intelligence
- 23 ConvLab-2: An Open-Source Toolkit for Building, Evaluating, and Diagnosing Dialogue Systems
- 24 A Simple General Approach to Balance Task Difficulty in Multi-Task Learning
- 25 Salvaging Federated Learning by Local Adaptation
Public Bayesian Persuasion: Being Almost Optimal and Almost Persuasive
パブリックベイジアン説得:ほぼ最適かつほぼ説得力のある
URL:http://arxiv.org/abs/2002.05156v1
この論文の概要(機械翻訳による和訳)
説得は、情報に基づいたプリンシパルが、ペイオフ関連情報の戦略的提供によって、エージェントの行動にどのように影響するかを研究します。 Arieli and Babichenko(2019)による、エージェント間の外部性がない基本的なマルチレシーバーモデルに注目します。この問題に関する以前の研究とは異なり、一般的な設定での一般的な説得問題は次のようになります。(i)任意の状態空間。 (ii)任意のアクションスペース。 (iii)任意の送信者のユーティリティ機能。最適なパブリックシグナリングスキームの二基準近似の計算の計算の複雑さを完全に特徴付けます。特に、独立した関心のある投票設定では、指数時間仮説を仮定して、この問題を解決するには、二項作用空間の設定でも、少なくとも準多項式数のステップが必要であることを示します。そうすることで、LinearInequalitiesのMaximum Feasible Subsystem問題の緩和バージョンでは、少なくとも準多項式時間を解く必要があることを証明します。これは、特定の設定ではなく、QPTASを生成します。
Self-explainability as an alternative to interpretability for judging the trustworthiness of artificial intelligences
人工知能の信頼性を判断するための解釈可能性の代替としての自己説明可能性
URL:http://arxiv.org/abs/2002.05149v1
この論文の概要(機械翻訳による和訳)
AIシステムによって下された決定を説明する能力は、特に医学や自律走行車などの人間の命がかかっている領域で非常に求められています。ディープニューラルネットワークの入出力関係を人間が理解できるルールで近似することは常に可能ですが、二重降下現象の発見は、そのような近似がディープニューラルネットワークの実際の機能にマッピングされることはないことを示唆しています。二重降下は、ディープニューラルネットワークが通常、少数の高レベルのルールを抽出するのではなく、データポイント間をスムーズに補間することで動作することを示します。結果として、複雑な実世界のデータで訓練されたニューラルネットワークは、適用範囲外で使用された場合、本質的に解釈が難しく、失敗する傾向があります。これらの問題にもかかわらずAIを信頼できる方法を示すために、自己説明AIの概念を紹介します。自己説明型AIは、人間が理解できる各意思決定の説明と、意思決定と説明の両方の信頼レベルを提供することができます。このアプローチのいくつかの難しさと、可能な解決策がスケッチされています。ユーザーが適用範囲外で実行するように求められた場合。
Recursed is not Recursive: A Jarring Result
再帰的ではない:ジャーリングの結果
URL:http://arxiv.org/abs/2002.05131v1
この論文の概要(機械翻訳による和訳)
Recursedは、宝箱を備えた2Dパズルプラットフォームのビデオゲームで、飛び込んだときに、後で退出できる部屋をインスタンス化し(関数呼び出しに似ています)、オプションでその部屋に戻る jarを生成します(継続に似ています)。 Post CorrespondenceProblemからの削減により、RecursedがRE完全であり、したがって決定できない(再帰的ではない)ことを証明します。私たちの削減は「実用的」です。PCPからの削減は、メインゲーム用に設計されたレベル(15×20の部屋サイズを含む)を支配するすべての制約に従う完全にプレイ可能なレベルになります。削減も「効率的」です。チューリングマシンは、そのサイズがチューリングマシンのエンコードサイズで線形であり、解の長さがチューリングマシンの実行時間で多項式である再帰レベルによってシミュレートできます。
Parameterizing Branch-and-Bound Search Trees to Learn Branching Policies
分岐ポリシーを学習するための分岐限定検索ツリーのパラメーター化
URL:http://arxiv.org/abs/2002.05120v1
この論文の概要(機械翻訳による和訳)
分枝限定(B&B)は、混合整数線形計画問題(MILP)を解決するために通常使用される正確なツリー検索方法です。 MILPの分岐ポリシーの学習は活発な研究分野になりました。ほとんどの研究では、強力な分岐ルールを模倣し、問題の異なるクラスに特化することを提案しています。代わりに、異種のMILP全体を一般化するポリシーを学習することを目的としています。主な仮説は、B&B検索ツリーの状態をパラメーター化すると、このタイプの一般化を大幅に支援できることです。新しい模倣学習フレームワークを提案し、分岐を表す新しい入力機能とアーキテクチャを導入します。 MILPベンチマークインスタンスの実験は、分岐決定を調整するためにベースラインモデルに検索ツリーの状態の明示的なパラメーター化を組み込むことの利点を明確に示しています。結果として得られるポリシーは、ベースラインよりも高い精度に達し、平均して、より小さなB&Bツリーを探索し、一般的な目に見えないインスタンスの一般化を効果的に許可します。
Component Analysis for Visual Question Answering Architectures
ビジュアル質問応答アーキテクチャのコンポーネント分析
URL:http://arxiv.org/abs/2002.05104v1
この論文の概要(機械翻訳による和訳)
コンピュータービジョンと自然言語処理の最近の研究の進歩により、AIの完全な問題を解決するための道を開く新しいタスクが導入されました。これらのタスクの1つは、視覚的質問応答(VQA)と呼ばれます。 VQAsystemは、画像とその画像に関する自由形式の自由な自然言語の質問を受け取り、出力として自然言語の回答を作成する必要があります。このような課題は科学界から大きな注目を集めており、VQAの予測精度を向上させることを目的とした多数のアプローチが生み出されました。それらのほとんどは、3つの主要なコンポーネントで構成されています。(i)画像と質問の独立した表現学習。 (ii)モデルが両方のソースからの情報を使用して視覚的な質問に答えることができるように、特徴の融合。 (iii)自然言語での正解の生成。非常に多くのアプローチが最近導入されたため、モデルの最終的なパフォーマンスに対する各コンポーネントの実際の貢献が不明確になりました。このホワイトペーパーの主な目的は、VQAモデルの各コンポーネントの影響に関する包括的な分析を提供することです。広範な実験セットは、視覚的要素とテキスト要素の両方、およびこれらの表現の融合と注意メカニズムの組み合わせを対象としています。主な貢献は、予測パフォーマンスを最大化するために、VQAモデルをトレーニングするためのコアコンポーネントを特定することです。
dtControl: Decision Tree Learning Algorithms for Controller Representation
dtControl:コントローラー表現のための決定木学習アルゴリズム
URL:http://arxiv.org/abs/2002.04991v1
この論文の概要(機械翻訳による和訳)
決定木学習は、機械学習アプリケーションで最も一般的に使用される一般的な分類手法です。最近の研究では、デシジョンツリーを使用して、証明可能な正しいコントローラーを簡潔に表すことができることが示されています。ルックアップテーブルまたはバイナリデシジョンダイアグラムを使用した表現と比較すると、デシジョンツリーは小さく、説明が容易です。メモリレスコントローラを決定木として表すための簡単に拡張可能なツールであるdtControlを紹介します。構成ごとのコントローラー合成から生じる10のケーススタディに適用されるさまざまな決定木学習アルゴリズムの包括的な評価をお見逃しなく。これらのアルゴリズムには、決定木学習で任意線形バイナリ分類器を使用するための2つの新しい手法と、決定木構築中にコントローラーを決定するための1つの新しいアプローチが含まれます。特に後者は非常に効率的で、5つのケーススタディで1桁の数の決定ノードを持つ決定木を生成します。
Using Automated Theorem Provers for Mistake Diagnosis in the Didactics of Mathematics
数学の教授法における間違い診断のための自動定理証明器の使用
URL:http://arxiv.org/abs/2002.05083v1
この論文の概要(機械翻訳による和訳)
Diprocheシステムは、Koepke、Schr “oder、CramerなどによるNaprocheシステムに似た初心者向けの演習のコンテキストに特に適合した自然言語証明の自動証明チェッカーであり、一般的な形式的誤り誤診断のための健全な演rules規則このような「Anti-ATP」の概念を簡単に説明し、その実装で使用される基本的なテクニックを説明します。
A Bayesian Approach to Conversational Recommendation Systems
会話型推薦システムへのベイジアンアプローチ
URL:http://arxiv.org/abs/2002.05063v1
この論文の概要(機械翻訳による和訳)
Bayesianapproachに基づく会話型推奨システムを提示します。アイテムの確率質量関数は、ユーザーとのやり取りの後に更新されます。情報理論的な基準により、やり取りが最適に形成され、会話を終了するタイミングが決定され、最も可能性の高いアイテムが推奨されます。相互作用をモデル化するパラメーターの事前確率に関する専用の引き出し手法は、基本的な構造判断から導き出されます。このような事前情報を履歴データと組み合わせて、異なる推奨履歴を持つアイテムを区別できます。予約エンターテイナー向けのオンラインプラットフォームである emph {stagend.com}へのこのアプローチの適用に基づくケーススタディは、推奨の質と効率の面での利点を示す実証分析とともに最終的に議論されます。
Learning to Compare for Better Training and Evaluation of Open Domain Natural Language Generation Models
オープンドメインの自然言語生成モデルのより良いトレーニングと評価のための比較学習
URL:http://arxiv.org/abs/2002.05058v1
この論文の概要(機械翻訳による和訳)
オープンドメインの自然言語生成(NLG)モデルの自動評価は課題であり、BLEUやPerplexityなどの広く使用されているメトリックは、場合によっては誤解を招く可能性があります。本論文では、自然言語理解能力が高いことが示されているBERTの微調整により、生成された1組の文を比較することを学習することにより、自然言語生成モデルを評価することを提案します。また、NLGモデルのモデルレベルの品質を、スキルレベルシステムによるサンプルレベルの比較結果で評価することを提案します。完全に自己管理された方法で訓練することができますが、私たちのモデルは、人間の判断をより良くするために、少しの人間の好みの注釈でさらに微調整することができます。トレーニング済みモデルの評価に加えて、トレーニング中にパフォーマンスインジケーターとしてモデルを適用して、ハイパーパラメーターの調整と早期停止を改善することを提案します。ストーリー生成とチャットチャット対話生成の両方に対するアプローチを評価します。実験結果は、我々のモデルが以前の自動評価アプローチと比較して人間の好みとよりよく相関することを示しています。提案されたメトリックでのトレーニングは、人間の評価でより良いパフォーマンスをもたらし、提案されたモデルの有効性をさらに実証します。
Constructing a Highlight Classifier with an Attention Based LSTM Neural Network
注意ベースのLSTMニューラルネットワークを使用したハイライト分類子の構築
URL:http://arxiv.org/abs/2002.04608v1
この論文の概要(機械翻訳による和訳)
データは、人類史上これまでになく大量に作成されています。この尽きることのない情報の供給をふるいにかけ、分析する際に人間を支援する技術の需要の増加を期待するのは当然です。この必要性は、大量の消費者調査データがビデオ録画を通じて収集される市場調査業界に存在します。現在、ビデオデータを分析するための標準的な方法は人的労働です。市場調査員は、大部分の消費者調査ビデオを手動でレビューして、関連する部分を特定します-ハイライト。業界のアートターンアラウンド率は2.2です。ビデオコンテンツの1時間ごとに2.2時間の人手が必要です。この研究では、データをふるいにかける研究者を支援する教師付き学習モデルに基づいたNLPベースのハイライト識別と抽出のための新しいアプローチを提示します。私たちのアプローチは、長い形式と短い形式のビデオデータから構築された、ユーザーが作成した手動で作成されたハイライトクリップにかかっています。この問題は、ビデオ文字起こしが可能なため、NLPアプローチに最適です。勾配ブースティングからリカレントニューラルネットワークまで、モデルの複数のクラスを評価し、ハイライトの抽出と識別におけるパフォーマンスを比較します。次に、分類器の最大入力長よりもはるかに大きいドキュメントを分析するために設計された4つのサンプリング方法を使用して、最高のパフォーマンスのモデルが評価されます。スタンドアロンの分類子であるROC AUCスコアは0.93〜0.94の範囲で非常に高いパフォーマンスを報告していますが、大きなドキュメントで評価すると有効性が大幅に低下していることがわかります。私たちの結果に基づいて、さまざまなユースケースのためのモデル/サンプリングアルゴリズムの組み合わせを提案します。
Real-Time Semantic Background Subtraction
リアルタイムの意味的背景減算
URL:http://arxiv.org/abs/2002.04993v1
この論文の概要(機械翻訳による和訳)
セマンティックバックグラウンド減算SBSは、セマンティックセグメンテーションネットワークから派生したセマンティック情報と組み合わせることにより、ほとんどのバックグラウンド減算アルゴリズムのパフォーマンスを向上させることが示されています。ただし、SBSでは、すべてのフレームに高品質のセマンティックセグメンテーションマスクが必要であり、計算が遅くなります。さらに、最先端のバックグラウンド減算アルゴリズムのほとんどはリアルタイムではないため、実際のアプリケーションには適していません。本論文では、リアルタイム制約付きアプリケーション向けにSBSを拡張し、同様のパフォーマンスを維持する、リアルタイムセマンティックバックグラウンド減算(RT-SBSと表記)と呼ばれる新しいバックグラウンド減算アルゴリズムを紹介します。 RT-SBSは、リアルタイムのバックグラウンド減算アルゴリズムと高品質のセマンティック情報を効果的に組み合わせて、ピクセルごとに低いペースで提供できます。 RT-SBSとViBeを組み合わせることで、リアルタイムのバックグラウンド減算アルゴリズムの最新技術が設定され、非リアルタイムの最新技術と競合することさえ示されます。 RT-SBSのpython CPUおよびGPU実装はまもなくリリースされることに注意してください。
Joint Embedding in Named Entity Linking on Sentence Level
文レベルでリンクする名前付きエンティティへの共同埋め込み
URL:http://arxiv.org/abs/2002.04936v1
この論文の概要(機械翻訳による和訳)
名前付きエンティティリンクは、ドキュメント内のあいまいな言及をナレッジベース内のエンティティにマップすることです。ドキュメント内のメンションに複数の候補エンティティがあるという事実を考えると、名前付きエンティティのリンクは困難です。メンションがドキュメント内に複数回出現する場合、メンションの外観の前後のコンテキストによって競合があるため、メンションをリンクすることは困難です。さらに、指定されたトレーニングデータセットは、言及をそのマッピングエンティティにリンクするために手動で行われるため、小さいため困難です。文献には、最近の埋め込み方法がドキュメントレベルでトレーニングデータセットからエンティティのベクトルを学習する多くの報告された研究があります。使用するのに不十分な情報を犠牲にして、文書に同じ言及が出現する。知識グラフから学習した関係を最大化することにより、新しい統合埋め込み手法を提案します。私たちの方法の有効性は、実験研究で確認します。
A Zero-Shot based Fingerprint Presentation Attack Detection System
ゼロショットベースの指紋提示攻撃検出システム
URL:http://arxiv.org/abs/2002.04908v1
この論文の概要(機械翻訳による和訳)
プレゼンテーション攻撃の発生により、自動指紋認識システム(AFRS)はプレゼンテーション攻撃に対して脆弱になります。したがって、AFRSの通常の利用を保証するために、プレゼンテーション攻撃検出(PAD)の多数の方法が提案されています。ただし、大規模なプレゼンテーション攻撃イメージと低レベルの一般化機能の需要は、既存のPADメソッドの実際のパフォーマンスを常に制限します。したがって、PADモデルの一般化を保証するために、新しいゼロショットプレゼンテーション攻撃検出モデルを提案します。生成モデルに基づく提案されたZSPADモデルは、確立プロセスでネガティブサンプルを使用しないため、さまざまなタイプまたは材料ベースのプレゼンテーション攻撃に対する堅牢性が保証されます。他の自動エンコーダベースのモデルとは異なり、Fine-grained Maparchitectureは自動エンコーダネットワークの再構築エラーを改善するために提案され、タスク固有のガウスモデルはクラスタリングの品質を改善するために利用されます。一方、提案されたモデルのパフォーマンスを向上させるために、この記事では9つの信頼スコアについて説明します。実験結果は、ZSPADモデルがZSPADの最新技術であり、MSスコアが最高の信頼性スコアであることを示しました。既存の方法と比較して、提案されたZSPADモデルは機能ベースの方法よりも優れたパフォーマンスを発揮し、マルチショット設定では、提案された方法は学習データをほとんど使用せずに学習ベースの方法よりも優れています。大規模なトレーニングデータが利用可能な場合、結果は同様です。
Learning Flat Latent Manifolds with VAEs
VAEを使用したフラットな潜在マニホールドの学習
URL:http://arxiv.org/abs/2002.04881v1
この論文の概要(機械翻訳による和訳)
多くの場合、データポイント間の類似性を測定するにはドメインの知識が必要です。これは、類似性/距離がよりコンパクトな潜在空間で推定される潜在変数モデルなどの監視されていない方法に依存することで部分的に補うことができます。普及しているのは、ユークリッドメトリックの使用であり、これには、リーマン幾何学のフレームワークによってキャプチャされた、デコーダに格納されたデータの類似性に関する情報を無視するという欠点があります。非現実的な方法。ユークリッドメトリックがデータポイント間の類似性のプロキシであるフラットな潜在多様体を学習できる変分オートエンコーダーのフレームワークの拡張を提案します。これは、潜在空間をリーマン多様体として定義し、メトリックテンソルをスケーリングされた単位行列。さらに、最近提示された、より表現力のある階層的な1を持つ変分オートエンコーダーで通常使用されるコンパクトな事前配置を配置し、制約付き最適化問題として学習問題を定式化しました。直線ベースのアプローチの計算効率を維持しながら、教師なしアプローチのパフォーマンスが最先端の教師ありアプローチのパフォーマンスに近いビデオトラッキングベンチマークを含む、一連のデータセットでメソッドを評価します。
Convex Density Constraints for Computing Plausible Counterfactual Explanations
もっともらしい反事実的説明を計算するための凸密度制約
URL:http://arxiv.org/abs/2002.04862v1
この論文の概要(機械翻訳による和訳)
EUのGDPRなどの法的規制だけでなく、機械学習の導入が増加しているため、機械学習モデルによって提案された意思決定について、わかりやすい説明が必要になります。反事実的説明は、モデルの特定の決定を説明する最も一般的な手法の1つと見なされます。 「任意の」反事実的説明の計算は十分に研究されていますが、妥当で現実的な反事実的説明を効率的に計算する方法は未解決の研究課題です。私たちは最近の研究に基づいて、もっともらしい反事実的説明の正式な定義を提案し、研究しています。特に、我々は反推定的説明の妥当性と実行可能性を強化するために密度推定器を使用する方法を調査します。効率的な計算の目的のために、結果の反事実が高密度のデータ空間の領域に位置することを保証する凸密度制約を提案します。
Service Selection using Predictive Models and Monte-Carlo Tree Search
予測モデルとモンテカルロツリー検索を使用したサービス選択
URL:http://arxiv.org/abs/2002.04852v1
この論文の概要(機械翻訳による和訳)
この記事では、治療の有効性を改善し、再入院費用を削減する自動サービス選択の方法を提案します。再入院のリスクに対する介護サービスの影響を定量化するために、全国在宅ホスピスケア調査(NHHCS)データセットを使用して予測モデルが開発されました。患者の特性と他の選択されたサービスを考慮することにより、モデルは特定のNHHCS患者に対するサービスの組み合わせの全体的な有効性を示すことができます。開発されたモデルは、モンテカルロツリー検索(MCTS)に組み込まれ、緊急の再入院のリスクを最小限に抑えるサービスの最適な組み合わせを決定します。 MCTSは、この場合のリスク最小化アルゴリズムとして機能し、検索中のガイダンスに予測モデルを使用します。 NHHCSデータセットでこの方法を使用すると、臨床医が行った元の選択と比較して、再入院のリスクが大幅に減少します。平均で11.89%のリスク削減が達成されています。最もリスクの高いカテゴリのNHHCS患者では、平均で約40パーセントポイントの高い減少が見られます。これらの結果は、近い将来にサービス選択を改善する大きな可能性があることを示しているようです。
The {0,1}-knapsack problem with qualitative levels
定性的レベルの{0,1} -knapsack問題
URL:http://arxiv.org/abs/2002.04850v1
この論文の概要(機械翻訳による和訳)
各アイテムが整数の重みと質的レベルに関連付けられている古典的なナップザック問題の変形が考えられます。与えられたアイテムセットの実行可能なサブセット上で支配関係を定義し、この関係が事前順序を定義することを示します。非支配ランクのカーディナリティベクトルのセット全体を計算する動的プログラミングアルゴリズムを提案し、単一の効率的なソリューションを効率的に計算する2つの貪欲なアルゴリズムを示します。
Reward-rational (implicit) choice: A unifying formalism for reward learning
報酬合理的(暗黙)選択:報酬学習のための統一形式
URL:http://arxiv.org/abs/2002.04833v1
この論文の概要(機械翻訳による和訳)
正しい報酬関数がタスクのために何であるかを手で指定することはしばしば困難であるため、研究者は代わりに人間の行動またはフィードバックから報酬関数を学ぶことを目指しています。後退機能の証拠として解釈される行動の種類は、近年大幅に拡大しています。私たちは、人間がロボットを押しのけたり、電源を切ったりするときに漏洩する情報を、デモから比較、読み取りに移行しました。そして確かに、もっと来ます。ロボットは、これらのさまざまな種類の行動すべてをどのように理解するのでしょうか?私たちの重要な洞察は、さまざまなタイプの行動を単一の統一形式で解釈できるということです-人間が行っている報酬合理的な選択として、しばしば暗黙的に。フォーマリズムは、過去の作品を見るための統一レンズと、まだ発見されていない新しい情報源を解釈するためのレシピの両方を提供します。これを紹介する2つの例を提供します:新しいフィードバックタイプの解釈と、フィードバック自体の選択が報酬に関する情報をどのように漏らすかを読みます。
Approximate MMAP by Marginal Search
周辺検索による近似MMAP
URL:http://arxiv.org/abs/2002.04827v1
この論文の概要(機械翻訳による和訳)
グラフィカルモデルでの限界MAP(MMAP)クエリのヒューリスティック戦略を示します。このアルゴリズムは、タスクを多項式数の周辺推論計算に縮小することに基づいています。入力証拠が与えられると、説明される変数の周辺質量関数が計算されます。周辺情報ゲインは、説明される変数を最初に決定するために使用され、その結果、最も可能性の高い周辺状態が証拠に移動します。この手順を順番に繰り返すと、MMAPの説明が行われ、プロセス中に得られた最小情報ゲインは、説明の信頼性尺度として見なすことができます。予備実験は、提案された信頼性尺度がアルゴリズムが正確であるインスタンスを適切に検出しており、十分に高い信頼性レベルに対して、アルゴリズムは正確な解または正確なものからのハミング距離が小さい近似を与えることを示しています。
Utilizing BERT Intermediate Layers for Aspect Based Sentiment Analysis and Natural Language Inference
アスペクトベースの感情分析と自然言語推論のためのBERT中間層の利用
URL:http://arxiv.org/abs/2002.04815v1
この論文の概要(機械翻訳による和訳)
アスペクトベースの感情分析は、テキスト内の特定のアスペクトに対する感情的な傾向を識別することを目的としています。事前トレーニングされたBERTの微調整は、このタスクで優れたパフォーマンスを発揮し、最先端のパフォーマンスを実現します。既存のBERTベースの作品は、BERTの最後の出力層のみを利用し、中間層のこれらの知識を無視します。このホワイトペーパーでは、BERTの微調整のパフォーマンスを向上させるためにBERT中間層を使用する可能性について検討します。私たちの知る限り、この研究に関する既存の研究はありません。一般性を示すために、自然言語推論タスクにもこのアプローチを適用します。実験結果は、提案されたアプローチの有効性と一般性を示しています。
Deep Multi-Task Augmented Feature Learning via Hierarchical Graph Neural Network
階層グラフニューラルネットワークを介したディープマルチタスク拡張特徴学習
URL:http://arxiv.org/abs/2002.04813v1
この論文の概要(機械翻訳による和訳)
ディープマルチタスク学習は、多くのアプリケーションで優れたパフォーマンスを達成するため、近年多くの注目を集めています。機能学習は、タスク間で共通の情報を共有するためのディープマルチタスク学習にとって重要です。本稿では、階層型グラフニューラルネットワーク(HGNN)を提案して、ディープマルチタスク学習のための拡張機能を学習します。 HGNNは、2レベルのグラフニューラルネットワークで構成されています。低レベルでは、タスク内グラフのニューラルネットワークは、タスク内の各データポイントの強力な表現を学習するために、その近傍を集約します。学習された表現に基づいて、最大プーリングと同様の方法で、タスクごとにタスク埋め込みを生成できます。第2レベルでは、タスク間グラフニューラルネットワークが、注意メカニズムに基づいてすべてのタスクのタスク埋め込みを更新し、タスク関係をモデル化します。次に、1つのタスクの埋め込みタスクを使用して、このタスクのデータポイントの特徴表現を補強します。さらに、分類タスクでは、クラスグラフ間ニューラルネットワークが導入され、より細かい粒度、つまりクラスレベルで同様の操作を実行し、すべてのタスクで各クラスのクラス埋め込みを生成し、すべてのタスクでクラス埋め込みを使用して特徴表現を補強します。拡張戦略は、多くのディープマルチタスク学習モデルで使用できます。トレーニングと一般化損失の観点からHGNNを分析します。この戦略を使用すると、実世界のデータの実験により、パフォーマンスが大幅に向上することがわかります。
The Unreasonable Effectiveness of Deep Learning in Artificial Intelligence
人工知能におけるディープラーニングの不合理な効果
URL:http://arxiv.org/abs/2002.04806v1
この論文の概要(機械翻訳による和訳)
ディープラーニングネットワークは、スピーチ、キャプション写真を認識し、高いレベルのパフォーマンスで言語間でテキストを翻訳するようにトレーニングされています。統計量のサンプルの複雑さと非凸最適化理論に従っては不可能です。ただし、深層学習ネットワークのトレーニングと有効性のパラドックスが調査されており、高次元空間のジオメトリに洞察が見つかっています。深層学習の数学的理論は、それらがどのように機能するかを明らかにし、さまざまなネットワークアーキテクチャの長所と短所を評価し、大きな改善をもたらします。ディープラーニングは、人間がデジタルデバイスと通信するための自然な方法を提供し、人工知能を構築するための基礎となります。ディープラーニングは、大脳皮質のアーキテクチャと、計画と生存に不可欠な他の脳領域に見られる自律性と一般的な知性に関する洞察に触発されましたが、これらの目標を達成するには大きなブレークスルーが必要です。
ConvLab-2: An Open-Source Toolkit for Building, Evaluating, and Diagnosing Dialogue Systems
ConvLab-2:対話システムを構築、評価、診断するためのオープンソースツールキット
URL:http://arxiv.org/abs/2002.04793v1
この論文の概要(機械翻訳による和訳)
研究者が最先端のモデルを使用してタスク指向の対話システムを構築し、エンドツーエンドの評価を実行し、システムの弱点を診断できるようにするオープンソースのツールキットであるConvLab-2を紹介します。 ConvLabの後継として(Lee et al。、2019b)、ConvLab-2はConvLabのフレームワークを継承しますが、より強力なダイアログモデルを統合し、より多くのデータセットをサポートします。それに加えて、私たちは研究者が対話システムを診断するのを支援するための分析ツールと対話型ツールを開発しました。分析ツールは豊富な統計を提示し、シミュレートされたダイアログからの一般的な誤りを要約し、エラー分析とシステム改善を促進します。対話型ツールは、システムと対話し、各システムコンポーネントの出力を変更することで、開発者が組み立てられたダイアログシステムを診断できるユーザーインターフェイスを提供します。
A Simple General Approach to Balance Task Difficulty in Multi-Task Learning
マルチタスク学習におけるタスクの難易度のバランスをとる簡単な一般的アプローチ
URL:http://arxiv.org/abs/2002.04792v1
この論文の概要(機械翻訳による和訳)
マルチタスク学習では、さまざまなタスクの難易度が変化します。この状況を処理するための多くの作業があり、それらを直接合計アプローチ、加重合計アプローチ、最大アプローチ、カリキュラム学習アプローチなど、5つのカテゴリに分類します。多目的最適化アプローチ。これらのアプローチには、たとえば、手動で設計されたルールを使用してタスクの重み、滑らかでない目的関数を更新したり、トレーニング損失以外の関数を組み込んでいないなど、独自の制限があります。このペーパーでは、これらの制限を軽減するために、BalancedMulti-Task Learning(BMTL)フレームワークを提案します。タスクの重み付けに関する既存の研究とは異なり、BMTLフレームワークは、最適化手順中に大きなトレーニング損失を持つタスクがより多くの注目を受けるという直観的な考えに基づいて、各タスクのトレーニング損失を変換してタスク間の難易度のバランスをとることを提案します。変換関数を分析し、必要な条件を導き出します。提案されたBMTLフレームワークは非常にシンプルで、ほとんどのマルチタスク学習モデルと組み合わせることができます。実証研究は、提案されたBMTLフレームワークの最新のパフォーマンスを示しています。
Salvaging Federated Learning by Local Adaptation
局所適応による連合学習の救済
URL:http://arxiv.org/abs/2002.04758v1
この論文の概要(機械翻訳による和訳)
連合学習(FL)は、機密データ(たとえば、スマートフォンでユーザーが入力したテキスト)に対してMLモデルをトレーニングするための大幅に促進されたアプローチです。 FLは、参加者間で不均衡で非iidのデータのトレーニング用に設計されています。連合モデルのプライバシーと整合性を確保するために、最新のFLアプローチでは、差分プライバシーまたは堅牢な集約を使用して、「外れ値」参加者の影響を制限します。まず、次の単語の予測などの標準タスクでは、多くの参加者がFLからメリットを得られないことを示します。これは、フェデレーションモデルがローカルでトレーニングできるモデルよりもデータの精度が低いためです。集約は、参加者から連合モデルの精度をさらに破壊することにより、この問題を悪化させます。次に、連合モデルのローカル適応のための3つの手法を評価します:微調整、マルチタスク学習、および知識の蒸留。各手法が適用可能な場所を分析し、すべての参加者が地域適応の恩恵を受けることを実証します。ローカルモデルが貧弱な参加者は、従来のFLよりも大幅に精度が向上します。ローカルモデルがフェデレーションモデルよりも優れており、今日FLに参加するインセンティブを持たない参加者は、改善は少なくなりますが、適応されたフェデレーションモデルをローカルモデルよりも向上させるのに十分です。