2020年01月28日に発表されたAI分野の論文20本のAbstractをまとめて和訳しました。
この記事の見出し
- 1 Adaptive Teaching of Temporal Logic Formulas to Learners with Preferences
- 2 Long term planning of military aircraft flight and maintenance operations
- 3 What’s happened in MOOC Posts Analysis, Knowledge Tracing and Peer Feedbacks? A Review
- 4 One Explanation Does Not Fit All: The Promise of Interactive Explanations for Machine Learning Transparency
- 5 Retrospective Reader for Machine Reading Comprehension
- 6 Challenges and Countermeasures for Adversarial Attacks on Deep Reinforcement Learning
- 7 Structural Information Learning Machinery: Learning from Observing, Associating, Optimizing, Decoding, and Abstracting
- 8 Performance Analysis and Comparison of Machine and Deep Learning Algorithms for IoT Data Classification
- 9 Using Simulated Data to Generate Images of Climate Change
- 10 TaxoExpan: Self-supervised Taxonomy Expansion with Position-Enhanced Graph Neural Network
- 11 Bilevel Optimization for Differentially Private Optimization
- 12 Tractable Reinforcement Learning of Signal Temporal Logic Objectives
- 13 Explainable Artificial Intelligence and Machine Learning: A reality rooted perspective
- 14 The SPECIAL-K Personal Data Processing Transparency and Compliance Platform
- 15 Consciousness and Automated Reasoning
- 16 Sentiment and Knowledge Based Algorithmic Trading with Deep Reinforcement Learning
- 17 NLocalSAT: Boosting Local Search with Solution Prediction
- 18 A Lagrangian Dual Framework for Deep Neural Networks with Constraints
- 19 AI-Powered GUI Attack and Its Defensive Methods
- 20 Generating Representative Headlines for News Stories
Adaptive Teaching of Temporal Logic Formulas to Learners with Preferences
好みを持つ学習者への時相論理式の適応教育
URL:http://arxiv.org/abs/2001.09956v1
この論文の概要(機械翻訳による和訳)
機械教育は、一連の例またはデモを介してターゲット仮説を教えるためのアルゴリズムフレームワークです。時相論理式の機械教育を調査します。これは、時間に関連するタスク仕様に適した斬新で表現力のある仮説クラスです。時相論理式を教えるという文脈では、近視の解法の徹底的な検索でも指数関数的な時間がかかります(タスクの期間に関して)。パラメトリック線形時相論理式を教えるための効率的なアプローチを提案します。具体的には、一連の仮説を排除するために、デモンストレーションの最短時間の必要条件を受け入れます。この条件を利用して、一連の整数計画問題を解くことにより近視教示アルゴリズムを提案します。さらに、教育の複雑さという2つの概念の下で、提案されたアルゴリズムがほぼ最適なパフォーマンスを発揮することを示します。この結果は、嗜好ベースのバージョンスペース学習者の指導に関する以前の結果を厳密に一般化したものです。さまざまな種類の学習者(つまり、異なる嗜好モデルを持つ学習者)および対話型プロトコル(バッチと適応など)でアルゴリズムを広範囲に評価します。結果は、提案されたアルゴリズムがさまざまな設定の下で与えられた目標時相論理式を効率的に教えることができること、および教師が学習者の現在の仮説に適応するかまたは神託を使用するとき、教育の有効性の大きな利益があることを示します。
Long term planning of military aircraft flight and maintenance operations
軍用機の飛行および保守作業の長期計画
URL:http://arxiv.org/abs/2001.09856v1
この論文の概要(機械翻訳による和訳)
私たちは、その軍用バリアントで飛行および保守計画(FMP)問題を提示し、長期計画に適用します。この問題は、短期および中期の視野でのみ以前に研究されています。その類似点と相違点を以前の研究と比較し、その複雑さを証明します。フランス空軍艦隊に触発されたシナリオを生成します。これらのシナリオの問題を解決するために、MixedInteger Programming(MIP)モデルを定式化し、これらの状況下での解法のパフォーマンスを分析します。 Aheuristicは、高速で実行可能なソリューションを生成するために構築されたもので、場合によってはモデルのウォームスタートに役立つことが示されています。
What’s happened in MOOC Posts Analysis, Knowledge Tracing and Peer Feedbacks? A Review
MOOC投稿分析、ナレッジトレース、およびピアフィードバックで何が起きましたか?評価
URL:http://arxiv.org/abs/2001.09830v1
この論文の概要(機械翻訳による和訳)
学習管理システム(LMS)と教育データマイニング(EDM)は、オンライン教育環境の2つの重要な部分であり、前者は学習コンテンツを管理し、学習活動を整理する集中型のWebベースの情報システム(Stone and Zheng、2014)であり、後者は生成されたデータの分析にデータマイニング手法を使用します。この作業の一環として、EDMの3つの主要なタスクに関する文献レビュー(セクション2を参照)、欠点と既存の未解決の問題の特定、およびブルメンフィールドチャート(セクション3を参照) )。そのように使用されているペーパーとリソースの統合セットは、https://github.com/manikandan-ravikiran/cs6460-Surveyで公開されています。調査のカバレッジ統計とレビューマトリックスは、それぞれ図1と表1に示すとおりです。頭字語の拡張は、付録セクション4.1に追加されます。
One Explanation Does Not Fit All: The Promise of Interactive Explanations for Machine Learning Transparency
1つの説明がすべてに当てはまるわけではない:機械学習の透明性のためのインタラクティブな説明の約束
URL:http://arxiv.org/abs/2001.09734v1
この論文の概要(機械翻訳による和訳)
機械学習アルゴリズムに基づく予測システムの透明性の必要性は、業界での増え続ける増殖の結果として生じています。ブラックボックスアルゴリズムの予測が人事に影響を与えるときはいつでも、これらのアルゴリズムの内部動作を精査し、システムエンジニア、システムのオペレーター、ケースが決定されている個人などの関連する利害関係者にその決定を説明する必要があります。さまざまな解釈可能性と説明可能性の方法が利用可能ですが、それらはいずれも、関係者が必要とする可能性のあるすべての多様な期待と競合する目的を満たすことができる万能薬ではありません。この課題では、対比的な説明の例を使用して、ブラックボックスシステムの透明性を向上させるInteractiveMachine Learningの約束について説明します。これは、解釈可能な機械学習の最先端のアプローチです。具体的には、条件文を対話的に調整して反事実的な説明をパーソナライズする方法を示し、フォローアップの「What if?」質問。このタイプのシステムを構築、展開、および提示した経験により、インタラクティブな説明者の開発をガイドするために使用できる、望ましいプロパティと潜在的な制限をリストできました。対話の媒体、つまりさまざまな通信チャネルで構成されるユーザーインターフェイスをカスタマイズすることで、パーソナライズの印象を与えることができますが、説明自体とその内容を調整することがより重要であると主張します。この目的のために、説明の幅、範囲、コンテキスト、目的、ターゲットなどのプロパティを考慮する必要があります。さらに、その制限と注意事項について明示的に説明する必要があります…
Retrospective Reader for Machine Reading Comprehension
機械読解のための回顧リーダー
URL:http://arxiv.org/abs/2001.09694v1
この論文の概要(機械翻訳による和訳)
Machine Reading Comprehension(MRC)は、与えられた文章に基づいて質問に対する正しい答えを判断するためにmachineを必要とするAIの課題です。 MRCsystemsは、必要に応じて質問に答えるだけでなく、与えられたパッセージに従って回答が得られない場合も区別し、回答を巧みに避けなければなりません。 MRCタスクに答えられない質問が含まれる場合、エンコーダーに加えてベリファイアと呼ばれる重要な検証モジュールが特に必要になりますが、MRCモデリングの最新のプラクティスは、「読み「。このホワイトペーパーでは、MRCタスクのより良い検証器の設計を、答えられない質問とともに探求しています。人間が読解の質問をどのように解決するかに触発されて、私たちは2段階の読解と検証戦略を統合したレトロスペクティブリーダー(レトロリーダー)を提案しました: 2)答えを検証し、最終的な予測を与える集中的な読書。提案された読者は、2つのベンチマークMRCチャレンジデータセットSQuAD2.0とNewsQAで評価され、新しい最先端の結果を達成します。有意性テストは、このモデルが強力なALBERTベースラインよりも著しく優れていることを示しています。提案された読者の有効性を解釈するために、一連の分析も行われます。
Challenges and Countermeasures for Adversarial Attacks on Deep Reinforcement Learning
深層強化学習に対する敵対的攻撃の課題と対策
URL:http://arxiv.org/abs/2001.09684v1
この論文の概要(機械翻訳による和訳)
Deep Reinforcement Learning(DRL)には、周囲の環境に迅速に適応する優れた能力のおかげで、現実の世界に数多くのアプリケーションがあります。その大きな利点にもかかわらず、DRLは敵対攻撃を受けやすく、その脆弱性に対処して軽減しない限り、現実の重要なシステムやアプリケーション(スマートグリッド、交通制御、自動運転車など)での使用を妨げます。したがって、このホワイトペーパーでは、DRLベースのシステムにおける新たな攻撃と、これらの攻撃から防御するための潜在的な対策について説明する包括的な調査を提供します。最初にDRLに関する基本的な背景をいくつか取り上げ、機械学習技術に対する新たな敵対攻撃を紹介します。次に、攻撃者がDRLを攻撃するために悪用できる脆弱性の詳細と、そのような攻撃を防ぐための最新の対策を調査します。最後に、DRLベースのインテリジェントシステムの攻撃に対処するソリューションを開発するための未解決の問題と研究課題を強調します。
Structural Information Learning Machinery: Learning from Observing, Associating, Optimizing, Decoding, and Abstracting
構造情報学習機械:観察、関連付け、最適化、デコード、および抽象化からの学習
URL:http://arxiv.org/abs/2001.09637v1
この論文の概要(機械翻訳による和訳)
本論文では、{ it構造情報学習マシン}(略してSiLeM)のモデルを提案し、計算と情報の理論を統合することにより、学習の数学的定義を導きます。モデルは、学習の本質は{ it to gain information}であり、情報を取得することはデータ空間に埋め込まれた{ it不確実性を排除すること}であり、データ空間の不確実性を排除することは最適化問題、つまり、{ it情報最適化問題}。これは一般的な{ it encoding treeメソッド}で実現できます。構造情報学習マシンの原理と基準は、データポイント間の関係とともに観察されるデータポイントからの{ itdecoding information}の最大化と、構文上の{ it essential structure}の意味論的な{ it解釈}です。 SiLeMマシンは、自然の法則やルールを学習します。現実世界のデータポイントを観察し、観察されたデータ間で{ it接続}を構築し、{ itデータ空間}を構築します。そのために、データポイントの接続方法を選択して{ itデコーディングデータ空間の情報}が最大化され、データ空間の動的な不確実性を最小化するデータ空間の{ itエンコーディングツリー}を見つけます。そのため、エンコーディングツリーは{ itdecoder}と呼ばれます。データ空間に埋め込まれた最大量の不確実性をすでに排除し、エンコーディングツリーであるデコーダの{ itセマンティクス}を解釈して{ itナレッジツリー}を形成し、両方のセマンティックの{ itremarkable common features}を抽出するデコーダーによってデコードされたモジュールの構文上の特徴により、{ it抽象化のツリー}を構築し、新しいデータが観察されたときの学習における{ it直感的な推論}の基盤を提供します。
Performance Analysis and Comparison of Machine and Deep Learning Algorithms for IoT Data Classification
IoTデータ分類のための機械および深層学習アルゴリズムのパフォーマンス分析と比較
URL:http://arxiv.org/abs/2001.09636v1
この論文の概要(機械翻訳による和訳)
近年、新興テクノロジーとしてのモノのインターネット(IoT)の成長は信じられないほどです。 IoTドメイン内のネットワーク対応デバイスの数は劇的に増加しており、電子データの大量生産につながっています。これらのデータには、科学、産業、ビジネス、社会生活など、さまざまな分野で使用できる貴重な情報が含まれています。この情報を抽出して分析し、IoTシステムをスマートにするために、唯一の選択肢は人工知能(AI)の世界に入り、機械学習と深層学習の技術を活用することです。このホワイトペーパーでは、6つのIoT関連データセットを使用して、分類タスク用の11の一般的なマシンおよび深層学習アルゴリズムのパフォーマンスを評価します。これらのアルゴリズムは、精度、再現率、f1スコア、精度、実行時間、ROC-AUCスコア、混同マトリックスなど、いくつかのパフォーマンス評価指標に従って比較されます。開発されたモデルの収束速度を評価するために、特定の実験も行われます。包括的な実験により、すべてのパフォーマンスメトリックを考慮すると、ランダムフォレストは他の機械学習モデルよりも優れたパフォーマンスを発揮し、深層学習モデルの中でも、ANNとCNNはより興味深い結果を達成したことが示されました。
Using Simulated Data to Generate Images of Climate Change
シミュレートされたデータを使用して気候変動の画像を生成する
URL:http://arxiv.org/abs/2001.09531v1
この論文の概要(機械翻訳による和訳)
ドメイン適応タスクで使用されるGenerative Adversarial Network(GAN)は、現実的でパーソナライズされた画像を生成し、識別可能な特性を維持しながら入力画像を変換する機能を備えていますが、多くの場合、データへのアクセスが制限されている場合にユーザビリティを制限する堅牢な方法。本論文では、シミュレートされた3D環境の画像を使用してMUNITアーキテクチャによって実行されるドメイン適応タスクを改善する可能性を探り、得られた画像を使用して、気候変動の潜在的な将来の影響の認識を高めます。
TaxoExpan: Self-supervised Taxonomy Expansion with Position-Enhanced Graph Neural Network
TaxoExpan:位置強化グラフニューラルネットワークによる自己監視型分類拡張
URL:http://arxiv.org/abs/2001.09522v1
この論文の概要(機械翻訳による和訳)
分類法は、機械で解釈可能なセマンティクスで構成され、多くのWebアプリケーションに貴重な知識を提供します。たとえば、オンライン小売業者(AmazonやeBayなど)は製品の推奨に分類法を使用し、Web検索エンジン(GoogleやBingなど)は分類法を活用してクエリの理解を強化しています。分類法を手動または半自動で構築するために多大な努力が払われてきました。ただし、Webコンテンツの急増に伴い、既存の分類法は時代遅れになり、新しい知識を獲得できなくなります。したがって、多くのアプリケーションでは、既存の分類法の動的な拡張が大きな需要があります。このホワイトペーパーでは、一連の新しい概念を追加して、既存の分類法を拡張する方法を検討します。 TaxoExpanという名前の新しい自己監視型フレームワークを提案します。このフレームワークは、既存の分類法からトレーニングデータとして<クエリコンセプト、アンカーコンセプト>のペアを自動的に生成します。 TaxoExpanは、このような自己監視データを使用して、クエリコンセプトがアンカーコンセプトの直接の下位語であるかどうかを予測するモデルを学習します。 TaxoExpanでは、2つの革新的な手法を開発しています。(1)既存の分類法のアンカー概念のローカル構造をエンコードする位置強化グラフニューラルネットワーク、および(2)学習モデルがラベルノイズの影響を受けないようにするノイズに強いトレーニング目標異なるドメインからの3つの大規模なデータセットに関する広範な実験により、分類法の拡張に対するTaxoExpanの有効性と効率性の両方が実証されています。
Bilevel Optimization for Differentially Private Optimization
差分プライベート最適化のためのバイレベル最適化
URL:http://arxiv.org/abs/2001.09508v1
この論文の概要(機械翻訳による和訳)
このペーパーでは、入力が敏感な制約付き最適化問題に差分プライバシーを適用する方法を研究します。入力データのランダムな摂動により、制約付き最適化問題が実行不可能になったり、最適なソリューションの性質が大きく変化したりすることが多いため、このタスクは大きな課題を引き起こします。この問題に対処するために、このペーパーでは、後処理ステップとして使用できるabilevel最適化モデルを提案します。この論文は、自然な仮定の下で、この二層モデルが、敏感な顧客データを伴う現実の大規模な非線形非凸最適化問題に対して効率的に解かれることを示しています。実験結果は、プライバシー保護メカニズムの精度を実証し、標準的なアプローチと比較して大きな利点を示しています。
Tractable Reinforcement Learning of Signal Temporal Logic Objectives
信号時相論理目標の実行可能な強化学習
URL:http://arxiv.org/abs/2001.09467v1
この論文の概要(機械翻訳による和訳)
シグナル時相論理(STL)は、時間制限のある現実世界のロボットタスクと安全仕様を指定するための表現力豊かな言語です。最近、強化学習(RL)を介してSTL仕様を満たす最適なポリシーを学習することに関心があります。 STL仕様を満たすことを学習するには、多くの場合、報酬と次のアクションを計算するのに十分な長さの状態履歴が必要です。歴史の必要性は、学習問題の指数関数的な状態空間の成長をもたらします。したがって、学習の問題は、ほとんどの実際のアプリケーションでは計算上手に負えなくなります。この論文では、新しい拡張状態空間表現で状態履歴をキャプチャするコンパクトな手段を提案します。目的に対する近似(満足度の最大化)が提案され、新しい拡張状態空間で解決されます。近似解の性能限界を示し、シミュレーションにより既存の技術の解と比較します。
Explainable Artificial Intelligence and Machine Learning: A reality rooted perspective
説明可能な人工知能と機械学習:現実に根ざした視点
URL:http://arxiv.org/abs/2001.09464v1
この論文の概要(機械翻訳による和訳)
私たちは、技術の進歩の結果として、ほぼすべての科学分野で生成されたビッグデータの可用性に慣れています。ただし、このようなデータの分析には大きな課題があります。これらの1つは、人工知能(AI)または機械学習方法の説明可能性に関連しています。現在、そのような方法の多くは、その動作メカニズムに関して非透過的であり、このため、ブラックボックスモデルと呼ばれ、最も顕著なのは深層学習方法です。しかし、これは健康科学や刑事司法を含む多くの分野で深刻な問題を構成することが理解されており、説明可能なAIを支持する議論が提唱されています。このペーパーでは、説明可能なAIを提示する通常の視点を想定していませんが、説明可能なAIの可能性について説明します。違いは、希望的観測ではなく、物理学を超えた科学理論に関連した現実に基づいた特性を提示することです。
The SPECIAL-K Personal Data Processing Transparency and Compliance Platform
SPECIAL-K個人データ処理の透明性およびコンプライアンスプラットフォーム
URL:http://arxiv.org/abs/2001.09461v1
この論文の概要(機械翻訳による和訳)
欧州一般データ保護規則(GDPR)は、組織内および組織間の個人データ処理および共有に関して透明性を提供する必要がある企業に新たな課題をもたらします。さらに、企業は、システムおよびビジネスプロセスがデータ主体によって指定された使用上の制約に準拠していることを実証する必要があります。このホワイトペーパーでは、SPECIAL EU H2020プロジェクト内で開発されたLinkedDataオントロジーとボキャブラリーを最初に紹介します。これは、データサブジェクトによって提供された同意と、その同意に対するその後の変更または取り消しを含む、データ使用ポリシーとデータ処理および共有イベントを表すために使用できます。これに続き、SPECIAL-Kと呼ばれる具体的な透明性とコンプライアンスのアーキテクチャを提案します。このアーキテクチャは、データ処理と共有が関連する使用制御ポリシーに準拠していることを自動的に検証できます。新しい透明性とコンプライアンスのベンチマークに基づいた評価では、イベントとユーザーの数が増加するにつれて、システムの効率とスケーラビリティが示され、幅広い実世界のストリーミングとバッチ処理のシナリオをカバーしています。
Consciousness and Automated Reasoning
意識と自動推論
URL:http://arxiv.org/abs/2001.09442v1
この論文の概要(機械翻訳による和訳)
この論文は、大規模な知識ベースと組み合わせた一次論理推論システムが、どのように人工意識システムとして理解できるかを示すことを目的としています。このために、私たちは心の哲学の分野からのいくつかの側面、特にBaarsのグローバルワークスペース理論をレビューします。これは、ConceptNetをナレッジベースとして持つ推論システムHyperに適用されます。
Sentiment and Knowledge Based Algorithmic Trading with Deep Reinforcement Learning
深層強化学習による感情と知識ベースのアルゴリズム取引
URL:http://arxiv.org/abs/2001.09403v1
この論文の概要(機械翻訳による和訳)
アルゴリズム取引は、その固有の性質により、困難な問題に取り組みます。現実の世界には非常に多くの変数が関係しているため、自動化された株式取引のための信頼できるアルゴリズムを持つことはほとんど不可能です。市場の浮き沈みを決定する物理的および生理学的要因を考慮した信頼できるラベル付きデータの欠如は、信頼できる予測のための教師付き学習の試みを妨げてきました。取引の優れたポリシーを学ぶために、従来の時系列株価データを使用し、それをニュースの見出しセンチメントと組み合わせ、強化グラフを使用してアプローチを策定します。
NLocalSAT: Boosting Local Search with Solution Prediction
NLocalSAT:ソリューション予測によるローカル検索の強化
URL:http://arxiv.org/abs/2001.09398v1
この論文の概要(機械翻訳による和訳)
ブール充足可能性の問題は、コンピューターサイエンスの有名なNP完全問題です。この問題の効果的な方法は、確率的局所探索(SLS)です。ただし、この方法では、初期化はランダムに割り当てられ、SLSソルバーの有効性に影響します。この問題に対処するために、NLocalSATを提案します。 NLocalSATは、SLSとソリューション予測モデルを組み合わせたもので、ニューラルネットワークを使用して初期化の割り当てを変更することでSLSを向上させます。 SATCompetition 2018のランダムトラックに問題がある5つのSLSソルバー(CCAnr、Sparrow、CPSparrow、YalSAT、およびprobSAT)でNLocalSATを評価しました。
A Lagrangian Dual Framework for Deep Neural Networks with Constraints
制約付きのディープニューラルネットワーク用のラグランジアンデュアルフレームワーク
URL:http://arxiv.org/abs/2001.09394v1
この論文の概要(機械翻訳による和訳)
いくつかのエンジニアリング分野でのさまざまな計算上困難な制約付き最適化問題は、異なるシナリオの下で繰り返し解決されます。多くの場合、リアルタイム操作または大規模シミュレーション研究をサポートするために、高速かつ正確な近似の恩恵を受けます。このホワイトペーパーは、これらのアプリケーションのインスタンスを長期にわたって繰り返し解決することにより、蓄積される実質的なデータを活用する方法を探ることを目的としています。ラグランジュの双対性を活用してハードな制約の満足を促すディープラーニングモデルを導入します。提案された方法は、さまざまなデータセットおよび非精密計算アプリケーションに非差別的な決定を強制することにより、現実的なエネルギーネットワークのコレクションで評価されます。結果は、予測者による制約違反を劇的に減少させ、一部のアプリケーションでは予測精度を向上させる提案方法の有効性を示しています。
AI-Powered GUI Attack and Its Defensive Methods
AIを使用したGUI攻撃とその防御方法
URL:http://arxiv.org/abs/2001.09388v1
この論文の概要(機械翻訳による和訳)
最初のグラフィカルユーザーインターフェイス(GUI)プロトタイプが1970年代に発明されて以来、GUIシステムはさまざまなパーソナルコンピューターシステムおよびサーバープラットフォームに展開されてきました。最近、人工知能(AI)テクノロジーの開発により、AIを搭載した悪意のあるマルウェアがGUIシステムの潜在的な脅威として浮上しています。このタイプのGUIベースのAIベースのサイバーセキュリティ攻撃は、本書で検討されています。 (1)マルウェアは、AIベースのオブジェクト認識技術を使用して既存のGUIシステムを攻撃するように設計されています。 (2)その防御的な方法は、インテリジェントなGUI攻撃からの脅威を軽減するために、敵対的な例やその他の方法を生成することによって発見されます。その結果、一般的なGUI攻撃は、現在のAI技術に基づいて簡単な方法で実装および実行でき、その対策は一時的ですが、これまでのGUI攻撃の脅威を緩和するのに効果的であることが示されました。
Generating Representative Headlines for News Stories
ニュース記事の代表的な見出しの生成
URL:http://arxiv.org/abs/2001.09386v1
この論文の概要(機械翻訳による和訳)
毎日何百万ものニュース記事がオンラインで公開されており、読者がフォローするのは圧倒的です。同じイベントを報告している記事をニュース記事にグループ化することは、読者のニュース消費を支援する一般的な方法です。ただし、各ストーリーの代表的な見出しを効率的かつ効果的に生成することは、依然として困難な研究課題です。文書セットの自動要約は何十年も研究されてきましたが、記事のセットの代表的な見出しの生成に焦点を当てた研究はほとんどありませんでした。この作業では、ニュース記事の代表的な見出しを生成する問題を研究します。人間の注釈なしで大規模な生成モデルを訓練するための遠隔監視アプローチを開発します。このアプローチは、2つの技術コンポーネントを中心にしています。まず、さまざまなレベルでさまざまな品質と量のバランスを備えた大量のラベルなしコーパスを組み込むマルチレベルの事前トレーニングフレームワークを提案します。このフレームワーク内で訓練されたモデルは、純粋な人間のキュレートコーパスで訓練されたモデルよりも優れていることを示しています。第二に、複数の記事で共有される顕著な情報を抽出するために、新しい自己投票ベースの記事注目レイヤーを提案します。このレイヤーを組み込んだモデルは、ニュース記事の潜在的なノイズに対してロバストであり、ノイズの有無にかかわらず既存のベースラインよりも優れていることを示します。人間のラベルを組み込むことでモデルをさらに強化することができ、遠方の監督アプローチがラベル付きデータの需要を大幅に減らすことを示しています。