機械学習分野論文まとめ【2020年02月25日arXiv公開】

この論文の概要（機械翻訳による和訳）
最近傍は、異常検出のための成功した長年の技術です。最近、自己管理の深い方法（RotNetなど）によって大きな進歩が達成されました。ただし、自己監視機能は、通常、Imagenetの事前トレーニング機能よりもパフォーマンスが劣ります。この作業では、最近の進歩がImagenetの事前学習済み特徴空間で動作する最近傍メソッドを実際に上回ることができるかどうかを調査します。単純な最近傍アプローチは、精度、少ないショットの一般化、トレーニング時間、ノイズの堅牢性を備えながら、画像分布に関する仮定を少なくして、自己監督法を上回ることが実験的に示されています。

この論文の概要（機械翻訳による和訳）
バッチ正規化には複数の利点があります。これは、損失状況の調整を改善し、驚くほど効果的なレギュラライザーです。ただし、バッチ正規化の最も重要な利点は残余ネットワークで発生し、そこではトレーニング可能な最大の深さが劇的に増加します。この利点の起源を特定します。初期化時に、バッチの正規化は、ネットワークの深さの平方根に比例する正規化係数によって、スキップ接続に比べて残りのブランチをダウンスケールします。これにより、トレーニングの初期段階で、深く正規化された残差ネットワークによって計算された関数が、適切に動作する勾配を持つ浅いパスによって支配されることが保証されます。この洞察を使用して、正規化せずに非常に深い残差ネットワークをトレーニングできる単純な初期化スキームを開発します。また、バッチ正規化により、より大きな学習率で安定したトレーニングが可能になりますが、この利点が役立つのは、大きなバッチサイズでトレーニングを並列化する場合のみです。私たちの結果は、異なるアーキテクチャのバッチ正規化の明確な利点を分離するのに役立ちます。

この論文の概要（機械翻訳による和訳）
Generative Adversarial Networks（GAN）は、DeepNeural Networks（DNN）の革新的なクラスであり、現実的な画像、音楽、テキスト、その他のデータの生成に使用されています。ただし、GANトレーニングはリソースを集中的に使用することで有名であり、多くの課題を抱えていることはよく知られています。生成された例）。対照的に、LogicGANと呼ばれる新しいクラスのGANを提案します。これは、（ロジックベースの）説明可能なAI（xAI）システムの最近の進歩を活用して、識別器からジェネレーターへの「より豊かな」修正フィードバックを提供します。具体的には、弁別者が分類を行った理由を特定するxAIシステムを使用して勾配降下プロセスを修正し、それにより、ジェネレータが弁別者をよりよく欺くのに役立つより豊富な修正フィードバックを提供します。このアプローチを使用して、LogicGANはonMNISTデータをはるかに高速に学習し、Fr ‘echet Inception Distanceで測定されたものと同じ品質を維持しながら、標準GANよりもシングルクラスで45％、マルチクラス設定で12.73％のデータ効率の改善を達成することを示します。さらに、LogicGANを使用すると、ユーザーは標準のGANsystemsよりもモデルの学習方法をより詳細に制御できます。

この論文の概要（機械翻訳による和訳）
Qiaoand Valiant [QV17]によって導入された信頼できないバッチから学習する問題を再検討します。最近、Jain and Orlitsky [JO19]は、多項式時間で本質的に情報理論的に最適な誤差を達成するカットノルムに基づいた単純半有限プログラミングアプローチを与えました。 [CLM19]は、$ mu $が構造化されていると想定される問題の変形を検討しました。対数凹、単調ハザード率、$ t $モーダルなど。この場合、サンプルの複雑度が$ n $で線形でない場合でも同じエラーを達成でき、Haarウェーブレットを使用してこれを行うための準多項式時間アルゴリズムを示しました。 。この論文では、[JO19]と[CLM19]の技術を合成して、両方の長所を提供する魅力的な方法を見つけます。非多項式時間を実行し、基礎となる分布の構造を活用して準線形サンプルの複雑性を達成できるアルゴリズムです。途中で、SDP丸めの必要性を回避し、高次元の堅牢な推定の強力な最近の手法であるソフトフィルタリングのレンズを通してより直接的な解釈を与えることにより、[JO19]のアプローチを単純化します。

この論文の概要（機械翻訳による和訳）
グラフニューラルネットワークは、分子特性の予測において印象的な結果を達成していますが、官能基や分子幾何学など、グラフ内の局所的および隠れた構造を直接考慮していません。各伝播ステップで、GNNは1次の近隣のみで集約し、後続の近隣に含まれる重要な情報とそれらの高次の接続間の関係を無視します。この作業では、メッセージを渡し、高次のパス間で集約するように、グラフニューラルネットを一般化します。これにより、グラフのさまざまなレベルおよび下位構造に情報を伝播できます。分子特性予測のいくつかのタスクでモデルを示します。

この論文の概要（機械翻訳による和訳）
ニューラルネットワーク検証の基本的なコンポーネントは、出力が取りうる値の境界の計算です。以前の方法では、既成のソルバーを使用して問題の構造を破棄するか、問題をさらに緩和して境界を不必要に緩めていました。ラグランジアン分解に基づく新しいアプローチを提案します。私たちの定式化は、効率的な超勾配上昇アルゴリズムと改良された近位アルゴリズムを認めています。両方のアルゴリズムには、次の3つの利点があります。（i）ラグランジュ緩和に依存する以前のデュアルアルゴリズムと少なくとも同じくらい厳密に証明される範囲を生成します。 （ii）ニューラルネットワークレイヤーのフォワード/バックワードパスに類似した操作に基づいているため、簡単に並列化でき、GPU実装に対応し、問題の畳み込み構造を活用できます。 （iii）有効な境界を提供しながら、いつでも停止できます。経験的に、実行時間のほんの一部で既製のソルバーと同等の境界を取得し、以前のデュアルアルゴリズムと同じ時間でより厳密な境界を取得することを示します。これにより、正式な検証に境界を使用する場合の全体的な速度が向上します。

この論文の概要（機械翻訳による和訳）
置換サンプリングを使用しない確率的勾配降下は、モデルトレーニングに広く使用されています。ただし、SGD分析の大部分は置換でサンプリングされたデータを想定しており、最小化された関数が強凸である場合、SGDの実行時に$ mathcal {O} left（ frac {1} {T} right）$レートを確立できます$ T $反復の場合。置換なしのSGD（SGDo）の最近の画期的な研究により、関数最小化が強く凸であり、次の合計である場合、$ mathcal {O} left（ frac {n} {T ^ 2} right）$収束率$ n $の滑らかな関数、および2次関数の合計に対する$ mathcal {O} left（ frac {1} {T ^ 2} + frac {n ^ 3} {T ^ 3} right）$レート。一方、最も厳密な既知の下限は、$ Omega left（ frac {1} {T ^ 2} + frac {n ^ 2} {T ^ 3} right）$レートであり、可能性を残しています。一般的な場合のSGDo収束率の向上。このペーパーでは、このギャップを埋めて、交換なしのSGDが$ mathcal {O} left（ frac {1} {T ^ 2} + frac {n ^ 2} {T ^ 3} rightのレートを達成することを示します。 ）$関数の合計が2次の場合、滑らかな関数の合計である強い凸関数に対して、$ Omega left（ frac {n} {T ^ 2} right）$の新しい下限を提供します。

この論文の概要（機械翻訳による和訳）
パラメータ推定、統計テスト、および信頼セットは、科学者が観測データを生成した根本的なプロセスについて推論できるようにする古典的な統計の基礎です。重要な問題は、いわゆる尤度フリー推論（LFI）設定で、適切なカバレッジと高い検出力を備えた仮説テストと信頼セットを構築できるかどうかです。つまり、尤度が明示的にわかっていないが、確率モデルに従って観測可能なデータをフォワードシミュレーションできる設定です。この論文では、パラメトリック化された分類問題として古典的尤度比検定（LRT）を最初に定式化し、検定と信頼性セットの等価性を使用するLFIへの頻繁なアプローチである$ texttt {ACORE} $（オッズ比推定による近似計算）を提示します関心のあるパラメータの信頼領域を構築します。また、構築されたテストと信頼領域が有効であるかどうかをチェックする適合度の手順を示します。$ texttt {ACORE} $は、LRT統計、テストの棄却確率、およびカバレッジ信頼セットは条件付き分布関数であり、関心のあるパラメーターの関数としてしばしば滑らかに変化します。したがって、（標準のモンテカルロソリューションの慣習である）固定パラメーター設定でシミュレートされたサンプルのみに依存する代わりに、機械学習ツールとパラメーターの近傍でシミュレートされたデータを活用して、関心のある量の推定値を改善できます。 $ texttt {ACORE} $と理論的および経験的結果の両方。実装はGithubで利用できます。

この論文の概要（機械翻訳による和訳）
NSただし、コントローラのトレーニングには、豊富で高品質なアーキテクチャのペアとその精度の両方が必要ですが、アーキテクチャを評価してその精度を得るにはコストがかかります。この論文では、 emph {SemiNAS}を提案します。これは、多数のラベルのないアーキテクチャを活用して（評価なしで、したがってほとんどコストがかからない）コントローラーを改善する半教師付きNASアプローチです。具体的には、SemiNAS 1）アーキテクチャー精度データペアの小さなセットで初期コントローラーをトレーニングします。 2）訓練されたコントローラを使用して、大量のアーキテクチャの精度を予測します〜（評価なし）;および3）生成されたデータペアを元のデータに追加して、コントローラーをさらに改善します。 SemiNASには2つの利点があります。1）同じ精度保証の下で計算コストを削減します。 2）同じ計算コストでより高い精度を実現します。 NASBench-101ベンチマークデータセットでは、約300のアーキテクチャを評価した後、正規化された進化および勾配ベースの方法と比較して1/7の計算コストで、トップ0.01％のアーキテクチャを発見します。 ImageNetでは、4 GPU-daysの検索で24.2％のトップ1エラー率（モバイル設定で）を達成します。さらにLJSpeechテキストtospeechタスクに適用し、低リソース設定で97％の明瞭度、堅牢性設定で15％のテストエラー率を達成し、それぞれベースラインを9％、7％改善しています。コードは、https：//github.com/renqianluo/SemiNASで入手できます。

この論文の概要（機械翻訳による和訳）
金融の標準的な方法と理論は、大規模なデータセットに基づいた金融予測問題の高度に非線形な相互作用を捕捉するには不十分であり、深層学習は複雑なシステムとして市場の相関関係に関する洞察を得る方法を提供します。この論文では、計量経済的に構築された勾配にディープラーニングを適用して、S＆P 500銘柄間のラグ付き相関を学習および活用し、予測のためのターゲット銘柄情報を除外して、安定した不安定な市場環境でモデルの挙動を比較します。時間範囲の影響を測定するために、さまざまな間隔の長さでの日中および毎日の株価の動きを予測し、モデルアーキテクチャを変更して、手元の問題の複雑さを評価します。調査結果は、精度は重要なままであり、株式市場における遅れた相関の悪用可能性を実証しているが、予測期間が短くなると低下することを示しています。現代の金融理論への含意とポートフォリオ管理者の調査ツールとしての私たちの仕事の適用可能性について議論します。最後に、2007/2008の最近の金融危機の環境にさらすことで、不安定な市場でモデルのパフォーマンスが一貫していることを示します。

この論文の概要（機械翻訳による和訳）
クラウドソーシングと共同学習のパラダイムが最近出現したことを考えると、複数の信頼できないデータソースから学習する問題、実際的な関連性を高めるシナリオを研究します。具体的には、学習システムが複数のソースからデータセットを取得する状況を分析します。その中には、偏りがあったり、敵対的に混乱したりするものもあります。単一ソースの場合、トレーニングデータの固定された部分を破壊する力を持つ敵がPAC学習性を妨げる可能性があることが知られています。この作業では、驚いたことに、敵がデータソースの固定部分をarbitrarily意的に破損する可能性があるマルチソース設定でも同じことが言えないことを示しています。主な結果は、この学習設定の有限サンプル保証と対応する下限を提供する一般化限界です。 PAC学習可能性を確立することに加えて、我々の結果は、一部の参加者が悪意がある場合でも、共同学習設定では他の関係者とデータを共有することには実証可能な利点があることも示しています。

この論文の概要（機械翻訳による和訳）
腹側の視覚経路と訓練されたディープニューラルネットワークでの観察によって動機付けられた、クレジットの割り当て問題に対する生物学的に妥当な新しいソリューションを提案します。どちらの場合も、同じカテゴリのオブジェクトの表現は次第に類似し、別のカテゴリに属する​​オブジェクトの類似度は低くなります。この観察を使用して、深層ネットワークでレイヤー固有の学習目標を動機付けます。各レイヤーは、前のレイヤーと後のレイヤーの間を補間する代表的な類似性マトリックスを学習することを目的としています。教師付きの深い類似性マッチングコスト関数を使用してこのアイデアを定式化し、フィードフォワード、ラテラル、フィードバック接続、および生物学的に妥当なヘビアンおよび反ヘビアン可塑性を示すニューロンを含む深層ニューラルネットワークから導出します。教師付き深層類似性マッチングは、エネルギーベースの学習アルゴリズムとして解釈できますが、対比関数がどのように構築されるかについて他とは大きく異なります。

この論文の概要（機械翻訳による和訳）
学習率のスケジュールは、ディープラーニングモデルのパフォーマンスに大きな影響を与えます。それでも、スケジュールの選択は、しばしば試行錯誤的です。私たちは、異なる学習率スケジュールの効果とそれらを選択する適切な方法を正確に理解することを目指しています。この目的のために、トレーニングの2つの異なるフェーズを分離します。最初のフェーズは「大ステップ」レジームと呼ばれ、最適化の観点からはパフォーマンスがやや劣りますが、モデルの一般化の主な要因です。後者の「小ステップ」レジームは、「凸のような」最適化動作をはるかに多く示しますが、単独で使用すると、一般化が不十分なモデルを生成します。これらのレジームを別々に処理し、トレーニングアルゴリズムをそれぞれに特化することで、学習率のスケジュールを大幅に簡素化できることがわかりました。

この論文の概要（機械翻訳による和訳）
最近の研究では、ニューラルネットワーク学習の多くの重要な側面が、トレーニングの非常に初期の反復またはエポック内で行われていることが示されています。 Gur-Ari et al。、2018）、およびネットワークは重要な期間を経ています（Achille et al。、2019）。ここでは、この初期段階のトレーニング中にディープニューラルネットワークが受ける変化を調べます。トレーニングの初期の反復中にネットワーク状態の広範な測定を実行し、Frankle et al。（2019）のフレームワークを活用して、データセットのさまざまな側面の重み分布とその依存性を定量的にプローブします。このフレームワーク内では、ディープネットワークは、符号を維持しながらランダムな重みで再初期化することに対してロバストではなく、わずか数百回の反復後でも重み分布は非常に非依存であることがわかります。この振る舞いにもかかわらず、ぼやけた入力または補助的な自己監視タスクによる事前トレーニングは、監視ネットワークの変化を近似することができ、これらの変化は本質的にラベル依存ではないことを示唆しますが、ラベルはこのプロセスを大幅に加速します。一緒に、これらの結果は、この重要な初期学習期間中に発生するネットワークの変化を解明するのに役立ちます。

この論文の概要（機械翻訳による和訳）
モデルベースの微分自由最適化アルゴリズムは、非モデルベースの方法よりも少ないネットワーククエリを使用して、ディープネットワークの敵対的誤分類を生成できることを示します。具体的には、ブラックボックス設定を検討し、許容される$ ell ^ { infty} $摂動エネルギーを減らすか、敵対的な誤分類に対する防御を使用してネットワークをトレーニングすることにより、タスクをより難しくすることにより、ネットワーククエリの数が影響を受けないことを示します。 BOBYQAアルゴリズムを、遺伝的アルゴリズム、コンビナトリアルアルゴリズム、および直接検索アルゴリズムに基づく最先端のモデルを使用しない敵対的誤分類アプローチと比較することにより、これを説明します。ネットワーク上のhigh $ ell ^ { infty} $エネルギー摂動の場合、前述のsimplermodel-freeメソッドは必要なクエリが最も少ないことがわかります。対照的に、提案されたBOBYQAベースの方法は、摂動エネルギーが減少する場合、またはネットワークが敵対摂動に対して訓練されている場合、最先端の結果を達成します。

この論文の概要（機械翻訳による和訳）
機能選択（FS）は、機械学習の重要なタスクです。モデルの構築またはデータ分析に関連する多くの変数を選択することで構成されます。 RのパッケージFSinRを紹介します。これは、広く知られているさまざまなフィルターおよびラッパーメソッド、および検索アルゴリズムを実装しています。したがって、パッケージは、機能の選択プロセスを実行する可能性を提供します。これは、機能のサブセットのガイド付き検索と、それらのサブセットの評価尺度を返すフィルターまたはラッパーメソッドの組み合わせで構成されます。この記事では、パッケージの使用例と、機能選択のためのメソッドを含むRで使用可能な他のパッケージとの比較に関するいくつかの例を示します。

この論文の概要（機械翻訳による和訳）
自己適応型トレーニング—余分な計算コストをかけずにモデル予測によって問題のあるトレーニングラベルを動的に修正する新しいトレーニングアルゴリズム—潜在的に破損しているディープラーニングトレーニングデータの一般化を改善します。この問題は、たとえば、ラベルノイズや配信不能サンプルによって破損したデータから堅牢に学習するために重要です。ただし、このようなデータの標準的な経験的リスク最小化（ERM）は、ノイズを容易にオーバーフィットする可能性があるため、パフォーマンスが最適化されません。この論文では、モデル予測がトレーニングプロセスに実質的にメリットをもたらすことを観察します。自己適応トレーニングは、さまざまなレベルのノイズの下でERMよりも一般化を大幅に改善し、自然および敵対的トレーニングの両方でオーバーフィットの問題を軽減します。自己適応型トレーニングのエラー容量曲線を評価します。テストエラーは単調に減少しています。モデル容量。これは、ノイズの過剰適合の結果である可能性がある、ERMで最近発見された二重降下現象とは対照的です。 CIFARおよびImageNetデータセットの実験により、ラベルノイズによる分類と選択的分類の2つのアプリケーションでのアプローチの有効性が検証されます。 url {https://github.com/LayneH/self-adaptive-training}でコードをリリースします。

この論文の概要（機械翻訳による和訳）
アルゴリズムの公平性は、主に静的設定で研究されてきました。暗黙の仮定では、過去に行われた決定の頻度は、その後の問題構造に影響を与えません。ただし、たとえば、特定のグループの人々にローンを返済する機能は、そのグループがローン申請を承認した頻度に歴史的に依存する場合があります。銀行が恵まれないグループの人々への融資申し込みを拒否し続けると、フィードバックループが発生し、そのグループの人々のために融資を受ける機会をさらに損なう可能性があります。この課題は最近のいくつかの研究で指摘されていますが、より一般的な逐次学習の設定では未開拓です。このペーパーでは、多腕バンディット（MAB）のコンテキスト内でのアクションのこの遅延および長期的な影響を定式化します。古典的な盗賊設定を一般化して、学習の歴史によるこのアクション「バイアス」の依存関係をエンコードします。私たちの目標は、収集したユーティリティを時間の経過とともに最大化することを学習する一方で、武器のユーティリティに課される公平性の制約を満たし、それが彼らが受け取った決定に再び依存することです。 $ tilde { mathcal {O}}（KT ^ {2/3}）$の後悔を達成し、$ Omega（KT ^ {2/3}）$の一致する後悔の下限を示すアルゴリズムを提案します。ここで、$ K $は武器の数であり、$ T $は学習期間を示します。私たちの結果は、長期的な影響を伴うアクションに対処する手法を追加することにより、山賊の文献を補完し、公正なアルゴリズムの設計に影響を与えます。

この論文の概要（機械翻訳による和訳）
公平性の制約を効果的に実施するには、適切な公平性の概念を定義し、データ消費者のダウンストリームユーティリティを損なうことなくこの概念を課すために表現学習を採用する必要があります。望ましい概念は、同様の個人に対する同様の待遇を保証する個人の公平性です。この作業では、論理的制約を介して個人の公平性を豊富な類似性概念に一般化し、データ消費者がモデルの公平性証明書を取得できるようにする最初の方法を紹介します。重要な考え方は、類似した個人を最大で$ epsilon $離れた潜在的表現に証明できる表現を学習することです。分類子。 6つの実世界のデータセットと広範な公平性制約に関する実験的評価は、このアプローチが、現実的なユースケースにスケーリングしながら既存の距離メトリックを超える類似性の概念をキャプチャするのに十分に表現力があることを示しています。

この論文の概要（機械翻訳による和訳）
グラフ畳み込みネットワーク（GCN）は、頂点単位の操作とノード間のメッセージ受け渡し交換をインターリーブすることにより、グラフデータの推論を実行するニューラルネットワークモデルのファミリーです。後者に関しては、2つの重要な疑問が生じます。（i）微分可能な交換プロトコル（たとえば、元のGCNのa1ホップラプラシアン平滑化）の設計方法、および（ii）ローカル更新に関する複雑さのトレードオフの特性評価方法。この論文では、各ノードで独立して通信ステップの数を調整することにより、最先端の結果を達成できることを示します。特に、各ノードに停止ユニット（Gravesの適応計算時間に触発された）を付与します。その後、すべての交換が通信を継続するかどうかを決定します。提案された適応伝播GCN（AP-GCN）は、追加パラメーターの点でわずかなオーバーヘッドを必要とする一方で、これまでにいくつかのベンチマークで最良の提案モデルに対して優れたまたは類似の結果を達成することを示します。また、コミュニケーションと正確性の間の明示的なトレードオフを実施するために、正規化用語を調査します。 AP-GCN実験のコードは、オープンソースライブラリとしてリリースされています。

この論文の概要（機械翻訳による和訳）
強化学習の文献では、サンプルの複雑さの境界を導出する傾向がありました。環境での経験が$ varepsilon $-最適なポリシーを取得するために必要な回数の限界です。割引コストの無限の地平線設定では、既知のすべての境界に$ 1 /（1- beta）$の多項式の係数があります。ここで、$ beta <1 $は割引係数です。大きな割引係数の場合、これらの境界は、$ varepsilon $-最適ポリシーを達成するために非常に多くのサンプルが必要であることを暗示しているようです。現在の研究の目的は、すべての$ beta <1 $に対して一様に制限されたサンプルの複雑さを持つアルゴリズムの新しいクラスを導入することです。最近の最小-最大下限により、これは不可能であると主張するかもしれません。説明は、この前の下限は特定の問題に対するものであり、$ varepsilon $ -optimalpolicyを取得するという究極の目的を損なうことなく修正することです。具体的には、最適化されたステップサイズシーケンスを使用したQ学習アルゴリズムの漸近分散が$ 1 /（1- beta）$の2次関数であることを示します。予想される、本質的に既知の結果。ここで提案する新しいrelativeQ-learningアルゴリズムは、$ 1 /（1- rho beta）$で2次の漸近分散を持つことが示されています。ここで、$ 1- rho> 0 $は最適な遷移行列のスペクトルギャップです。

この論文の概要（機械翻訳による和訳）
SupRB学習システム、多次元連続決定問題に関する教師あり学習のための新しいピッツバーグスタイル学習分類システム（LCS）を提案します。 SupRBは、例（状況、選択、および関連する品質で構成される）から品質関数の近似値を学習し、最適な選択を行い、特定の状況での選択の品質を予測することができます。 SupRBの適用分野の1つは、産業機械のパラメーター化です。この分野では、機械学習システムの推奨事項の受け入れは、オペレーターの信頼に大きく依存しています。その信頼のための本質的で研究されている成分は予測品質ですが、これだけでは十分ではないようです。少なくとも重要なのは、推奨の背後にある理由の人間が理解できる説明です。人工ニューラルネットワークなどの多くの最先端の方法ではこれに達しませんが、SupRBなどのLCSは、非常に簡単に理解できる人間が読めるルールを提供します。普及しているLCSは、継続的な選択をサポートしていないため、この問題に直接適用できません。このホワイトペーパーでは、SupRBの基礎を築き、積層造形問題の単純化モデルでの一般的な適用性を示します。

この論文の概要（機械翻訳による和訳）
環境が良性であり、確率的に損失を生成する状況で、専門家のアドバイスを使用して予測の基本的な問題を再検討しますが、学習者が観察したフィードバックは中程度の敵対的腐敗の影響を受けます。ステップサイズを小さくした従来の乗法加重アルゴリズムのバリアントは、この設定で一定の後悔を達成し、注入された破損の大きさに関係なく、幅広い環境で最適に実行されることを証明します。私たちの結果は、多くの場合比較可能なフォロー・ザ・レギュラライズド・リーダー（FTRL）とオンラインミラー・ディセント（OMD）フレームワークの間の驚くべき不均衡を明らかにしています：破損した確率的レジームの専門家にとって、OMDの後悔のパフォーマンスは実際にはFTRLのそれよりも厳密に劣っていることを示しています。

この論文の概要（機械翻訳による和訳）
条件付き分布の適合度の2つのノンパラメトリック統計検定を提案します：条件付き確率密度関数$ p（y | x）$と結合サンプルが与えられ、サンプルが$ p（y | x）r_x（x）から引き出されるかどうかを決定します密度が$ r_x $の場合は$。 Steinoperatorで定式化されたテストは、微分可能な条件付き密度モデルに適用でき、正規化定数の知識は必要ありません。 1）テストが固定の代替条件付きモデルに対して一貫していることを示します。 2）統計は簡単に推定でき、中間ステップとして密度推定を必要としません。 3）2番目のテストは、共変量の領域に条件付きモデルがうまく適合しない場所に関する洞察を提供する解釈可能なテスト結果を提供します。ニューヨーク市のタクシー乗り場の場所をピックアップポイントを指定してモデル化するタスクに関するテストの解釈可能性を示します。私たちの知る限り、私たちの仕事は、これらすべての望ましい特性を同時に持つような条件付き適合度テストを提案した最初のものです。

この論文の概要（機械翻訳による和訳）
正のラベルなし（PU）学習では、正のラベルなしデータのみを使用してバイナリ分類器をトレーニングします。一般的な単純化の仮定は、陽性データが標的陽性クラスを代表しているというものです。この仮定は、時間変動、ドメインシフト、または敵対的な概念のドリフトにより、実際にはしばしば違反されます。この論文は、ソースおよびターゲットの分布からラベルのないデータセットが提供された場合、任意の非代表的なポジティブデータでもPU学習が可能であることを示しています。重要な洞察は、負のクラスの分布のみを修正する必要があるということです。このような任意の正のバイアスの下で学習する2つの方法を提案します。前者は負のラベルなし（NU）学習とラベルなし-ラベルなし（UU）学習を組み合わせ、他方はポジティブシフトにロバストな新規再帰リスク推定器を使用します。実験結果は、多数の実世界のデータセットおよび正のデータバイアスの形式全体でのメソッドの有効性を実証します。

この論文の概要（機械翻訳による和訳）
深層学習画像分類器は通常、巨大なトレーニングセットに依存しており、そのトレーニングプロセスはトレーニング画像間の類似点と相違点を学習するものとして説明できます。ただし、大規模なトレーニングセットの画像は通常、この観点からは研究されておらず、画像間の細かいレベルの類似性と相違は通常見過ごされています。影響力のある冗長なトレーニング画像を特定することを目的とする研究もありますが、そのような方法では、トレーニングセット全体で既にトレーニングされたモデルが必要です。ここでは、大規模なトレーニングセットの内容を分析することで、モデルをトレーニングする前に、手元の分類タスクに関する貴重な洞察を提供できることを示します。画像のウェーブレット分解およびその他の画像処理ツールを使用して、このような分析を実行します。事前学習済みモデルは不要です。これにより、トレーニングセットの分析が簡単かつ迅速になります。標準データセット（CIFARなど）の類似画像が数秒で識別できることを示しています。これは、文献の代替方法と比べて大幅に高速化されています。また、トレーニング画像とテスト画像の類似性が、モデルの一般化とその間違いを説明する可能性があることも示しています。最後に、訓練されたモデルの決定境界に関する画像間の類似性を調査します。

この論文の概要（機械翻訳による和訳）
ベイジアンニューラルネットワークでは、ドメインの知識を高次元の重み空間上の事前情報にエンコードすることは困難です。科学アプリケーションでは、一般に2種類のドメイン知識が利用できます。 2.定量化されたS / N比、例えば、分散の割合の説明（PVE）。自動関連性判定を使用して、両方のタイプのドメイン知識を広く使用されているガウススケール混合事前確率にエンコードできることを示します。具体的には、ローカル（つまり、機能固有の）スケールパラメーターよりも新しい共同優先順位を提案して、機能のスパース性に関する知識をエンコードし、PVEに従ってグローバルスケールパラメーター（すべての機能で共有）を決定するアルゴリズムを提案します。経験的に、提案された有益な事前分布は、公開されているデータセットおよび遺伝学アプリケーションでの予測精度を改善することを示しています。

この論文の概要（機械翻訳による和訳）
Dirichlet Belief Network〜（DirBN）は、オブジェクトの解釈可能な深い潜在表現を学習するための有望なアプローチとして最近提案されました。この作業では、その解釈可能なモデリングアーキテクチャを活用して、動的なリレーショナルデータから解釈可能な隠された構造を研究するために、深い動的な確率的フレームワーク-Recurrent DirichletBelief Network〜（Recurrent-DBN）を提案します。提案されたRecurrent-DBNには、次のメリットがあります。（1）タイムステップ内およびタイムステップ間のオブジェクトの解釈可能で組織化された階層的潜在構造を推測します。 （2）動的な確率的フレームワークのほとんどで、一次マルコフ記述よりも優れた、繰り返しの長期的な時間依存性モデリングを可能にします。さらに、新しい推論戦略を開発します。これは、最初に上方および後方に潜在カウントを伝播し、次に下方および前方サンプル変数を伝播して、Recurrent-DBNの効率的なギブスサンプリングを可能にします。 Recurrent-DBNを動的なリレーショナルデータの問題に適用します。現実世界のデータに関する広範な実験結果は、解釈可能な潜在構造の発見と改善されたリンク予測パフォーマンスにおける最新モデルに対するRecurrent-DBNの利点を検証します。

この論文の概要（機械翻訳による和訳）
信頼できるAIは、正確なモデルのトレーニングに加えて、データバイアスとポイズニングが存在する場合の公正かつ堅牢なトレーニングの両方を考慮する必要がある機械学習の重要な問題です。ただし、既存のモデルの公平性手法では、誤ってポイズニングされたデータを追加のバイアスと見なし、パフォーマンスが大幅に低下します。この問題を解決するために、公正かつ堅牢なモデルトレーニングを全体的に実行するFRトレインを提案します。既存の敵対訓練ベースの公正さのみの方法の相互情報ベースの解釈を提供し、この考え方を、クリーン検証セットを使用して汚染データを識別し、その影響を減らすことができる追加の識別器を設計するために適用します。私たちの実験では、FR-Trainは、偏りの緩和と中毒に対する防御の両方によって、データ中毒の存在下で公平性と精度の低下をほとんど示しません。また、クラウドソーシングを使用してクリーンな検証セットを構築する方法を示し、新しいベンチマークデータセットをリリースします。

この論文の概要（機械翻訳による和訳）
Multi-Class Incremental Learning（MCIL）は、以前の概念でトレーニングされたモデルを段階的に更新することにより、新しい概念を学習することを目的としています。しかし、以前の概念を忘れずに新しい概念を効果的に学習するには、固有のトレードオフがあり、潜在的に以前の概念の壊滅的な忘却につながります。この問題を軽減するために、以前の概念のいくつかの例を保持することが提案されていますが、このアプローチの有効性はこれらの例の代表性に大きく依存します。このペーパーでは、ニーモニックと呼ばれる新しい自動フレームワークを提案します。このフレームワークでは、模範をパラメータ化し、エンドツーエンドで最適化できるようにします。 2レベルの最適化、つまりモデルレベルとエグゼンプラーレベルを通じてフレームワークをトレーニングします。 3つのMCILベンチマーク、CIFAR-100、ImageNet-Subset、およびImageNetで広範な実験を実施し、ニーモニックの使用により、エクセプラが最先端を大幅に上回ることができることを示しています。興味深いことに、興味深いことに、ニーモニックの模範はクラス間の境界にある傾向があります。

この論文の概要（機械翻訳による和訳）
統計学習設定でノイズの多いデータを使用して、線形の不適切な逆問題を研究します。ランダムノイズデータからの近似再構成は、ヒルベルトスケールの一般的な正則化スキームで求められます。事前の仮定と特定のリンク条件の下での正規化ソリューションの収束率を検討します。特定の距離関数の観点から誤差を表現します。ソース条件の中間が与えられた滑らかさを備えた回帰関数の場合、エラー境界を明示的に確立できます。

この論文の概要（機械翻訳による和訳）
分類器の調整は、分類器がクラスを分離する能力と常に連動するとは限りません。適切な分類器のキャリブレーション、つまり正確な確率推定を生成する機能がクラスの分離よりも重要なアプリケーションがあります。トレーニング用のデータ量が制限されると、キャリブレーションを改善する従来のアプローチが崩れ始めます。この記事では、キャリブレーション用のデータをさらに生成すると、分類器が適切にキャリブレーションされた出力を生成せず、従来のアプローチが失敗する多くの場合に、キャリブレーションアルゴリズムのパフォーマンスを改善する方法を示します。提案されたアプローチは計算コストを追加しますが、主なユースケースが小さなデータセットであると考えると、この追加の計算コストは​​重要なままであり、予測時間において他の方法に匹敵します。テストされた分類器から、最大の改善がランダムフォレストおよび単純ベイズ分類器で検出されました。したがって、トレーニングに使用できるデータの量が限られており、適切なキャリブレーションが不可欠な場合、少なくともこれらの分類器に対して提案されたアプローチを推奨できます。

この論文の概要（機械翻訳による和訳）
分子動力学（MD）、つまりビッグデータの利用可能性のコンテキストで最も現代的なデータ駆動型の粗視化アプローチの重大な欠点を回避しながら、基礎となる物理学を一貫して埋め込む新しい学習フレームワークを提示します。十分に大きなトレーニングデータセットの生成は、計算が要求されるタスクを引き起こしますが、原子論的構成空間の完全なカバレッジは保証されません。その結果、データ駆動型の粗視化モデルの探索能力は制限され、偏った「予測」ツールを生み出す可能性があります。我々は、利用可能な物理学を原子論的な力場の形で完全に組み込んだ、reverseKullback-Leibler発散に基づく新しい目標を提案します。モデル学習をデータ生成手順から分離するのではなく-後者は、力場によって支配される原子運動のシミュレーションに依存しています-予測粗視化モデルによって提案されたサンプル構成で原子力場を照会します。したがって、学習は力場の評価に依存しますが、MDシミュレーションは必要ありません。結果として生成される粗視化モデルは、原子論的構成を予測し、関連するオブザーバブルを推定するための非効率的な代理モデルとして機能します。予測的な粗視化モデルを取得する以外に、発見された低次元表現では、集合変数（CV）が物理化学的特性に関連していることを示します。予測能力と、二峰性ポテンシャルエネルギー関数とアラニンジペプチドの明らかにされたCVの物理的意味に関して、アルゴリズムの進歩を実証します。

この論文の概要（機械翻訳による和訳）
実際のデータは、多くの場合、ネットワークの形で現れます。例には、ソーシャルネットワーク、引用ネットワーク、生物学的ネットワーク、知識グラフが含まれます。最も単純な形式では、ネットワークは実在のエンティティ（たとえば、人、論文、タンパク質、概念）をノードとして表し、これらのノード間のエッジを使用して他のエンティティとの関係の観点からそれらを記述します。これは、情報の拡散の研究から書誌分析、バイオインフォマティクスの研究、および質問への回答まで、さまざまな目的に役立ちます。しかし、ネットワークの品質はしばしば問題となり、下流のタスクに影響を及ぼします。このホワイトペーパーでは、ネットワークの事実上のノードが複数の実在するエンティティに対応するという一般的な問題に焦点を当てています。特に、ノードの曖昧性解消のためのネットワーク埋め込みに基づくアルゴリズムであるFONDUEを紹介します。ネットワークの場合、FONDUEは、後続の分割のために、複数のエンティティに対応するノードを識別します。 12のベンチマークデータセットに対する広範な実験により、FONDUEは、既存の最新技術と比較して、比較可能な計算コストで、曖昧なノードの識別に対して実質的かつ均一に正確であり、あいまいなノードを分割する最適な方法を決定するのに最適ではないことが実証されています。

この論文の概要（機械翻訳による和訳）
大規模だが有限数の腕を持つ確率的多腕バンディット問題におけるベイジアン後悔を特徴付けます。特に、腕の数$ k $は$ T ^ { alpha} $であると仮定します。ここで、$ T $は時間範囲であり、$ alpha $は$（0,1）$にあります。各アームの報酬分布が共通の事前分布から独立して描かれるベイジアン設定を検討し、この事前分布に関して予想される後悔の完全な分析を提供します。私たちの結果は、$ alpha = 1/2 $の周りに鋭い区別を示しています。 $ alpha <1/2 $の場合、後悔の基本的な下限は$ Omega（k）$です。また、標準UCBアルゴリズムによって実現されます。$ alpha> 1/2 $の場合、後悔の基本的な下限は$ Omega（ sqrt {T}）$であり、最初にサブサンプリングするアルゴリズムによって実現されます$ sqrt {T} $の武器はランダムに一様にランダムに選択され、次にこのサブセットのみでUCBを実行します。興味深いことに、意思決定者は、欲張りアルゴリズムを使用すれば、意思決定者が「無料」探査から利益を得られることもわかります。特に、この欲張りなアルゴリズムは、後の$ tilde {O}（ max（k、T / sqrt {k}））$の後悔を示します。これは、時間の{ em sublinear}（ただし最適ではない）後悔に変換されます。地平線。これは、欲張りアルゴリズムがパフォーマンスの低い武器、多腕政権における有益な特性を急速に破棄するため、これが経験的に示されます。技術的には、グリーディアルゴリズムの分析には、ランダムウォークの破産確率の上限であるルンドバーグ不等式の新規アプリケーションが含まれます。このアプローチは、独立した関心事かもしれません。

この論文の概要（機械翻訳による和訳）
ReLU分類ネットワークのポイント推定値（おそらく最も広く使用されているニューラルネットワークアーキテクチャ）は、トレーニングデータから遠く離れた任意の高い信頼性をもたらすことが示されています。したがって、このアーキテクチャは、最大事後推定スキームと組み合わせて、較正も堅牢もされません。このようなベイズ近似の理論的分析は限られていますが、ニューラルネットワークの予測不確実性を改善するために、近似ベイズ推定が経験的に実証されています。 ReLUネットワークの重みに関する近似ガウス事後分布を理論的に分析し、それらが過信頼問題を修正することを示します。これは、ReLUネットワークで較正された不確実性の十分条件が「bitBayesianであること」であることを示しています。これらの理論的結果は、最後の層のベイジアン近似の使用を検証し、忠実度とコストのトレードオフの範囲を動機付けます。さらに、一般的なディープReLUネットワークとラプラス近似を使用したさまざまな標準実験により、これらの調査結果を実証的に検証します。

この論文の概要（機械翻訳による和訳）
APAC-Net、確率的平均場ゲーム（MFG）を解決するための交互の人口とエージェント制御ニューラルネットワークを提示します。私たちのアルゴリズムは、既存の解法では手の届かない高次元のインスタンスMFGを対象としています。これを2つのステップで実現します。まず、MFGが示す基本的な変分原始双対構造を利用し、凸凹FG点問題として表現します。次に、2つのニューラルネットワークによってそれぞれ値と密度関数をパラメーター化します。この方法で問題を表現することにより、MFGの解決は、生成的敵対的生成ネットワーク（GAN）をトレーニングする特別なケースとして解釈できます。最大50次元のMFG問題に関する本手法の可能性を示します。

この論文の概要（機械翻訳による和訳）
形状をニューラルネットワークのレベルセットとして表現することは、さまざまな形状分析および再構築タスクに役立つことが最近証明されました。これまで、このような表現は次のいずれかを使用して計算されました。または（ii）ニューロレベルセットで明示的に定義された損失関数。この論文では、生データ（つまり、通常の情報の有無にかかわらずポイントクラウド）から高忠実度の暗黙の神経表現を直接計算するための新しいパラダイムを提供します。ニューラルネットワークが入力ポイントクラウド上で消滅し、単位ノルムの勾配を持つようにするかなり単純な損失関数は、滑らかで自然なゼロレベルセットサーフェスに有利な暗黙の幾何学的正則化プロパティを持ち、不良ゼロ損失ソリューションを回避することがわかります。線形の場合のこの特性の理論的分析を提供し、実際には、我々の方法が、以前の方法と比較して、より高い詳細レベルと忠実度を備えた人工的な神経表現の状態につながることを示します。

この論文の概要（機械翻訳による和訳）
敵対者の訓練は、敵対攻撃に対するニューラルネットワークの堅牢性を高めるための最も成功した経験的方法です。残念ながら、この高い堅牢性には、かなり高い計算上の複雑さが伴います。今日まで、Projected Gradient Descent（PGD）のような高価なマルチステップ攻撃による攻撃トレーニングのみが、同様に強力な攻撃に対して効果的であることが証明されました。このホワイトペーパーでは、敵対者のトレーニングを計算的に安価な高速勾配符号法（FGSM）と組み合わせた2つのアイデアを紹介します。まず、FGSM攻撃の初期データポイントに均一なノイズを追加します。これにより、さまざまな強力な敵が作成されます。さらに、Stochastic Augmentation Layer（SAL）と呼ばれる、ニューラルネットワークの前に学習可能な正則化ステップを追加します。 SALを伝播した入力は、ガウス分布からリサンプリングされます。推論時のリサンプリングのランダム性は、モデルの結果が事前に知られていないため、攻撃者が敵対的な例を構築することをより複雑にします。 FGSM敵対訓練と組み合わせたノイズ注入は、PGDを使用した敵対訓練と同等の結果を達成すると同時に、桁違いに高速であることを示しています。さらに、ノイズ注入とSALを組み合わせた場合、PGDベースのトレーニングと比較して優れた結果を示します。

この論文の概要（機械翻訳による和訳）
大規模なニューラルネットワークの複雑さにより、内部の詳細を十分に理解できない可能性があります。この不透明性は、敵がトロイの木馬の形で意図しない機能をネットワークに埋め込む機会を提供することを示しています。私たちの新しいフレームワークは、良性のトランスポートネットワーク内に任意の望ましい機能を備えたトロイの木馬の存在を隠します。私たちの論文は、機械学習のセキュリティと信頼性を潜在的に損なう可能性のある、以前は知られていない重要な抜け穴を明らかにしています。

この論文の概要（機械翻訳による和訳）
訓練された機械学習（ML）モデルからデータを削除することは、多くのアプリケーションで重要なタスクです。たとえば、古くなったり外れ値になったりする可能性のあるトレーニングポイントの影響を削除することができます。 EUの一般データ保護規則などの規則も、個人がデータの削除を要求できることを規定しています。データ削除の単純なアプローチは、残りのデータでMLモデルを再トレーニングすることですが、これには時間がかかりすぎます。さらに、ほとんどのMLmodelからデータを正確に削除する既知の効率的なアルゴリズムはありません。この作業では、訓練されたモデルからの近似データ削除のためのいくつかのアプローチを評価します。線形回帰の場合、特徴次元$ d $に線形依存する新しい手法を提案します。これは、次元に超線形の時間依存を持つ既存のすべての手法に比べて有意なゲインです。また、線形モデルからのデータ削除を評価するための新しいテストを提供します。

この論文の概要（機械翻訳による和訳）
数十年にわたる研究と適応制御と強化学習の最近の進歩にもかかわらず、有限でノイズの多いデータで推定されたモデルから生じる固有の非漸近的不確実性に堅牢性を提供するコントローラーの設計についての理解が根本的に不足しています。このような非漸近的不確実性を制御設計に明示的に組み込む堅牢な適応制御アルゴリズムを提案します。アルゴリズムには3つのコンポーネントがあります。（1）最小二乗ノミナルモデル推定量。 （2）ノミナルモデル推定の非漸近的分散を定量化するブートストラップリサンプリング方法。 （3）乗法性ノイズを伴う最適線形二次レギュレータ（LQR）を使用した従来にない堅牢な制御設計法。提案されたアプローチの重要な利点は、システム識別と堅牢な制御設計手順の両方が確率的不確実性表現を使用するため、実際の固有の統計的推定の不確実性は、堅牢なコントローラが設計されている不確実性と直接一致することです。数値実験を通して、提案されたロバストな適応コントローラーが、期待される後悔と後悔リスクの測定の両方で、確実性等価コントローラーを大幅に上回ることができることを示します。

この論文の概要（機械翻訳による和訳）
クレジットスコアリングやアカデミックテストなど、多くの予測的意思決定シナリオでは、意思決定者は、より良い意思決定を受け取るために、エージェントの機能を「ゲーム」するインセンティブを説明するモデル（何らかの結果を予測）を構築する必要があります。戦略的分類の文献では、一般的にエージェントの結果はその機能に因果的に依存していないと想定しています（したがって、戦略的行動は嘘の形です）が、エージェントの結果を変更可能な属性の関数としてモデリングする際に並行作業に参加します。重大な現象を取り入れます：観察可能な機能を変更するためにエージェントが行動するとき、彼らは副作用として彼らの本当の結果に因果的に影響する隠された機能を混乱させるかもしれません。意思決定者のモデルには、エージェントのゲーム後の結果を正確に予測する（精度）、これらの結果を改善するためのインセンティブエージェント（改善）、および線形設定で真の因果モデルの可視係数を推定する（因果精度）。主な貢献として、エージェントの可能なアクションを事前に知らなくても、データから直接、線形最適化モデルを精度最適化、改善最適化、および因果精度最適化を学習するための最初のアルゴリズムを提供します。これらのアルゴリズムは、ミラーらの硬度結果を回避します。 （2019）意思決定者が一連の意思決定ルールに対するエージェントの反応を観察できるようにすることにより、エージェントが無料で因果介入を実行できるようにします。

この論文の概要（機械翻訳による和訳）
オンチップのエッジインテリジェンスにより、現在の機械学習フレームワークの計算要件を軽減するためのアルゴリズム技術の調査が必要になりました。この作業は、バイナリニューラルネットワークとスパイキングニューラルネットワークのトレーニングに関する最近のアルゴリズムの進歩を橋渡しすることを目的としています。 Spiking Neural Networksを極端な量子化レジームでトレーニングすると、CIFAR- $ 100 $やImageNetなどの大規模データセットでほぼ完全な精度の精度が得られることがわかります。この作業の重要な意味は、バイナリスパイクニューラルネットワークは、バイナリ化による精度の低下を招くことなく、バイナリニューラルネットワーク用の「インメモリ」ハードウェアアクセラレータによって有効にできることです。非スパイキングネットワークの標準的なトレーニング手法を使用して、変換プロセスによってスパイキングネットワークを生成し、広範な実証分析を実行し、スパイキングネットワークの推論レイテンシを削減するための単純な設計時および実行時の最適化手法を検討します（バイナリモデルと完全精度モデルの両方）前の仕事に比べて桁違いに。

この論文の概要（機械翻訳による和訳）
1D-CNNを使用した時系列分類タスクでは、モデルが長い時系列から適切なscalesalient信号をキャプチャできるようにするために、カーネルサイズの選択が非常に重要です。 1D-CNNに関する既存の作業のほとんどは、カーネルサイズをハイパーパラメーターとして扱い、時間と効率が悪いグリッド検索を介して適切なカーネルサイズを見つけようとします。本稿では、カーネルサイズが1D-CNNのパフォーマンスにどのように影響するかを理論的に分析します。カーネルサイズ設定用の特定の設計が開発されており、非常に少数のカーネルサイズオプションを集めて、より受容的なフィールドを表すことができます。提案されたOS-CNNメソッドは、85個のデータセットを持つUCRアーカイブを使用して評価されます。実験結果は、重要な差異図、勝ち数、平均精度など、複数のパフォーマンスインジケータにおいて、この方法がより強力なベースラインであることを示しています。また、GitHub（https://github.com/Wensi-Tang/OS-CNN/）で実験的なソースコードを公開しました。

この論文の概要（機械翻訳による和訳）
ベイジアン学習ルールは最近提案された変分推論法であり、特殊なケースとして多くの既存の学習アルゴリズムを含むだけでなく、新しいアルゴリズムの設計も可能にします。残念ながら、事後パラメータがオープンな制約セットにある場合、ルールは制約を満たさない可能性があり、アルゴリズムを遅くする可能性のある行検索が必要になります。このペーパーでは、制約を自然に処理する改善されたルールを提案することにより、正定制約のこの問題を修正します。修正は、リーマン勾配法を使用して取得され、近似が emph {ブロック座標の自然なパラメーター化}（たとえば、ガウス分布とそれらの混合）を達成するときに有効です。この方法は、計算を大幅に増やすことなく、既存の方法よりも優れています。この作業により、パラメータ空間に正定制約がある場合に学習ルールを適用しやすくなります。

この論文の概要（機械翻訳による和訳）
正準相関分析（CCA）は、多くの画像化変数と非画像化変数の間の関連性の調査を可能にする人口神経イメージングの重要なツールになりました。年齢、性別、その他の変数は直接的な関心のない変動源であることが多いため、以前の研究では、これらの影響を除去するモデルからの残差にCCAを使用し、順列推論に直接進みました。このようなデータ調整された迷惑変数の共有変動の重要なモードを識別するために通常使用される単純な置換テストは、エラー率を増大させることを示しています。その理由は、残差化により、交換可能性の仮定に違反する観測間に依存関係が生じるためです。ただし、迷惑な変数がない場合でも、CCAの単純な順列検定は、最初の相関以外のすべての正準相関の過剰エラー率にもつながります。その理由は、単純な置換スキームは、低ランクの標準変数によってすでに説明された変動性を無視しないからです。ここでは、両方の問題の解決策を提案します。迷惑変数の場合、交換可能性が保持される低次元空間に残差を射影すると、有効な置換テストが行​​われることを示します。迷惑変数の有無にかかわらず、より一般的なケースでは、正準相関を段階的に推定し、各反復で既に説明した分散を除去することを提案します。また、クロージャを介して多数のテストに対処する方法についても説明します。これにより、保守的ではない許容可能なテストになります。また、CCAの置換推論のための完全なアルゴリズムも提供します。

この論文の概要（機械翻訳による和訳）
辞書学習は、信号処理とデータ分析に広く適用されている古典的な表現学習方法です。この論文では、理論的およびアルゴリズム的側面からの完全な辞書学習問題に対する$ ell_p $ -norm（$ p> 2、p in mathbb {N} $）ファミリの最大化アプローチを調査します。具体的には、ガウスノイズが存在する場合でも、これらの公式のグローバルマキシマイザーが高い確率で真の辞書に非常に近いことを証明します。一般化されたべき乗法（GPM）に基づいて、$ ell_p $ベースの定式化のための非効率的なアルゴリズムが開発されます。さらに、開発されたアルゴリズムの有効性を示します：球制約上の人口GPMalolithmの場合、まずグローバルマキシマイザーの近傍に入り、次にこの領域で線形に収束します。広範な実験により、$ ell_p $ベースのアプローチは、従来のアプローチよりも高い計算効率と優れた堅牢性を享受し、$ p = 3 $が最高のパフォーマンスを発揮することが実証されます。

この論文の概要（機械翻訳による和訳）
この調査では、オマーン湾を通じてさまざまな場所の風力エネルギー資源を調査し、気候変動の影響による将来の変動性も調査します。これに関連して、CORDEX-MENAsimulationsから得られた地表付近のEC-EARTH出力は、エネルギーの歴史的および将来の予測に使用されます。 ERA5風データは、気候モデルの適合性を評価するために使用されます。さらに、調査地域のERA5波データは、海面粗さを計算するために適用されます。電力分布、海底地形、コートからの距離を考慮し、いくつかのスポットは、一時的エネルギーのホットスポットとして、方向と時間の変動性の詳細な評価を提供し、気候変動の影響研究を調査します。一般的な気候シナリオとしてのRCP8.5は、選択したサイトのエネルギーの将来の変動を予測および抽出するために使用されます。この調査の結果は、選択された場所が風力タービン計画および建設に適した可能性を持っていることを示しています。

この論文の概要（機械翻訳による和訳）
このホワイトペーパーでは、Deep Reinforcement Learning（DRL）のサンプルの複雑さの原因を検討し、環境状態の有用な表現の学習の要件からどれだけ派生するか、そしてどれだけがポリシー学習のサンプルの複雑さに起因するかを尋ねます。 DRLエージェントの場合、表現とポリシーの区別は明確ではないかもしれませんが、一連の転移学習実験を通じて新しい洞察を求めています。各実験では、同じゲームまたは関連するゲームのいずれかでトレーニングされたレイヤーの一部を保持し、転移学習の利点とポリシーをゼロから学習することの利点を比較します。興味深いことに、転送によるメリットは一般的に非常に変化しやすく、タスクのペア間で非対称であることがわかります。私たちの実験は、おそらくより単純な環境からの転送により、より複雑な下流のタスクのパフォーマンスが向上する可能性があり、有用な表現を学習する要件は、環境に基づいて無視できるものからサンプルの複雑さの大部分に及ぶ可能性があることを示唆しています。さらに、転送されたレイヤーがフリーズされた状態で微調整を行うと、通常、ストレインよりもパフォーマンスが向上することがわかります。

この論文の概要（機械翻訳による和訳）
単変量の場合、単変量の原因と結果の個々の複雑さを比較することにより、相互作用をまったく考慮せずに原因と結果を特定できることを示します。私たちのフレームワークでは、分布の分位点で動作するオートエンコーダーの再構成エラーによって複雑さが捕捉されます。各変数に1つずつある2つのオートエンコーダーの再構築エラーを比較すると、受け入れられた因果性指向性ベンチマークで驚くほど良好に機能することが示されています。したがって、2つのうちどちらが原因であり、どちらが結果であるかについての決定は、因果関係ではなく複雑さに基づいている可能性があります。原因と効果の複雑さのバランスをとることができる多変量の場合、因果モデルのもつれを解いた構造を模倣する新しい敵対訓練方法を提案します。多次元の場合、このようなモデリングは因果関係の方向にのみデータに適合する可能性が高いことを証明します。さらに、一意性の結果は、学習モデルが基礎となる因果および残留（ノイズ）成分を識別できることを示しています。私たちの多次元法は、合成データセットと実世界データセットの両方で文献の方法よりも優れています。

この論文の概要（機械翻訳による和訳）
入力$ I $を関数$ h_I： mathcal {X} to mathbb {R} $にマッピングする学習のコンテキストでは、2つの代替方法を比較します。（i）固定ベースを学習する埋め込みベースの方法$ I $がコンディショニング信号$ e（I）$としてエンコードされ、学習した関数が$ h_I（x）= q（x、e（I））$の形式をとる関数、および（ii）ハイパーネットワーク関数$ h_I（x）= g（x; theta_I）$の重み$ theta_I $は、ハイパーネットワーク$ f $ as $ theta_I = f（I）$によって与えられます。 〜 cite {devore}の理論を拡張し、関数近似としてニューラルネットワークの複雑さの下限、つまりトレーニング可能なパラメーターの数を提供します。この拡張により、近似法が堅牢である必要がなくなります。次に、結果を使用して、$ q $と$ g $の複雑さを比較し、特定の条件下で、関数$ e $と$ f $を希望するだけ大きくすると、$ g $は数桁。さらに、近似される関数の一般的な仮定では、ハイパーネットワークのトレーニング可能なパラメーターの総数は、標準のニューラルネットワークと埋め込み方法のトレーニング可能なパラメーターの数よりも桁違いに小さいことを示します。

この論文の概要（機械翻訳による和訳）
NeurIPS 2019の解きほぐしチャレンジへのステージ1提出に対するこのレポートは、画像を直接使用する場合と比較して解きほぐしの改善につながるVAEをトレーニングするための簡単な画像前処理方法を示しています。特に、ImageNetで事前トレーニングされたCNNから抽出された、地域的に集約された機能マップを使用することを提案します。この方法は、チャレンジのステージ1で2位になりました。コードはhttps://github.com/mseitzer/neurips2019-disentanglement-challengeで入手できます。

この論文の概要（機械翻訳による和訳）
トンプソンサンプリングは、理論と実践の両方で良好なパフォーマンスを享受することが知られている多腕バンディット問題の方法論です。ただし、反復ごとに事後分布からのサンプルが必要なため、計算上の大きな制限があります。この問題に対処するために、トンプソンサンプリングに合わせた2つのマルコフチェーンモンテカルロ（MCMC）メソッドを提案します。迅速に収束するランジュバンアルゴリズムを構築して、精度が保証された近似サンプルを生成し、新しい事後集中率を活用して、結果の近似トンプソンサンプリングアルゴリズムの遺retを分析します。さらに、MCMCプロシージャに必要なハイパーパラメータを指定して、計算の複雑さを抑えながら、インスタンスに依存する最適な周波数後悔を最適に保証します。特に、当社のアルゴリズムは、事後集中とサンプル再利用メカニズムの両方を利用して、各ラウンドで一定数の反復と一定量のデータのみが必要であることを保証します。結果として得られる近似Thompsonサンプリングアルゴリズムには対数的後悔があり、その計算の複雑さはアルゴリズムの時間範囲に応じて拡大縮小しません。

この論文の概要（機械翻訳による和訳）
一般的な状態空間の隠れマルコフモデル（HMM）の尤度の誤指定の下で推論するためのフレームワークを紹介します。特に、一般化ベイジアン推論（GBI）の損失理論的観点を活用して、HMMの一般化されたフィルタリングの再帰を定義します。そうすることで、$ beta $発散による観測汚染に対するロバストな推論のための原則的な手順に到達します。提案されたフレームワークの運用は、逐次モンテカルロ法（SMC）によって可能になります。標準の粒子法とそれに関連する収束結果は、新しい設定に容易に一般化されます。オブジェクトトラッキングとガウスのプロセス回帰問題へのアプローチを示し、標準のフィルタリングアルゴリズムよりもパフォーマンスが向上することを確認します。

この論文の概要（機械翻訳による和訳）
ベイジアン最適化は、一般的にグローバル最適化に焦点を当てた、データ効率の良いモデルベースのアルゴリズムのクラスです。ユーザーが状態変数で条件付きで最適化する必要がある複数の問題に直面しているより一般的なケースを検討します。たとえば、異なる患者分布を持つ都市の範囲を与えられた患者分布に条件付けられた救急車の位置を最適化します。目標間の類似性は、2つの方法で各目標の最適化を後押しします：目標間でデータを共有することによるモデリング、および1つの目標の単一ポイントからすべての目標がどのように恩恵を受けるかを定量化することによる獲得。このために、新しいハイブリッド知識勾配法に基づいた新しい効率的なアルゴリズムであるConBOを提案します。これは、合成および実世界の問題で最近公開された作品よりも優れており、ポイントのバッチの収集に簡単に並列化できます。

この論文の概要（機械翻訳による和訳）
モバイルヘルス（mHealth）では、パーソナライズされたポリシーを学習せずに自分のコンテキストに適応する強化学習アルゴリズムは、個人のニーズを区別できない場合があります。しかし、mHealth介入のその場での配信に起因する大量のノイズは、単一のユーザーのデータのみへのアクセスが与えられたときに学習するアルゴリズムの能力を損なう可能性があり、パーソナライズが困難になります。 IntelligentPoolingは、他のユーザーのデータを適応的かつ原則的に使用することにより、パーソナライズされたポリシーを学習します。 IntelligentPoolingは、すべての生成モデルで最新技術よりも平均で26％低い後悔を達成していることを示しています。さらに、このアプローチの動作を実際の臨床試験で検証し、少数のユーザーグループからでも学習できることを実証します。

この論文の概要（機械翻訳による和訳）
決定境界に関するモデルのバイアスと分散の研究は、教師付き分類において非常に重要です。より多くの境界トレーニングサンプルに対応するための分類モデルの決定境界の微調整（すなわち、より高いモデルの複雑さ）は、トレーニングの精度を向上させる（すなわち、バイアスを低くする）が、見えないデータに対する一般化を妨げる（すなわち、より高い分散）。分類境界の微調整とモデルの複雑さだけに焦点を当てることにより、バイアスと分散の両方を減らすことは困難です。このジレンマを克服するために、異なる視点を取り、ラベルが概念的であり、ラベル付けが人間のアノテーターによって実行される多くのアプリケーションで避けられないトレーニングデータラベルの不正確さと不確実性を処理する新しいアプローチを調査します。分類プロセスは、トレーニングデータのラベルの不確実性によって損なわれる可能性があります。不正確にラベル付けされたポイントに対応するために境界を拡張すると、バイアスと分散の両方が増加します。私たちの新しい方法は、トレーニングセットのポイントワイズラベル不確実性を推定し、それに応じてトレーニングサンプルの重みを調整して、不確実性の高いサンプルを重み付けし、不確実性の低いサンプルを重み付けすることにより、バイアスと分散の両方を減らすことができます。この方法では、不確実なサンプルは、モデルの学習アルゴリズムの目的関数への寄与が小さく、決定境界への引き込みが少なくなります。現実世界の身体活動認識のケーススタディでは、データには多くのラベル付けの課題があり、この新しいアプローチがモデルのパフォーマンスを改善し、モデルの分散を低減することを示しています。

この論文の概要（機械翻訳による和訳）
ディープニューラルネットワークの膨大な推論コストは、ネットワーク圧縮によって縮小できます。プルーニングは、ディープネットワーク圧縮に使用される主要なアプローチの1つです。ただし、既存のプルーニングテクニックには、次の1つ以上の制限があります。1）プルーニングおよび微調整ステージによる計算量の多いトレーニングステージの追加のエネルギーコスト、2）特定の統計に基づいたレイヤーごとのプルーニング、効果を無視ネットワーク内のエラー伝播の原因、3）重要なチャネルをグローバルに決定するための効率的な推定の欠如、4）非構造化プルーニングには、効果的な使用のための特殊なハードウェアが必要です。上記のすべての問題に対処するために、機能関連スコアと呼ばれる新しいデータ駆動型メトリックを使用した方法論のトレーニング中に、シンプルで効果的な段階的なチャネルプルーニングを提示します。提案された技術は、実際のトレーニング段階中に固定された間隔で構造化された方法で最も重要でないチャネルをプルーニングすることにより、追加の再トレーニングサイクルを取り除きます。機能関連性スコアは、ネットワークの識別力に対する各チャネルの寄与を効率的に評価するのに役立ちます。CIFAR-10、CIFAR-100、ImageNetなどのデータセットを使用して、VGGやResNetなどのアーキテクチャで提案された方法論の有効性を実証し、 $ 1 ％$未満の精度でトレードオフしながら大幅なモデル圧縮。特に、ResNet-110でトレーニングされたCIFAR-10データセットでは、プルーニングされていないネットワークに比べて精度が$ 0.01 ％$低下し、FLOPの$ 2.4 times $圧縮と$ 56 ％$削減を実現します。

この論文の概要（機械翻訳による和訳）
いくつかの注目に値する努力にもかかわらず、ReLUネットなどの決定論的なディープネットの一般化の説明は困難なままでした。既存のアプローチは通常、そのような深いネットのリプシッツ定数を制限する必要がありますが、そのような制限は、空虚な一般化制限をもたらすトレーニングサンプルの数とともに大幅に増加することが示されています[Nagarajan and Kolter、2019a]。この論文では、決定論的な非凸および非平滑予測子、たとえばReLU-netsの新しい非ランダム化PAC-Bayesマージン境界を提示します。境界は、重みの$ L_2 $ノルムと予測子の有効曲率（「フラットネス」）の間のトレードオフに依存し、Lipschitzconstantへの依存を回避し、トレーニングセットサイズの増加とともに意味のある（減少する）境界を生成します。私たちの分析は、最初に、凸ではないが滑らかな予測子、例えば線形深層ネットワーク（LDN）の非ランダム化引数を開発します。次に、特定の入力に対して滑らかな予測子として実現する非平滑予測子、たとえば、ReLU-netは特定の入力に対してLDNになりますが、実現される予測子は入力によって異なる場合があります。このような非平滑予測子について、構造上の分布と平滑予測子のパラメーターを維持する新しいPAC-Bayes分析を導入します。たとえば、ReLUネットに対応するLDNは、非ランダム化後に決定論的な非平滑予測子の範囲を生成します。ラベルのトレーニングセットサイズとランダム性の変更に対する境界の有効性を示すために、経験的な結果を提示します。

この論文の概要（機械翻訳による和訳）
ガウス過程（GP）は、不確実性をモデル化する最も成功したフレームワークの1つです。ただし、GPの最適化（GP-UCBなど）には、大きなスケーラビリティの問題があります。実験時間は、候補がバッチで選択され（例：GP-BUCBを使用）、並行して評価されない限り、評価の数に比例して増加します。さらに、GP-BUCBなどのアルゴリズムでは、各バッチを選択するために次元と反復の数が少なくとも2次である必要があるため、計算コストが非常に高くなることがよくあります。このホワイトペーパーでは、BBKB（バッチバジェットカーネルバンディット）を紹介します。これは、ほぼ線形の時間で実行可能で、バッチでスキャン候補を選択する可能性のある最初の無後悔GP最適化アルゴリズムです。これは、BBKBが次第に大きくなるバッチを選択できるようにする事後分散の追跡の新しい保証で得られ、GP-BUCBよりも改善されます。さらに、BBKBが使用するスパースGP近似に対するコストの高い更新を適応的に遅延させるために同じ境界を使用できることを示し、ほぼ一定のステップごとの償却コストを達成します。これらの発見は、BBKBが最先端の方法よりもはるかに速いいくつかの実験で確認されています。

この論文の概要（機械翻訳による和訳）
クレジットスコアリングは、間違いなく分析の最も古いアプリケーションの1つです。近年、クレジットスコアリングモデルの統計的パフォーマンスを改善するために、多数の洗練された分類手法が開発されました。技術自体に注目する代わりに、このペーパーでは、代替データソースを活用して、統計モデルと経済モデルの両方のパフォーマンスを向上させています。この研究は、新しいビッグデータソースが利益測定と利益ベースの機能選択を適用することにより、利益に関して付加価値をもたらしているため、肯定的なクレジット情報のコンテキストでコールネットワークを含める方法を示しています。コール詳細レコード、顧客のクレジットおよびデビットアカウント情報を含むデータセットの一意の組み合わせを使用して、クレジットカード申請者のスコアカードを作成します。コール詳細レコードはコールネットワークを構築するために使用され、高度なソーシャルネットワーク分析技術は、インフルエンススコアを生成するためにネットワーク全体に以前のデフォルト設定者からの影響を伝播するために適用されます。結果は、AUCで測定した場合、コール詳細レコードとクレジットスコアリングモデルの従来のデータを組み合わせることで、パフォーマンスが大幅に向上することを示しています。利益の面では、最良のモデルは、呼び出し機能のみで構築されたモデルです。さらに、呼び出し動作機能は、統計的および経済的なパフォーマンスの両方の点で、他のモデルで最も予測的です。結果は、通話詳細記録の倫理的使用、規制への影響、経済的包含、およびデータ共有とプライバシーの観点から影響を及ぼします。

この論文の概要（機械翻訳による和訳）
多くの現代の機械学習モデルでは、パフォーマンスを向上させるためにハイパーパラメーターを広範囲にチューニングする必要があります。このプロセスを自動化および迅速化するために、ベイジアン最適化などのさまざまな方法が開発されていますが、通常は繰り返しトレーニングモデルを必要とするため、チューニングは非常にコストがかかります。各トレーニングの例によって提供された情報の相対的な量を考慮することにより、ニューラルネットワークのハイパーパラメーターチューニングへのベイズ最適化アプローチを加速することを提案します。そのために、重要度サンプリング（IS）を活用します。これにより、ブラックボックス関数の評価の質が大幅に向上しますが、ランタイムも大幅に向上するため、慎重に行う必要があります。ハイパーパラメーター検索と重要度サンプリング設計の両方に対するマルチタスクベイジアン最適化問題としてのハイパーパラメーター検索のキャストは、両方の長所を実現します。さまざまなデータセットおよび複雑なニューラルアーキテクチャにわたる最終検証エラー。

この論文の概要（機械翻訳による和訳）
教師あり学習用のディープニューラルネットワーク（DNN）は、特徴抽出器（つまり、最後の隠れ層）および確率的勾配降下法（SGD）と共同でトレーニングされる線形分類器（つまり出力層）のアピパイプラインと見なすことができます。 SGDの各反復で、トレーニングデータからミニバッチがサンプリングされ、損失関数の真の勾配が、このミニバッチで計算されたノイズ勾配として推定されます。特徴学習の観点からは、特徴抽出器を更新して、データ全体に関して意味のある特徴を学習し、ミニバッチのノイズへの適応を減らす必要があります。この動機により、DNNトレーニングを改善し、過剰適合を減らすために、イントレーニング分布マッチング（ITDM）を提案します。具体的には、損失関数とともに、ITDMは、SGDの各反復で異なるミニバッチの分布のモーメントを一致させることにより、特徴抽出器を正規化します。これは、最大平均不一致を最小化することで実現されます。そのため、ITDMは、潜在機能空間でのデータ配信の明示的なパラメトリック形式を想定していません。提案された戦略の有効性を実証するために、広範な実験が実施されています。

この論文の概要（機械翻訳による和訳）
創薬では、化合物のグラフ構造に関する知識が不可欠です。化学および薬学の何千もの科学論文が化合物を調査しましたが、これらの化合物の構造の詳細が画像としてのみ公開されている場合があります。これらの画像を自動的に分析し、それらを化学グラフ構造に変換するツールは、薬物発見などの多くのアプリケーションに役立ちます。そのようなツールがいくつか使用可能であり、それらは主に光学式文字認識から派生しています。ただし、これらのツールのパフォーマンスを評価すると、正しい結合多重度と立体化学情報を検出する際にしばしばミスを犯すことがわかります。さらに、エラーにより、結果のグラフで原子が欠落することがあります。私たちの仕事では、機械学習に基づく化合物認識手法を開発することでこれらの問題に対処します。具体的には、光学化合物認識のためのディープニューラルネットワークモデルを開発します。ここで紹介する深層学習ソリューションは、セグメンテーションモデルと、それに続く原子配置、結合、電荷を予測する3つの分類モデルで構成されています。さらに、このモデルは、分子のグラフ構造を予測するだけでなく、結果のグラフの各コンポーネントをソース画像に関連付けるために必要なすべての情報も生成します。このソリューションはスケーラブルであり、数千の画像を迅速に処理できます。最後に、提案された方法を定評のあるツールと経験的に比較し、大幅なエラー削減を観察します。

この論文の概要（機械翻訳による和訳）
勾配のみの線探索（GOLS）は、ニューラルネットワークトレーニングでのダイナミックミニバッチサブサンプリングから生じる不連続損失関数の探索方向に沿ってステップサイズを適応的に決定します。 GOLSのステップサイズは、下降方向に沿って確率的非負の関連勾配投影点（SNN-GPP）をローカライズすることによって決定されます。これらは、下降方向に沿って負から正への方向微分の符号変化によって識別されます。アクティベーション関数は、複雑な関数近似に不可欠な非線形性を導入するため、ニューラルネットワークアーキテクチャの重要なコンポーネントです。活性化関数の滑らかさと連続性の特性は、最適化される損失関数の勾配特性に直接影響します。したがって、GOLSのコンテキストでの活性化関数と異なるニューラルネットワークアーキテクチャとの関係を調査することは興味深いことです。 GOLSは、さまざまなアクティベーション関数に対してロバストですが、標準フィードフォワードアーキテクチャの整流線形ユニット（ReLU）アクティベーション関数に敏感です。 ReLUの負の入力ドメインのゼロ微分は、勾配ベクトルがまばらになり、トレーニングに重大な影響を与える可能性があります。バッチの正規化やスキップ接続などのアーキテクチャ機能を実装すると、これらの問題が緩和され、GOLSを使用したすべてのアクティベーション機能のトレーニングに役立つことが考えられます。

この論文の概要（機械翻訳による和訳）
深層強化学習は、Atari、Goなどの洗練されたゲームの意思決定に成功します。しかし、実際の意思決定には、複雑な視覚的観測から抽出された部分的な情報による推論が必要になることがよくあります。この論文では、複雑な部分的観測のための新しい強化学習フレームワークである識別粒子フィルター強化学習（DPFRL）を紹介します。 DPFRLは、部分的な観測時間外の明示的な推論のために、ニューラルネットワークポリシーで微分可能な粒子フィルターをエンコードします。パーティクルフィルターは、学習した判別更新を使用して信念を維持します。これは、意思決定のためにエンドツーエンドでトレーニングされます。標準の生成モデルの代わりに差別的更新を使用すると、特に複雑な視覚的観測を持つタスクのパフォーマンスが大幅に向上することがわかります。これは、意思決定に関係のない複雑な観測のモデリングの困難を回避するためです。さらに、粒子の信念から特徴を抽出するために、モーメント生成関数に基づく新しいタイプの信念特徴を提案します。 DPFRLは、既存のPOMDP RLベンチマークであるFlickering Atari Gamesおよび最新のPOMDP RLベンチマークであるNatural Flickering Atari Gamesの最新のPOMDP RLモデルよりも優れています。さらに、DPFRLは、ハビタット環境での実際のデータを使用した視覚的ナビゲーションに対しても優れたパフォーマンスを発揮します。

この論文の概要（機械翻訳による和訳）
確率的最短経路（SSP）は、計画および制御においてよく知られている問題であり、エージェントは最小総期待コストで目標状態に到達する必要があります。問題の学習定式化では、エージェントは環境のダイナミクス（つまり、遷移関数）を認識せず、問題の最適な解決策について推論しながら、所定の数のエピソードを繰り返し再生する必要があります。強化学習（RL）でよく研究されている他のモデルとは異なり、エピソードの長さは事前に決定されていない（または制限されていない）ため、エージェントの行動の影響を受けます。最近、Tarbouriechら。 （2019）後悔の最小化のコンテキストでこの問題を研究し、後悔の境界が最小瞬間コストの平方根に反比例するアルゴリズムを提供しました。この作業では、最小コストへのこの依存性を取り除きます— $ widetilde {O}（B_ star | S | sqrt {| A | K}）$の後悔の限界、ここで$ B_ star $は最適なポリシーの予想コストの上限、$ S $は状態のセット、$ A $はアクションのセット、$ K $はエピソードの数です。さらに、最悪の場合、学習アルゴリズムは少なくとも$ Omega（B_ star sqrt {| S | | A | K}）$を後悔する必要があることを示します。

この論文の概要（機械翻訳による和訳）
真のリスクと経験的リスクの違いを評価する一般化の限界は、広く研究されてきました。ただし、境界を取得するために、現在の手法では、一様に制限された損失関数やaLipschitz損失関数などの厳密な仮定を使用します。これらの仮定を回避するために、本書では、Log-Sobolev不等式の矛盾を利用することにより、ベイジアンディープネットの新しい一般化限界を提案します。これらの不等式を使用すると、追加の損失勾配ノルム項が一般化限界に追加されます。これは、直感的にモデルの複雑さの代理です。経験的に、さまざまなディープネットを使用して、この損失勾配ノルム項の影響を分析します。

この論文の概要（機械翻訳による和訳）
このホワイトペーパーでは、DeepNeural Trees（DNT）という名前の機械学習（ML）アーキテクチャを導入することにより、ブラックボックスモデルの機能のクローン化に向けて大きな一歩を踏み出しました。この新しいアーキテクチャは、ブラックボックスモデルのさまざまなタスクを分離し、そのタスク固有の動作を複製することを学習できます。より高速でよりサンプル効率の良いトレーニングを得るために、アクティブ学習アルゴリズムを使用してDNTをトレーニングすることを提案します。従来の作業とは対照的に、入力と出力の相互作用のみに基づいた複雑な「犠牲者」ブラックボックスモデルを研究しますが、同時に攻撃者と被害者モデルは完全に異なる内部アーキテクチャを持っている場合があります。攻撃者はMLベースのアルゴリズムですが、被害者は多目的デジタルチップ、複雑なアナログ回路、機械システム、ソフトウェアロジック、またはこれらのハイブリッドなどの一般的に未知のモジュールです。トレーニングされたDNTモジュールは、攻撃されたモジュールとして機能するだけでなく、提案されたアーキテクチャのツリーのような性質により、クローンモデルにある程度の説明可能性を提供します。

この論文の概要（機械翻訳による和訳）
マルチスペクトル衛星画像センサーは、赤（R）、緑（G）、青（B）、近赤外線（N）などのさまざまなスペクトルバンド画像を取得します。それぞれのスペクトルバンドの固有の分光特性により、地上のマルチスペクトル衛星画像は、さまざまな地質調査アプリケーションに使用できます。残念ながら、イメージングセンサーノイズからの画像アーチファクトは、シーンの品質に影響を与えることが多く、衛星画像のアプリケーションに悪影響を及ぼします。最近、衛星画像のノイズを除去するために、ディープラーニングのアプローチが広く検討されています。しかし、ほとんどの深層学習ノイズ除去方法は、教師あり学習スキームに従います。これは、実際の状況では収集が困難な、ノイズの多い画像ときれいな画像のペアを一致させる必要があります。本論文では、ウェーブレットサブバンドサイクル一貫性のある敵対ネットワーク（WavCycleGAN）を使用した衛星画像の新しい教師なしマルチスペクトルノイズ除去方法を提案します。提案された方法は、対になったデータの欠如を克服するために、敵対的損失とサイクル一貫性損失を使用する教師なし学習スキームに基づいています。さらに、標準の画像ドメインcycleGANとは対照的に、エッジや詳細情報などの高周波成分を犠牲にすることなく効果的なノイズ除去を行うウェーブレットサブバンドドメイン学習スキームを導入します。衛星画像センサーでの縦縞と波ノイズの除去に関する実験結果は、提案された方法が効果的にノイズを除去し、衛星画像の重要な高周波特徴を保存することを示しています。

この論文の概要（機械翻訳による和訳）
グラフ構造のデータは、多くのアプリケーションドメインで遍在しています。基本的な問題は、それらの類似性を定量化することです。グラフカーネルはこの目的でよく使用され、グラフを部分構造に分解し、これらの部分構造を比較します。ただし、既存のグラフカーネルのほとんどにはスケール適応性のプロパティがありません。つまり、複数レベルの粒度でグラフを比較することはできません。分子などの多くの実世界のグラフは、さまざまなレベルの粒度で構造を示します。この問題に取り組むために、このペーパーではTree ++と呼ばれる新しいグラフカーネルを提案します。 Tree ++の中心には、パスパターングラフカーネルと呼ばれるグラフカーネルがあります。パスパターングラフカーネルは、最初に各頂点をルートとする切り捨てられたBFSツリーを構築し、次に、ルートを切り捨てられたBFSツリー内のすべての頂点へのパスを機能として使用してグラフを表します。パスパターングラフカーネルは、グラフの類似性を細かい粒度でのみキャプチャできます。粗い粒度でグラフの類似性をキャプチャするために、スーパーパスと呼ばれる新しい概念を組み込みます。スーパーパスには、パスの頂点をルートとする切り捨てられたBFSツリーが含まれています。以前のグラフカーネルと比較して、最高の分類精度を達成します。

この論文の概要（機械翻訳による和訳）
フェデレーション学習は、生データを収集せずにニューラルネットワークの新しい分散トレーニングモデルとして注目を集めていますが、フェデレーション学習のほとんどすべての既存の研究は、クライアントのプライバシーの保護のみを考慮しており、モデルの反復と最終モデルのパラメーターが信頼できないクライアントに漏れることを防止していませんおよび外部の攻撃者。このホワイトペーパーでは、クライアントの生のトレーニングデータだけでなく、トレーニングフェーズ中のモデル反復と最終モデルパラメータも保護する、最初の双方向プライバシー保護連合学習スキームを紹介します。具体的には、グローバルモデルをマスクまたは暗号化するための効率的なプライバシー保護手法を提示します。これにより、クライアントはノイズの多いグローバルモデルをトレーニングできるだけでなく、サーバーのみが正確な更新モデルを取得できるようになります。詳細なセキュリティ分析は、クライアントがモデルの反復にも最終的なグローバルモデルにもアクセスできないことを示しています。一方、サーバーは、正確に更新されたモデルを回復するために使用される追加情報からクライアントの生のトレーニングデータを取得することはできません。最後に、大規模な実験により、提案された方式は、余分な通信オーバーヘッドをもたらすことなく、従来の連合学習と同等のモデル精度を備えていることが実証されています。

この論文の概要（機械翻訳による和訳）
オンライン推奨システムの最近の開発では、ユーザーのクリックや購入などの暗黙的なフィードバックからの共同ランキングに重点が置かれています。格付けされたユーザー設定を反映する明示的な評価とは異なり、暗黙的なフィードバックは肯定的で観察されないラベルのみを生成します。この方向でかなりの努力がなされてきたが、よく知られているペアワイズおよびリストワイズのアプローチは、さまざまな課題によって依然として制限されている。具体的には、ペアワイズアプローチの場合、独立したペアワイズ選好の仮定が実際に常に保持されるとは限りません。また、リスト全体の置換の前提条件のため、リストごとのアプローチは「結びつき」に効率的に対応することができません。この目的のために、この論文では、暗黙的なフィードバック非推奨システムの特性に本質的に対応するために、協調的なランク付け、つまりSetRankのための新しいセットワイズベイジアンアプローチを提案します。具体的には、SetRankは、新規のセットワイズ選好比較の事後確率を最大化することを目的としており、行列因数分解とニューラルネットワークで実装できます。一方、SetRankの理論的分析も提示して、過剰リスクの境界が$ sqrt {M / N} $に比例する可能性があることを示します。ここで、$ M $と$ N $はそれぞれアイテムとユーザーの数です。最後に、4つの実世界のデータセットに対する広範な実験により、さまざまな最先端のベースラインと比較したSetRankの優位性が明確に検証されています。

この論文の概要（機械翻訳による和訳）
安全性が重要なアプリケーションには、正確で較正された確率を出力する機械学習モデルが必要です。キャリブレーションされていないディープネットワークは自信過剰な予測を行うことが知られていますが、ラベルノイズやクラスサイズなどのデータの変動によってモデルの信頼性がどのように影響を受けるかは不明です。この論文では、データセットのサイズとラベルのノイズがモデルの信頼性に与える影響を調べることにより、データセットの品質の役割を調査します。驚くべきことに、トレーニングデータのラベルノイズがネットワークの信頼性を低下させ、データセットのサイズを小さくするとモデルの信頼性が高くなることを理論的に説明し、実験的に実証します。次に、モデルの信頼性に対するデータ品質がクラスごとに異なるデータセットの不均一性の影響を調査します。これは、テストデータの不均一な信頼性/精度の動作につながり、標準のキャリブレーションアルゴリズムでは不十分に処理されることを示しています。これを克服するために、直感的な異種キャリブレーション手法を提案し、提案されたアプローチがCIFARデータセットのキャリブレーション測定値（平均誤差とワーストケース誤差の両方）を改善することを示します。

この論文の概要（機械翻訳による和訳）
ディープネットワークの予測とパフォーマンスに対する個々のニューロンの寄与を定量化する新しいフレームワークとしてNeuron Shapleyを開発します。ニューロン間の相互作用を考慮することで、Neuron Shapleyは、アクティベーションパターンに基づく一般的なアプローチと比較して、重要なフィルターをより効果的に識別します。興味深いことに、最高のShapleyscoresを持つ30個のフィルターのみを削除すると、InImage-v3 onImageNetの予測精度が事実上破壊されます。これらのいくつかの重要なフィルターを視覚化することにより、ネットワークの機能に関する洞察が得られます。 Neuron Shapleyは柔軟なフレームワークであり、多くのタスクで責任あるニューロンを識別するために適用できます。顔認識における偏った予測の原因となるフィルターや、敵の攻撃に対して脆弱なフィルターを識別する追加のアプリケーションを示します。これらのフィルターを削除すると、モデルをすばやく修復できます。これらすべてのアプリケーションを有効にすることは、Neuron Shapley値を効率的に推定するために開発した新しいマルチアームバンディットアルゴリズムです。

この論文の概要（機械翻訳による和訳）
文脈上のバンディット問題の変形を検討します。標準的なコンテキストバンディットでは、ユーザーが到着すると、ユーザーの完全な機能ベクトルを取得し、そのユーザーに治療（腕）を割り当てます。多くのアプリケーション（ヘルスケアなど）で、ユーザーからの機能の収集にはコストがかかる場合があります。

この論文の概要（機械翻訳による和訳）
私たちは、$ lambda $ -cocoerciveゲームと呼ばれるクラスのゲームでオンライン勾配降下（OGD）を介したマルチエージェント学習を検討します。 $ lambda $ -cocoerciveゲームでの共同OGDlearningの有限時間の最終収束率を特徴付けます。さらに、この結果に基づいて、問題のパラメーター（例、ココアシーブ定数$ lambda $）の知識を必要としない完全適応OGD学習アルゴリズムを開発し、新しい適応可能なアルゴリズムを使用して、この適応アルゴリズム非適応型と同じ有限時間最終反復収束率を達成します。その後、OGD学習をノイズの多い勾配フィードバックケースに拡張し、最後に反復する収束結果を確立します。最初に定性的にほぼ確実な収束、次に定量的に有限時間の収束率になります。これらの結果は、既存のマルチエージェントオンライン学習の文献のいくつかのギャップを埋めます。3つの側面-有限時間収束率、非減少ステップサイズ、および完全適応アルゴリズム-はこれまで検討されていませんでした。

この論文の概要（機械翻訳による和訳）
画像生成タスクの指標評価指標を考案することは、未解決の問題のままです。実画像と生成画像の類似性を測定するために最も広く使用されているメトリックは、Fr ‘echet Inception Distance（FID）スコアです。生成された画像の忠実度と多様性の側面を区別しないため、最近の論文では、これらの特性を個別に診断するための精度と再現性の指標のバリエーションを導入しています。このペーパーでは、最新バージョンの精度およびリコールメトリックでさえ、まだ信頼できないことを示しています。たとえば、2つの同一の分布間の一致を検出できず、外れ値に対してロバストではなく、評価ハイパーパラメーターが任意に選択されます。上記の問題を解決する密度とカバレッジの指標を提案します。密度とカバレッジは、既存のメトリックよりも解釈可能で信頼性の高い信号を開業医に提供することを分析的および実験的に示しています。コード：https://github.com/clovaai/generative-evaluation-prdc

この論文の概要（機械翻訳による和訳）
ターゲットネットワークの使用は、トレーニングを安定させるための深層強化学習の一般的な方法です。ただし、この手法の理論的な理解はまだ限られています。この論文では、いわゆる周期的Q学習アルゴリズム（略してPQ学習）を研究します。 PQ学習では、オンライン推定とターゲット推定という2つの個別のQ値推定が維持されます。オンライン見積もりは標準のQラーニング更新に従いますが、ターゲット見積もりは定期的に更新されます。標準のQラーニングとは対照的に、PQラーニングは単純な有限時間分析を楽しみ、イプシロン最適ポリシーを見つけるためのサンプルの複雑さを改善します。この結果は、Qラーニングアルゴリズムでターゲット推定値またはネットワークを利用することの有効性の予備的な正当化を提供します。

この論文の概要（機械翻訳による和訳）
画像分類におけるニューラルネットワークの成功は、フィールドプログラマブルゲートアレイ、組み込みプロセッサ、グラフィカルプロセッシングユニットなどの組み込みプラットフォームでのさまざまなハードウェア実装に影響を与えました。これらの組み込みプラットフォームは、電力の点で制約されており、これは主に積和演算とウェイトフェッチのためのメモリアクセスによって消費されます。この問題に対処するために、量子化とプルーニングが提案されています。これらの手法は効果的ですが、組み込みハードウェアの基礎となるアーキテクチャを考慮していません。この作業では、リソースが制限された組み込みデバイスでのルックアップテーブルベースの電力効率の良い実装であるPoET-BiNを提案します。修正されたデシジョンツリーアプローチは、バイナリドメインで提案されている実装のバックボーンを形成します。 LUTアクセスは、同等の乗算累算操作に代わる消費電力よりもはるかに少ない電力を消費し、修正されたデシジョンツリーアルゴリズムはメモリアクセスの必要性を排除します。 PoET-BiNアーキテクチャを適用して、MNIST、SVHN、およびCIFAR-10データセットでトレーニングされたネットワークの分類層を実装し、ほぼ最新の結果を得ました。分類子部分のエネルギー削減は、浮動小数点の実装と比較して最大6桁、最近のバイナリ量子化ニューラルネットワークと比較すると最大3桁に達します。