機械学習分野論文まとめ【2020年01月30日arXiv公開】

アブストまとめ
Like0
お気に入り

2020年01月30日に発表された機械学習分野の論文55本のAbstractをまとめて和訳しました。

この記事の見出し

Improving Language Identification for Multilingual Speakers

多言語話者の言語識別の改善

著者:Andrew Titus, Jan Silovsky, Nanxin Chen, Roger Hsiao, Mary Young, Arnab Ghoshal
URL:http://arxiv.org/abs/2001.11019v1

この論文の概要(機械翻訳による和訳)
音声言語識別(LID)テクノロジは、近年、大きく異なる言語の識別から、非常に類似した言語または同じ言語の方言の識別にまで改善されました。しかし、ほとんど無視されてきた1つの側面は、LIDテクノロジーを利用する多くのシステムの主な対象読者であるにもかかわらず、多言語スピーカーの言語の差別です。この作業で示すように、LIDシステムは、ほとんどの言語の組み合わせに対して高い平均精度を持ち、アクセントのある音声が存在する場合、他の言語のパフォーマンスを大幅に低下させます。この問題に対処するには、音響LIDモデルに粗視化されたターゲットを使用し、その出力をコンテキスト認識モデルの相互作用コンテキスト信号と統合して、システムを各ユーザーに合わせます。この複合システムは、すべての言語の組み合わせで平均97%の精度を達成し、ベースラインと比較して最悪の場合の精度を60%以上改善します。

Functional Sequential Treatment Allocation with Covariates

共変量による機能的逐次治療配分

著者:Anders Bredahl Kock, David Preinerstorfer, Bezirgen Veliyev
URL:http://arxiv.org/abs/2001.10996v1

この論文の概要(機械翻訳による和訳)
共変量を持つ多腕バンディット問題を考えます。共変量ベクトルの実現を考えると、最高の条件付き期待値で治療を標的にする代わりに、意思決定者は、条件付き潜在的結果分布の一般的な機能、例えば、条件付き分位、トリム平均、不平等などの社会経済的機能を最大化する治療を標的にします、福祉または貧困対策。この問題に対して予想される後悔の下限を開発し、ほぼ最小最大の割り当てポリシーを構築します。

The Case for Bayesian Deep Learning

ベイジアン深層学習の事例

著者:Andrew Gordon Wilson
URL:http://arxiv.org/abs/2001.10995v1

この論文の概要(機械翻訳による和訳)
ベイズのアプローチの重要な特徴は、事前のベイズ規則ではなく、最適化ではなく周辺化です。ベイジアン推論は、特にディープニューラルネットワークにとって説得力があります。 (1)ニューラルネットワークは通常、データによって不十分に指定されており、パラメータの異なる設定に対応する多くの異なるが高性能なモデルを表すことができます。 (2)ディープアンサンブルは、ベイジアン手法と競合するアプローチと誤解されていますが、ベイジアン辺縁化の近似と見なすことができます。 (3)ニューラルネットワークの構造は、機能空間で構造化された事前分布を引き起こします。 (4)フラット領域が高次元空間で大きなボリュームを占有し、各異なるソリューションがベイジアンモデルの平均(5)ベイジアンディープラーニングの最近の実用的な進歩により、スケーラビリティを維持しながら、標準トレーニングと比較して精度とキャリブレーションが改善されました。

An Upper Bound of the Bias of Nadaraya-Watson Kernel Regression under Lipschitz Assumptions

Lipschitz仮定の下でのNadaraya-Watsonカーネル回帰のバイアスの上限

著者:Samuele Tosatto, Riad Akrour, Jan Peters
URL:http://arxiv.org/abs/2001.10972v1

この論文の概要(機械翻訳による和訳)
Nadaraya-Watsonカーネル推定器は、その単純さのおかげで、最も一般的な非パラメーター回帰手法の1つです。その漸近的バイアスは、1969年にRosenblattによって研究され、多くの関連文学で報告されています。ただし、Rosenblattの分析は、無限小帯域幅に対してのみ有効です。対照的に、本論文では、有限の帯域幅を保持するバイアスの上限を提案します。さらに、古典的な分析に反して、回帰関数の不連続な一次導関数を可能にし、多次元領域の境界を拡張し、回帰関数が存在する場合、および既知の場合はより厳しい境界を取得するために、回帰関数の境界の知識を含めます。この作業には、エラーに関するいくつかの厳しい保証が必要な分野での潜在的な用途があると考えています

Maximum likelihood estimation and uncertainty quantification for Gaussian process approximation of deterministic functions

決定論的関数のガウス過程近似のための最尤推定と不確実性定量化

著者:Toni Karvonen, George Wynne, Filip Tronarp, Chris J. Oates, Simo Särkkä
URL:http://arxiv.org/abs/2001.10965v1

この論文の概要(機械翻訳による和訳)
ガウス過程回帰モデルの普遍性にもかかわらず、共分散カーネルのパラメーターは通常データセットから推定する必要があるという事実を説明する理論的な結果はほとんどありません。この記事は、ノイズのないデータセットを使用したガウス過程回帰のコンテキストでの最初の理論的分析の1つを提供します。具体的には、Sobolevカーネル(Mat ‘ernkernelなど)のスケールパラメーターが最尤法によって推定されるシナリオを検討します。スケールパラメーターのみの最尤推定は、データ生成関数の滑らかさと、モデル。分析は、ノンパラメトリック回帰と散布データ補間の手法の組み合わせに基づいています。理論的な結果を裏付ける実験結果が提供されます。

Examining the Benefits of Capsule Neural Networks

Capsule Neural Networksの利点を調べる

著者:Arjun Punjabi, Jonas Schmid, Aggelos K. Katsaggelos
URL:http://arxiv.org/abs/2001.10964v1

この論文の概要(機械翻訳による和訳)
Capsuleネットワークは、最近開発されたニューラルネットワークのクラスであり、従来の畳み込みニューラルネットワークのいくつかの欠陥に対処する可能性があります。標準のスカラーアクティベーションをベクトルに置き換え、人工ニューロンを新しい方法で接続することにより、カプセルネットワークはコンピュータービジョンアプリケーションの次の素晴らしい開発を目指しています。ただし、これらのネットワークが従来のネットワークと実際に異なる動作をするかどうかを判断するには、カプセル機能の違いを調べる必要があります。この目的のために、カプセル機能を解明し、それらが最初の出版物に記載されているように機能するかどうかを判断する目的で、いくつかの分析を実行します。まず、カプセル機能と畳み込みニューラルネットワーク機能を視覚的に比較するために、詳細な視覚化分析を実行します。次に、カプセル機能がベクトルコンポーネント全体で情報をエンコードし、カプセルアーキテクチャのどのような変更が最も利点を提供するかを検討します。最後に、カプセル機能が視覚的変換を介してクラスオブジェクトのインスタンス化パラメーターをどの程度うまくエンコードできるかを調べます。

Reducing complexity and unidentifiability when modelling human atrial cells

人間の心房細胞をモデル化する際の複雑さと識別不能性の低減

著者:C. Houston, B. Marchand, L. Engelbert, C. D. Cantwell
URL:http://arxiv.org/abs/2001.10954v1

この論文の概要(機械翻訳による和訳)
心臓モデリングにおける細胞活動電位の数学モデルは、特に個々のイオンチャネル電流の開閉を制御するゲーティング動力学において、ますます複雑になっています。心臓モデルは、臨床的意思決定を知らせるために個別化医療での使用に向けて前進しているため、キャリブレーションから実験データまでのパラメーター推定値の不確実性を理解することが重要です。この研究では、近似ベイズ計算を適用して、2つの既存のヒト心房細胞モデルの4つのイオンチャネルのゲーティング速度を元のデータセットに再調整し、利用可能な実験データから単一の一意の値を選択して、不確実性の尺度と潜在的な問題の指標を提供します。存在する不確実性を低減するために、2つのアプローチが調査されます。モデルをより完全なデータセットに再調整し、制約の少ないパラメーターの少ない複雑な定式化を使用します。再調整されたモデルは、活動電位への全体的な影響を研究するためにフルセルモデルに挿入されます。より完全なデータセットを使用しても、パラメータ推定値に存在する不確実性は排除されません。特に高速のナトリウム電流の複雑さの少ないモデルは、より低いパラメーター不確実性と改善された計算速度とともに、実験データによりよく適合しました。

Unsupervised Anomaly Detection for X-Ray Images

X線画像の教師なし異常検出

著者:Diana Davletshina, Valentyn Melnychuk, Viet Tran, Hitansh Singla, Max Berrendorf, Evgeniy Faerman, Michael Fromm, Matthias Schubert
URL:http://arxiv.org/abs/2001.10883v1

この論文の概要(機械翻訳による和訳)
医療(画像)データのラベルを取得するには、希少で高価な専門家が必要です。さらに、あいまいな症状のために、病状を正しく診断するのに単一の画像で十分なことはめったにありません。代わりに、患者の病歴や検査結果などの追加の背景情報を考慮する必要があることがよくあります。したがって、エンドツーエンドの方法で不確実な最終診断を提供する解釈不能なブラックボックスシステムに焦点を当てる代わりに、異常のない画像で訓練された教師なしの方法を使用して医師が手のX線画像を評価するのに役立つ方法を調査します。この方法により、診断の効率が向上し、重要な領域が欠落するリスクが減少します。したがって、教師なし学習に最先端のアプローチを採用して異常を検出し、これらの方法の出力をどのように説明できるかを示します。異常の原因となることが多いノイズの影響を減らすために、強力な前処理パイプラインを導入します。さまざまなアプローチの広範な評価を提供し、ラベルがなくても手のX線画像の実世界のデータセットで満足のいく結果を達成できることを経験的に実証します。また、前処理の重要性を評価します。主な結果の1つは、前処理なしでは、ほとんどのアプローチがランダムよりも優れていることです。再現性を高め、研究を促進するために、https://github.com/Valentyn1997/xrayでコードを公開します

A scale-dependent notion of effective dimension

有効寸法のスケール依存の概念

著者:Oksana Berezniuk, Alessio Figalli, Raffaele Ghigliazza, Kharen Musaelian
URL:http://arxiv.org/abs/2001.10872v1

この論文の概要(機械翻訳による和訳)
フィッシャー情報マトリックスをメトリックとして与えられたときにモデル空間をカバーするために必要なサイズ$ 1 / sqrt {n} $のキューブの数に基づく統計モデルの「有効な次元」の概念を導入します。 。観測の数は、自然なスケールまたは解像度を修正します。次に、この自然なスケールを使用して正規化されたフィッシャー情報マトリックスのスペクトルを介して、有効な寸法が測定されます。

Variational Autoencoders for Opponent Modeling in Multi-Agent Systems

マルチエージェントシステムでの相手のモデリングのための変分オートエンコーダー

著者:Georgios Papoudakis, Stefano V. Albrecht
URL:http://arxiv.org/abs/2001.10829v1

この論文の概要(機械翻訳による和訳)
マルチエージェントシステムは、共有環境で複数のエージェントの相互作用から生じる複雑な動作を示します。この作業では、マルチエージェントシステムで1つのエージェントを制御することに興味があり、ポリシーが修正されている他のエージェントと対話することに成功します。システム内のエージェントの相互作用を理解するには、他のエージェント(相手)の動作をモデリングすることが不可欠です。教師なし学習での最近の進歩を活用することにより、バリエーションオートエンコーダーを使用して敵をモデル化することを提案します。さらに、文献の多くの既存の方法は、対戦相手のモデルがトレーニングと実行の両方の間に対戦相手の観察と行動にアクセスできると仮定しています。この仮定を排除するために、観察、行動、報酬などのエージェントのローカル情報のみを使用して、基礎となる敵モデルを特定しようとする修正を提案します。実験は、私たちの対戦相手のモデリング手法が、別のモデリング手法に対する強化学習タスクで同等以上のエピソードリターンを達成することを示しています。

Convergence Guarantees for Gaussian Process Approximations Under Several Observation Models

いくつかの観測モデルの下でのガウス過程近似のための収束保証

著者:George Wynne, François-Xavier Briol, Mark Girolami
URL:http://arxiv.org/abs/2001.10818v1

この論文の概要(機械翻訳による和訳)
ガウス過程は、統計分析、機械学習、応用数学のいたるところにあります。これらは、関数を近似するための柔軟なモデリングフレームワークを提供すると同時に、このタスクに関する不確実性を計算上扱いやすい方法で定量化します。重要な問題は、これらの近似が正確であるかどうか、もしそうであればどれだけ正確であるか、さまざまなモデリングの選択と問題の難しさです。答えは特定のアプリケーションのモデルとサンプリング分布の選択を知らせるため、これは実用的な関連性です。本論文では、Mat ‘ern andWendland共分散関数などの有限な平滑性を持つ共分散関数に基づくガウスプロセスモデルの新しい近似保証を提供します。それらは、データを収集するために使用される設計の特性に関して、Sobolevnormsの上限を取得する体系的なアプローチを促進するサンプリングの不等式から導き出されます。このアプローチにより、誤って指定された滑らかさの設定に適用され、ハイパーパラメーターの適応選択を可能にするいくつかの既存の結果を絞り込むことができますが、この論文の主な新規性は、補間、決定論的破損による回帰、回帰を含む幅広い観測モデルをカバーすることですガウスノイズ。

Asymptotically Efficient Off-Policy Evaluation for Tabular Reinforcement Learning

表形式強化学習のための漸近的に効率的なオフポリシー評価

著者:Ming Yin, Yu-Xiang Wang
URL:http://arxiv.org/abs/2001.10742v1

この論文の概要(機械翻訳による和訳)
強化学習のポリシー外評価の問題を検討します。目標は、ロギングポリシー$ mu $を実行して収集されたオフラインデータを使用して、ターゲットポリシー$ pi $の予想報酬を推定することです。この問題に対する標準的な重要度サンプリングベースのアプローチは、時間範囲$ H $で指数関数的にスケーリングする分散の影響を受けます。 。特に、有限な状態と潜在的に無限のアクション。ただし、MSEの境界は、Cramer-Raoの下限$ Omega(H ^ 2 / n)$からまだ$ H $の係数です。この論文では、MIS推定量を単純に修正することで、アクション空間が有限であれば、Cramer-Raolower境界に漸近的に到達できることを証明します。また、高確率のエラー境界を持つMIS推定器を構築するための一般的な方法も提供します。

Extreme Algorithm Selection With Dyadic Feature Representation

二項特徴表現による極端なアルゴリズム選択

著者:Alexander Tornede, Marcel Wever, Eyke Hüllermeier
URL:http://arxiv.org/abs/2001.10741v1

この論文の概要(機械翻訳による和訳)
アルゴリズム選択(AS)は、アルゴリズム問題の特定のインスタンスに最も適した、固定された候補アルゴリズムのセットからアルゴリズムを選択すること、たとえば、SAT問題のソルバーを選択することを扱います。 ASのベンチマークスイートは通常、最大で数十個のアルゴリズムで構成される候補セットで構成されますが、アルゴリズムの選択とハイパーパラメーターの最適化の組み合わせでは、候補の数が手に負えなくなるため、効果的なメタモデルの学習が妨げられるため、コストのかかるオンラインパフォーマンス評価が必要になります。極端なアルゴリズム選択(XAS)の設定。ここでは、メタ学習を促進する数千の候補アルゴリズムの固定セットを検討します。 XAS設定への最先端のAS技術の適用性を評価し、問題のインスタンスとアルゴリズムの両方が記述されているダイアディック機能表現を活用するアプローチを提案します。後者は、現在の最先端の不変メトリックスを大幅に改善するものです。

Bayesian Neural Architecture Search using A Training-Free Performance Metric

トレーニング不要のパフォーマンスメトリックを使用したベイジアンニューラルアーキテクチャ検索

著者:Andrés Camero, Hao Wang, Enrique Alba, Thomas Bäck
URL:http://arxiv.org/abs/2001.10726v1

この論文の概要(機械翻訳による和訳)
リカレントニューラルネットワーク(RNN)は、時系列予測の強力なアプローチです。ただし、それらのパフォーマンスは、アーキテクチャとハイパーパラメータの設定に大きく影響されます。 RNNsisのアーキテクチャ最適化は時間のかかるタスクであり、検索スペースは通常、実数値、整数値、およびカテゴリ値の混合です。ネットワークのサイズを縮小および拡大できるようにするために、アーキテクチャの表現はしばしば可変長を持ちます。この論文では、ベイジアン最適化(BO)アルゴリズムのバリアントを使用して、アーキテクチャ最適化の問題に取り組むことを提案します。候補アーキテクチャの評価時間を短縮するために、ネットワークパフォーマンスを推定するトレーニング不要の方法である平均絶対誤差ランダムサンプリング(MRS)がBOの目的関数として採用されています。また、可変長アーキテクチャ表現に対処するための3つの固定長エンコーディングスキームを提案します。その結果、RNNの正確かつ効率的な設計に関する新しい視点が得られ、3つの問題について検証しています。私たちの調査結果は、1)BOアルゴリズムは、提案されたエンコーディングスキームを使用してさまざまなネットワークアーキテクチャを探索し、適切に機能するアーキテクチャを設計することができ、2)MRSを使用することで、実際のトレーニング手順から得られたアーキテクチャと比較してパフォーマンスを損なうことなく、最適化時間が大幅に短縮されることを示しています。

Machine Learning in Thermodynamics: Prediction of Activity Coefficients by Matrix Completion

熱力学における機械学習:行列補完による活動係数の予測

著者:Fabian Jirasek, Rodrigo A. S. Alves, Julie Damay, Robert A. Vandermeulen, Robert Bamler, Michael Bortz, Stephan Mandt, Marius Kloft, Hans Hasse
URL:http://arxiv.org/abs/2001.10675v1

この論文の概要(機械翻訳による和訳)
液体混合物の非理想性の尺度である放射能係数は、化学および相平衡ならびに輸送プロセスのモデリングに関連する化学工学の重要な特性です。数千のバイナリ混合物に関する実験データが利用可能ですが、これまでに調査されていない多くの関連する混合物の活動係数を計算するための予測方法が必要です。本報告では、任意のバイナリ混合物の活動係数を予測するための確率的行列因子分解モデルを提案します。考慮されたコンポーネントの物理記述子は使用されませんでしたが、この方法は、はるかに少ないトレーニング労力で30年以上にわたって洗練されてきた最先端の方法よりも優れています。これにより、化学工学におけるモデリングとシミュレーションに革命を起こす可能性のある二元混合物の物理化学的特性を予測するための新しい方法の展望が開かれます。

The Indian Chefs Process

インド人シェフのプロセス

著者:Patrick Dallaire, Luca Ambrogioni, Ludovic Trottier, Umut Güçlü, Max Hinne, Philippe Giguère, Brahim Chaib-Draa, Marcel van Gerven, Francois Laviolette
URL:http://arxiv.org/abs/2001.10657v1

この論文の概要(機械翻訳による和訳)
この論文では、Indian Chefs Process(ICP)を紹介します。これは、Infinite Buffet Processesを一般化する無限有向非巡回グラフ(DAG)と順序の結合空間に関するベイジアンノンパラメトリックです。構造が示すように、提案された分布は、ノードの順序と発信接続確率の両方を制御する潜在ベータプロセスに依存し、スパース無限グラフの確率分布を生成します。以前に提案されたDAG構造のベイジアンノンパラメトリック事前分布に対するICPの主な利点は、柔軟性が高いことです。私たちの知る限り、ICPはすべての可能なDAGをサポートするfirstBayesianノンパラメトリックモデルです。深い生成シグモイドネットワークと畳み込みニューラルネットワークの構造の学習に関するICPの有用性を示します。

Regularization Helps with Mitigating Poisoning Attacks: Distributionally-Robust Machine Learning Using the Wasserstein Distance

正則化は中毒攻撃の緩和に役立ちます:Wasserstein距離を使用した分布にロバストな機械学習

著者:Farhad Farokhi
URL:http://arxiv.org/abs/2001.10655v1

この論文の概要(機械翻訳による和訳)
機械学習に分散ロバスト最適化を使用して、データ汚染攻撃の影響を軽減します。 Wasserstein距離を使用して定義された経験的分布(中毒攻撃によって破損したトレーニングデータセットから抽出された)の近傍の最悪ケースの分布に対してモデルをトレーニングすることにより、元のデータ(毒レコードを含まない)のトレーニングモデルのパフォーマンス保証を提供します。正規化子としての経験的サンプル平均適合度と(特定のモデルパラメーターのデータ上の)適合関数のリプシッツ定数に基づいて、最悪の適合度の上限を見つけることにより、分布的に堅牢な機械学習問題を緩和します。回帰モデルの場合、thisregularizerがモデルパラメーターの双対ノルムに等しいことを証明します。本書の結果を実証するために、WineQualityデータセット、Boston Housing Marketデータセット、およびAdultデータセットを使用します。

Treatment effect estimation with disentangled latent factors

潜在因子を解きほぐした治療効果の推定

著者:Weijia Zhang, Lin Liu, Jiuyong Li
URL:http://arxiv.org/abs/2001.10652v1

この論文の概要(機械翻訳による和訳)
がん患者が直面する差し迫った懸念は、予後が不十分な治療選択肢であるということです。レシーバー放射線療法などの二元治療を考慮すると、問題は患者の生存転帰に対する放射線療法の治療効果の推定として特徴付けることができます。観察研究からの治療効果の推定は根本的な問題ですが、反事実的かつ複雑な問題。この作業では、治療または結果にのみ影響を与える要因と複雑な要因を区別することの重要性を示し、より正確な推定治療評価のために、潜在要因を学習して3つの互いに素なセットにもつれを解くためのデータ駆動型アプローチを提案します。半合成ベンチマークと実際のデータセットは、提案された方法の有効性を示しています。

Modelling and Quantifying Membership Information Leakage in Machine Learning

機械学習における会員情報漏洩のモデリングと定量化

著者:Farhad Farokhi, Mohamed Ali Kaafar
URL:http://arxiv.org/abs/2001.10648v1

この論文の概要(機械翻訳による和訳)
機械学習モデルは、メンバーシップ推論攻撃に対して脆弱であることが示されています。つまり、モデルのトレーニングに個人のデータが使用されているかどうかを推測します。これらの攻撃の成功に寄与する要因についての理解が不足しているため、情報理論を使用してメンバーシップ情報漏洩をモデル化し、メンバーシップ情報漏洩を減らすことができる機械学習モデルとトレーニングアルゴリズムの特性を調査する必要があります。条件付き相互情報漏えいを使用して、トレーニングデータセット内の個人の存在に関するトレーニング済み機械学習モデルからの情報漏えいの量を測定します。 Kullback-Leiblerダイバージェンスを使用して、情報漏洩のこの測定値の上限を考案しました。 Kullback–Leiblerメンバーシップ情報の漏洩と、特定のデータレコードが機械学習モデルのトレーニングデータセットに属しているかどうかを調べる仮説テストの敵の成功確率との直接的な関係を証明します。相互情報漏洩は、トレーニングデータセットのサイズと正則化の重みの減少関数であることを示します。また、機械学習モデルの感度(モデルパラメーターに対する適合度の導関数で定義される)が高い場合、より多くのメンバーシップ情報が漏れる可能性があることも証明します。これは、ディープニューラルネットワークなどの複雑なモデルは、自由度の少ない単純なモデルと比較して、メンバーシップ推論攻撃の影響を受けやすいことを示しています。 Gaussian $(を使用すると、会員情報の漏えい量が$ mathcal {O}( log ^ {1/2}( delta ^ {-1}) epsilon ^ {-1})$減少することがわかります。 epsilon、 delta)$-微分的にプライベートな加法性ノイズ。

Binary Classification from Positive Data with Skewed Confidence

信頼度が歪んでいる正のデータからのバイナリ分類

著者:Kazuhiko Shinoda, Hirotaka Kaji, Masashi Sugiyama
URL:http://arxiv.org/abs/2001.10642v1

この論文の概要(機械翻訳による和訳)
Positive-confidence(Pconf)分類[Ishida et al。、2018]は、信頼性を備えたポジティブデータのみからバイナリ分類器をトレーニングする有望な弱教師付き学習方法です。ただし、実際には、注釈プロセスで生じるバイアスによって信頼性が歪む場合があります。 Pconfclassifierは、ゆがんだ信頼性で適切に学習できず、その結果、分類パフォーマンスが低下する可能性があります。本論文では、歪んだ信頼性のパラメータ化モデルを導入し、事前知識として正のサンプルの誤分類率があるという仮定の下で、歪んだ信頼性の負の影響を相殺するハイパーパラメータを選択する方法を提案します。単純な線形モデルを用いた合成実験およびニューラルネットワークモデルを用いたベンチマーク問題を通して、提案された方法の有効性を実証します。また、この方法をドライバーの眠気予測に適用して、手動注釈に基づいて信頼性が得られる現実の問題でうまく機能することを示します。

Sub-Gaussian Matrices on Sets: Optimal Tail Dependence and Applications

セットのサブガウス行列:最適なテール依存性とアプリケーション

著者:Halyun Jeong, Xiaowei Li, Yaniv Plan, Özgür Yılmaz
URL:http://arxiv.org/abs/2001.10631v1

この論文の概要(機械翻訳による和訳)
ランダム線形マッピングは、現代の信号処理、圧縮センシング、機械学習で広く使用されています。これらのマッピングは、有用な情報を保持しながら、非常に低い次元にデータを埋め込むために使用できます。これは、$ mathbb {R} ^ n $に属すると想定されるデータポイント間の距離をほぼ維持することによって行われます。したがって、これらのマッピングのパフォーマンスは、通常、データの異方性にどれだけ近いかによってキャプチャされます。ランダムガウス線形マッピングは多くの研究の対象でしたが、サブガウス設定はまだ完全には理解されていません。後者の場合、パフォーマンスは行のサブガウスノルムに依存します。圧縮センシングなどの多くのアプリケーションでは、このノルムは大きくなる場合があります。また、次元とともに成長する場合があるため、この依存性を特徴付けることが重要です。サブガウスマトリックスがセットのニアアイソメトリになりうる場合を調査し、サブガウスノルムに対する以前の最もよく知られた依存性が準最適であることを示し、最適な依存性を示します。私たちの結果は、2017年にLiaw、Mehrabian、Plan、Vershyninによって提起された残りの質問に答えるだけでなく、それらの仕事を一般化します。また、サブ指数確率変数の新しいバーンスタイン型不等式、およびサブガウス確率変数の新しいハンソン・ライト不等式形式を開発します。どちらの場合も、モーメント制約下のサブガウスレジームのバウンドを改善します。最後に、Johnson-Lindenstraussの埋め込み、ランダム化されたスケッチ、ブラインド復調などの一般的なアプリケーションを示します。これらの理論上の保証は、サブガウスの場合の結果によって改善できます。

Fast Rates for Online Prediction with Abstention

棄権ありのオンライン予測の高速レート

著者:Gergely Neu, Nikita Zhivotovskiy
URL:http://arxiv.org/abs/2001.10623v1

この論文の概要(機械翻訳による和訳)
専門家のアドバイスによる個々の$ {0、1 } $シーケンスの逐次予測の設定では、学習者が$ frac 12 $よりわずかに小さいコスト(たとえば、$ 0.49 $)を支払うことで予測を控えることができることを示します)、時間範囲$ T $に依存しない期待される後悔の限界を達成することが可能です。順序$ frac { log N} {1-2c} $の上限と下限を一致させることにより、棄権費用$ c $と専門家の数$ N $への依存を正確に特徴づけます。棄権するオプションなしで利用可能な$ sqrt {T log N} $の最良のレート。また、棄権コストのシーケンスに関するいくつかの自然な仮定の下で、棄権コストのシーケンスが時間とともに任意に変化する設定、上記の低速レートと高速レートの間を補間する後悔の限界を示す設定など、モデルのさまざまな拡張について説明します。

Landmark2Vec: An Unsupervised Neural Network-Based Landmark Positioning Method

Landmark2Vec:教師なしニューラルネットワークベースのランドマーク配置方法

著者:Alireza Razavi
URL:http://arxiv.org/abs/2001.10568v1

この論文の概要(機械翻訳による和訳)
ランドマークから取得した測定値からの教師なしランドマークマップ推定のためのニューラルネットワークベースの方法が導入されています。ネットワークのトレーニングに必要な測定値は、エージェントがランドマークから観測/受信した信号です。ここでは、ランドマーク、エージェント、およびエージェントがランドマークから取得した測定値の定義がかなり広くなっています。または、建物内のWiFiアクセスポイントなどの無線送信機である場合があります。測定値は、人(エージェント)が携帯するモバイルデバイスから受信したReceivedSignal Strength(RSS)です。次に、マップ推定の目標は、スケール、回転、およびシフトまでのランドマークの位置を見つけることです(ランドマークのトポロジカルマップ)。 $ L $のランドマークがあると仮定すると、測定値はその地域で収集された$ L times 1 $ベクトルになります。浅いネットワークは、グラウンドトゥルース情報なしでマップを学習するように訓練されます。

The KEEN Universe: An Ecosystem for Knowledge Graph Embeddings with a Focus on Reproducibility and Transferability

KEEN Universe:再現性と転送可能性に焦点を当てた知識グラフ埋め込みのエコシステム

著者:Mehdi Ali, Hajira Jabeen, Charles Tapley Hoyt, Jens Lehman
URL:http://arxiv.org/abs/2001.10560v1

この論文の概要(機械翻訳による和訳)
機械学習タスクに知識グラフを使用するために、連続ベクトル空間に知識グラフ(KG)を埋め込むという新しい傾向があります。最近、他のノードとのエッジに依存するノードの類似性など、KGの構造的特性を維持しようとしながら、低次元表現を学習する多くの知識グラフ埋め込み(KGE)モデルが提案されています。 KGEは、新規リンクの予測やエンティティの曖昧性解消など、KG内のタスクに対処するために使用できます。また、質問への回答や事実確認などの下流のタスクにも使用できます。全体として、これらのタスクはセマンティックWebコミュニティに関連しています。それらの人気にもかかわらず、KGE実験の再現性と、提案されたKGEモデルの機械学習コミュニティ外の研究分野への移転可能性は、大きな挑戦になる可能性があります。したがって、我々は、再現性と移動可能性に重点を置いて開発したナレッジグラフ埋め込みのエコシステムであるKEENユニバースを紹介します。 KEENユニバースは現在、PythonパッケージPyKEEN(Python KnowlEdge EmbeddiNgs)、BioKEEN(Biological KnowlEdgeEmbeddiNgs)、およびトレーニングされたKGEモデルをコミュニティと共有するためのKEEN Model Zooで構成されています。

Identifying Mislabeled Data using the Area Under the Margin Ranking

マージンランキング下のエリアを使用したラベルの誤ったデータの特定

著者:Geoff Pleiss, Tianyi Zhang, Ethan R. Elenberg, Kilian Q. Weinberger
URL:http://arxiv.org/abs/2001.10528v2

この論文の概要(機械翻訳による和訳)
一般的なトレーニングセットのすべてのデータが一般化に役立つわけではありません。一部のサンプルは、過度に曖昧であるか、完全にラベルが間違っている可能性があります。このホワイトペーパーでは、このようなサンプルを特定し、ニューラルネットワークをトレーニングする際の影響を軽減する新しい方法を紹介します。アルゴリズムの中心となるのは、きれいなサンプルと誤ってラベル付けされたサンプルのトレーニングダイナミクスの違いを活用する、Area Under the Margin(AUM)統計です。単純な手順-意図的に誤ってラベル付けされたインジケーターサンプルが追加された余分なクラスを追加する-は、このメトリックに基づいて誤ってラベル付けされたデータを分離するしきい値を学習します。このアプローチは、合成および実世界のデータセットに関する事前作業を一貫して改善します。 WebVision50classificationタスクでは、このメソッドはトレーニングデータの17%を削除し、テストエラーを2.6%(絶対)改善します。 CIFAR100では、データの13%を削除すると、エラーが1.2%低下します。

Multi-class Gaussian Process Classification with Noisy Inputs

ノイズの多い入力によるマルチクラスガウスプロセス分類

著者:Carlos Villacampa-Calvo, Bryan Zaldivar, Eduardo C. Garrido-Merchán, Daniel Hernández-Lobato
URL:http://arxiv.org/abs/2001.10523v1

この論文の概要(機械翻訳による和訳)
監視対象の機械学習コミュニティでは、入力属性に観測データにノイズがないと想定するのが一般的ですが、実際の問題では、測定値が完全に正確ではないため、入力ノイズのあるシナリオが一般的です。この入力ノイズが考慮されない場合、教師付き機械学習法が最適に実行されないことが予想されます。この論文では、マルチクラス分類問題に焦点を当て、基礎となる分類子としてガウス過程(GP)を使用します。天体物理学の領域からのデータセットによって動機付けられ、観測されたデータが入力にノイズを含む可能性があると仮定します。したがって、入力ノイズを考慮できる複数のclassGP分類器を考案します。そのような分類器は、モデルの潜在変数の事後分布を近似するために、変分推論を使用して効率的にトレーニングできます。さらに、状況によっては、ノイズの量を事前に知ることができます。これが当てはまる場合、提案された方法で容易に導入できます。この事前情報は、パフォーマンスの向上につながると予想されます。これらのデータには、UCIリポジトリからのいくつかのデータセット、MNISTデータセット、および天体物理学からのデータセットが含まれます。得られた結果は、分類誤差はメソッド間で似ていますが、提案されたメソッドの予測分布は、入力ノイズを無視するGPに基づく分類器の予測分布よりも、テストログ尤度の点で優れていることを示しています。

Tri-graph Information Propagation for Polypharmacy Side Effect Prediction

薬局副作用予測のためのトライグラフ情報伝播

著者:Hao Xu, Shengqi Sang, Haiping Lu
URL:http://arxiv.org/abs/2001.10516v1

この論文の概要(機械翻訳による和訳)
薬物の組み合わせを使用すると、しばしば多剤副作用(POSE)が発生します。最近の方法では、薬物とタンパク質のグラフ上のリンク予測問題としてPOSE予測を定式化し、Graph Convolutional Networks(GCN)で解決します。ただし、POSEの複雑な関係により、この方法には高い計算コストとメモリ需要があります。この論文では、3つのサブグラフで動作する柔軟なTri-graphInformation Propagation(TIP)モデルを提案します。実験により、TIPは精度を7%以上、時間効率を83 $ times $、スペース効率を3 $ times $向上させることが示されています。

MSE-Optimal Neural Network Initialization via Layer Fusion

レイヤーフュージョンによるMSE最適ニューラルネットワークの初期化

著者:Ramina Ghods, Andrew S. Lan, Tom Goldstein, Christoph Studer
URL:http://arxiv.org/abs/2001.10509v1

この論文の概要(機械翻訳による和訳)
ディープニューラルネットワークは、分類および推論タスクの範囲で最先端のパフォーマンスを実現します。ただし、基礎となる最適化問題の非凸性と組み合わされた確率的勾配降下の使用は、初期化の影響を受けやすいパラメータ学習をレンダリングします。この問題に対処するために、ランダムパラメーターの初期化または知識の蒸留に依存するさまざまな方法が過去に提案されています。この論文では、ランダム初期化で訓練されたより深いネットワークの隣接レイヤーを融合することにより、より浅いネットワークを初期化する新しい方法であるFuseInitを提案します。平均二乗誤差(MSE)の理論結果と効率的なアルゴリズムを開発します。これは、隣接する高密度、畳み込み、および畳み込み-畳み込み層の最適な融合です。 FuseInitで初期化された場合、より深いニューラルネットワークは初期化の影響を受けにくく、より低いニューラルネットワークは(場合によってはより深いカウンターパートも)より良いパフォーマンスを発揮できることを示唆する、分類および回帰データセットの範囲の実験を示します。

Rich-Item Recommendations for Rich-Users via GCNN: Exploiting Dynamic and Static Side Information

GCNNを介したリッチユーザー向けのリッチアイテムの推奨事項:動的および静的なサイド情報の活用

著者:Amar Budhiraja, Gaurush Hiranandani, Navya Yarrabelly, Ayush Choure, Oluwasanmi Koyejo, Prateek Jain
URL:http://arxiv.org/abs/2001.10495v1

この論文の概要(機械翻訳による和訳)
関連するアイテムをユーザーに推奨する標準的な問題を調査します。ユーザーは推奨を求める人であり、アイテムは推奨されるものです。今日の現代世界では、ユーザーとアイテムの両方が「豊富な」多面的なエンティティですが、モデリングを容易にするために、既存の文献はサイロでこれらのファセットを表示します。この論文では、現代のシステムの複雑さを捉え、既存の推奨システムの定式化のほとんどを包含する推奨問題の一般的な定式化を提供します。公式では、各ユーザーとアイテムは、静的エンティティと動的コンポーネントのセットを介してモデル化されます。エンティティ間の関係は、複数の重み付けされた2部グラフによってキャプチャされます。これらの複雑な相互作用を推奨のために効果的に活用するために、複数のグラフCNNベースの新規の深層学習アーキテクチャであるMEDRESを提案します。さらに、さまざまな分類+ランク付けシナリオにとって重要な新しいメトリックpAp @ kを提案します。また、提案されたメトリックを直接最適化し、エンドツーエンドのフレームワークでMEDRESをトレーニングする最適化アルゴリズムも提供します。 2つのベンチマークと、Microsoft Teamsに展開されているメッセージ推奨システムで、この方法の有効性を実証し、既存の生産グレードモデルを3%改善します。

Real-time Out-of-distribution Detection in Learning-Enabled Cyber-Physical Systems

学習可能なサイバー物理システムでのリアルタイムの配信外検出

著者:Feiyang Cai, Xenofon Koutsoukos
URL:http://arxiv.org/abs/2001.10494v1

この論文の概要(機械翻訳による和訳)
サイバーフィジカルシステム(CPS)は、実世界の不確実性と変動性を処理できる機械学習コンポーネントを使用することで大きなメリットを得ますが、ディープニューラルネットワークなどの典型的なコンポーネントは、システムの安全性に影響を与える可能性のある新しい種類の危険をもたらします。システムの動作は実行時にのみ利用可能なデータに依存し、トレーニングに使用されるデータとは異なる場合があります。配布されていないデータは、大きなエラーと安全性の侵害につながる可能性があります。このペーパーでは、CPS制御システムで配信外データを効率的に検出する問題を検討しています。検出は堅牢であり、誤報の数を制限すると同時に、リアルタイム監視のために計算効率が高い必要があります。提案されたアプローチは、誘導共形予測と異常検出を活用して、十分に較正された誤警報率を持つ方法を開発します。変分オートエンコーダーとディープサポートベクターデータの説明を使用して、トレーニングセットに対する新しい入力の不適合を効率的に計算し、分布外の高次元入力のリアルタイム検出を可能にするモデルを学習します。高度な緊急ブレーキシステムと、自動運転車用のオープンソースシミュレータに実装された自動運転エンドツーエンドコントローラを使用して、この方法を実証します。シミュレーション結果では、実行時間がオリジナルの機械学習コンポーネントの実行時間に匹敵する間、非常に少数の誤検知と検出遅延が示されています。

Fast Graph Metric Learning via Gershgorin Disc Alignment

Gershgorin Disc Alignmentによる高速グラフメトリック学習

著者:Cheng Yang, Gene Cheung, Wei Hu
URL:http://arxiv.org/abs/2001.10485v1

この論文の概要(機械翻訳による和訳)
最小化目標$ min _ { M in cS} Q( M)$がメトリック行列$ M $および$ M $の凸微分可能関数である、高速で一般的な射影のないメトリック学習フレームワークを提案します。正のエッジ重みとノード次数を持つ連結グラフの一般化グラフラプラシアン行列のセット$ cS $に存在します。文学で一般的な低ランクのメトリック行列とは異なり、$ cS $は制限の特殊なケースとして重要な正対角のみの行列を含みます。高速最適化の鍵となるアイデアは、$ M $の対角項と非対角項の交互最適化を効率的に解くことができるように、Gershgorinディスクアライメントを介した信号適応線形制約として$ cS $の正定円錐制約を書き換えることです。 Frank-Wolfe反復を介したプログラム。ゲルシュゴリンのディスクは、$ M $の最初の固有ベクトル$ v $を使用して完全にアライメントできることを証明します。これは、対角/非対角項が最適化されたウォームスタートのLocally Optimal Block Preconditioned ConjugateGradient(LOBPCG)を使用して繰り返し更新されます。実験は、効率的に計算されたグラフメトリックマトリックスが、分類タスクに関して競合する方法を使用して学習したメトリックよりも優れていることを示しています。

Fast quantum learning with statistical guarantees

統計的保証付きの高速量子学習

著者:Carlo Ciliberto, Andrea Rocchetto, Alessandro Rudi, Leonard Wossnig
URL:http://arxiv.org/abs/2001.10477v1

この論文の概要(機械翻訳による和訳)
統計学習理論の枠組み内で、学習者が目標の精度に到達するために必要なサンプルの最小数を制限することが可能です。使用可能-入力ディメンションで多対数ランタイムを達成できません。これは、データへの量子アクセスが自然に利用できる場合でも、学習問題の量子高速化を慎重に再評価する必要があります。

Parameter Sharing in Coagent Networks

Coagentネットワークでのパラメーター共有

著者:Modjtaba Shokrian Zini
URL:http://arxiv.org/abs/2001.10474v1

この論文の概要(機械翻訳による和訳)
本論文では、CoagentNetwork Policy Gradient Theorem(Kostas et。al。、2019)を、関連する関数近似器間でパラメーターが共有されるコンテキストに一般化する定理を証明することを目的としています。これにより、パラメータ共有の任意のパターンを使用し、ネットワークのグラフ構造の自由度を活用して、特定のタスクでのリレーショナルバイアスを活用するための理論的基盤が提供されます。別のアプリケーションとして、結果を適用して、最初に(Riemer et。al。、2019)で示された階層オプションの批評家PolicyGradient定理のより直感的な証明を提供します。

Interpretable Machine Learning Model for Early Prediction of Mortality in Elderly Patients with Multiple Organ Dysfunction Syndrome (MODS): a Multicenter Retrospective Study and Cross Validation

多臓器不全症候群(MODS)の高齢患者における死亡率の早期予測のための解釈可能な機械学習モデル:多施設遡及的研究と相互検証

著者:Xiaoli Liu, Pan Hu, Zhi Mao, Po-Chih Kuo, Peiyao Li, Chao Liu, Jie Hu, Deyu Li, Desen Cao, Roger G. Mark, Leo Anthony Celi, Zhengbo Zhang, Feihu Zhou
URL:http://arxiv.org/abs/2001.10977v1

この論文の概要(機械翻訳による和訳)
背景:高齢のMODS患者は、死亡および予後不良のリスクが高い。 MODSの重症度とその死亡率を評価する現在のスコアリングシステムのパフォーマンスは、不十分なままです。この研究は、MODSを有する高齢患者の早期死亡率予測のための解釈可能で一般化可能なモデルを開発することを目的としています。方法:モデルの生成と評価には、MIMIC-III、eICU-CRD、およびPLAGH-Sデータベースを使用しました。 eXtreme GradientBoostingモデルとSHapley Additive exPlanationsメソッドを使用して、患者の病院結果の早期かつ解釈可能な予測を実施しました。一般化可能なモデルを開発するために、3種類のデータソースの組み合わせと5つの典型的な評価指標が採用されました。調査結果:MIMIC-IIIおよびeICU-CRDデータセットを使用して開発された最適なパフォーマンスを備えた解釈可能なモデルは、MIMIC-III、eICU-CRDおよびPLAGH-Sデータセットで個別に検証されました(トレーニングセットと重複しない)。 3つのデータセットによって検証された病院の死亡率の予測におけるモデルのパフォーマンスは次のとおりです。AUC0.858、感度0.834、特異性0.705。 AUC 0.849、感度0.763、特異度0.784。 0.838のAUC、0.882の感度、0.691の特異性。このモデルと、MIMIC-IIIデータセット検証によるベースラインモデルとの間のAUCの比較により、このモデルの優れたパフォーマンスが示されました。さらに、このモデルと一般的に使用される臨床スコアの間のAUCの比較により、このモデルのパフォーマンスが大幅に向上しました。解釈:この研究で開発された、大きなサンプルサイズのフューズドデータセットを使用した解釈可能な機械学習モデルは、堅牢で一般化可能でした。このモデルは、高齢ICU患者の死亡率の早期予測に関するベースラインモデルおよびいくつかの臨床スコアよりも優れていました。このモデルの解釈的な性質は、臨床医に死亡リスクの特徴のランキングを提供しました。

Incorporating Joint Embeddings into Goal-Oriented Dialogues with Multi-Task Learning

マルチタスク学習による目標指向対話への共同埋め込みの組み込み

著者:Firas Kassawat, Debanjan Chaudhuri, Jens Lehmann
URL:http://arxiv.org/abs/2001.10468v1

この論文の概要(機械翻訳による和訳)
注意ベースのエンコーダ/デコーダニューラルネットワークモデルは、目標指向の対話システムで有望な結果を最近示しています。ただし、これらのモデルは、エンドツーエンドのテキスト生成機能を維持しながら、状態を完全に把握し、それを組み込むことに苦労しています。このようなモデルはユーザーの意図とナレッジグラフの統合から大きなメリットを得ることができるため、本書では、入力としてナレッジグラフとコーパスの共同埋め込みでトレーニングされるRNNベースのエンドツーエンドエンコーダーデコーダーアーキテクチャを提案します。このモデルは、誤ったエンティティを出力として生成することをペナルティ化するための追加の正規化手法とともにマルチタスク学習パラダイムでトレーニングされた、テキスト生成とユーザー意図の追加統合を提供します。このモデルは、推論中にナレッジグラフエンティティルックアップをさらに組み込み、生成された出力が、提供されたローカルナレッジグラフに基づいてステートフルであることを保証します。最終的にBLEUスコアを使用してモデルを評価し、経験的評価は、提案されたアーキテクチャがタスク指向の対話システムのパフォーマンスの向上に役立つことを示しています。

Residual Tangent Kernels

残差タンジェントカーネル

著者:Etai Littwin, Lior Wolf
URL:http://arxiv.org/abs/2001.10460v1

この論文の概要(機械翻訳による和訳)
最近の一連の研究では、幅の広い領域でのニューラルネットワークの理論的研究に焦点が当てられています。具体的には、L2損失を使用した無限幅で適切にスケーリングされたバニラReLUネットワークのトレーニングは、初期化インスタンスに依存せず、トレーニング中は一定のままであるニューラルタンジェントカーネルを使用したカーネル回帰と同等であることが示されました。この作業では、バイパス接続、つまり残留ネットワーク(ResNets)と密に接続されたネットワーク(DenseNets)を組み込んだアーキテクチャの制限カーネルの形式を導き出します。さらに、両方のケースについて有限幅補正を導き出します。私たちの分析は、深い実用的な残留アーキテクチャが、バニラの対応物よりも「カーネル」レジームにはるかに近い動作をする可能性があることを明らかにしています。 ResNetsとDenseNetsの両方で、適切な初期化が提供されると、無限の深部ネットワークとワイドネットワークで制限カーネルへの収束が発生する場合があります。

NAS-Bench-1Shot1: Benchmarking and Dissecting One-shot Neural Architecture Search

NAS-Bench-1Shot1:ワンショットニューラルアーキテクチャ検索のベンチマークと分析

著者:Arber Zela, Julien Siems, Frank Hutter
URL:http://arxiv.org/abs/2001.10422v1

この論文の概要(機械翻訳による和訳)
ワンショットニューラルアーキテクチャ検索(NAS)は、NASメソッドを実際に計算可能にするために重要な役割を果たしてきました。それにもかかわらず、プロセスのダイナミクスを制御する多くの要因のため、これらの重み共有アルゴリズムが正確にどのように機能するかについてはまだ理解が不足しています。これらのコンポーネントの科学的研究を可能にするために、最近導入された多くの亜種にインスタンス化できるワンショットNASの一般的なフレームワークを導入し、最近の大規模なテーブルベンチマークNAS-Bench-101を安価に利用する一般的なベンチマークフレームワークを導入しますワンショットNASmethodsのいつでも評価。フレームワークを紹介するために、いくつかの最先端のNASメソッドを比較し、それらがハイパーパラメーターに敏感であることと、ハイパーパラメーターを調整することでどのように改善できるかを調べ、NAS-Benchのブラックボックスオプティマイザーのパフォーマンスと比較します-101。

OPFython: A Python-Inspired Optimum-Path Forest Classifier

OPFython:Pythonにヒントを得た最適パスフォレスト分類子

著者:Gustavo Henrique de Rosa, João Paulo Papa, Alexandre Xavier Falcão
URL:http://arxiv.org/abs/2001.10420v1

この論文の概要(機械翻訳による和訳)
機械学習技術は、分類、オブジェクト認識、個人識別、画像セグメンテーションなどの幅広いタスクに適用されており、過去数年にわたって最重要でした。それにもかかわらず、LogisticRegression、デシジョンツリー、ベイズ分類器などの従来の分類アルゴリズム、複雑さと多様性に欠ける可能性があり、実際のデータを扱う場合には適切ではありません。 Optimum-Path Forestとして知られる最近のグラフにヒントを得た分類器は、Support Vector Machinesに匹敵する最先端の技術であることが証明されており、一部のタスクでもそれを凌evenしています。この記事では、すべての機能とクラスが元のC言語実装に基づいているOPFythonと呼ばれるPythonベースの最適パスフォレストフレームワークを提案します。さらに、OPFythonはPythonベースのライブラリであるため、より使いやすい環境を提供します。 C言語よりも高速なプロトタイピングワークスペース。

QActor: On-line Active Learning for Noisy Labeled Stream Data

QActor:ノイズのあるラベル付きストリームデータのオンラインアクティブ学習

著者:Taraneh Younesian, Zilong Zhao, Amirmasoud Ghiassi, Robert Birke, Lydia Y. Chen
URL:http://arxiv.org/abs/2001.10399v1

この論文の概要(機械翻訳による和訳)
ノイズの多いラベル付きデータは、Webやソーシャルメディアで継続的に公開される自己生成コンテンツの希少性というよりも一般的です。プライバシーの懸念と政府の規制により、このようなデータストリームは、限られた期間で学習目的にのみ保存および使用できます。このオンラインシナリオのノイズを克服するために、私たちは小説を組み合わせたQActorを提案します:品質モデルを介したおそらくきれいなサンプルの選択と、最も有益な真のラベルのオラクルへの積極的なクエリ。前者はオンラインシナリオのデータ量が少ないことに苦しむ可能性がありますが、後者は人間の専門家の可用性とコストに制約されます。 QActorは、データフィルタリングの品質モデルと最も有益なデータをクリーニングするためのOracleクエリのメリットを迅速に組み合わせます。QActorの目的は、厳格なOracle予算を活用して、学習精度を堅牢に最大化することです。 QActorは、さまざまなクエリの割り当てと不確実性の尺度を組み合わせたさまざまな戦略を探ります。 QActorの中心的な機能は、各データバッチの学習損失に従ってクエリ制限を動的に調整することです。分類器に入力されるさまざまな画像データセットを広範囲に評価します。分類器は、標準の機械学習(ML)モデルまたはノイズラベル比が30%〜80%のディープニューラルネットワーク(DNN)です。私たちの結果は、QActorは、オラクルからのグラウンドトゥルースデータの最大6%の追加コストで、クリーンなデータのみを使用して達成される最適な精度にほぼ一致することを示しています。

Bandit optimisation of functions in the Matérn kernel RKHS

MatérnカーネルRKHSの関数のバンディット最適化

著者:David Janz, David R. Burt, Javier González
URL:http://arxiv.org/abs/2001.10396v1

この論文の概要(機械翻訳による和訳)
ノイズの多いバンディットフィードバック下で、ドメイン$ [0,1] ^ d $上のパラメーター$ nu $を持つMat ‘ernファミリーカーネルのRekering kernelHilbert空間(RKHS)で関数を最適化する問題を検討します。私たちの貢献である$ pi $ -GP-UCBアルゴリズムは、すべての$ nu> 1 $および$ d geq 1 $の部分線形後悔が保証された最初の実用的なアプローチです。実証的検証により、その前身であるGP-UCBの改良と比較して、パフォーマンスが向上し、計算のスケーラビリティが大幅に向上したことが示唆されます。

Graph Neighborhood Attentive Pooling

グラフ近傍注意プーリング

著者:Zekarias T. Kefato, Sarunas Girdzijauskas
URL:http://arxiv.org/abs/2001.10394v2

この論文の概要(機械翻訳による和訳)
ネットワーク表現学習(NRL)は、高次元およびスパースグラフの低次元ベクトル表現を学習するための強力な手法です。ほとんどの研究では、ランダムウォークを使用してグラフに関連する構造とメタデータを調査し、教師なしまたは半教師付き学習スキームを採用しています。ノードごとに1つの表現しか学習されないため、これらのメソッドはコンテキストフリーです。最近の研究では、単一表現の十分性について議論し、リンク予測やランキングなどのアプリケーションで非常に効果的であることが証明された状況依存アプローチを提案しました。ただし、これらのメソッドのほとんどは、RNNまたはCNNを使用して高度な機能をキャプチャするか、コミュニティ検出アルゴリズムに依存してノードの複数のコンテキストを識別する追加のテキスト機能に依存しています。この研究では、追加の機能やコミュニティ検出アルゴリズムを必要とせずに、注意深いプーリングネットワークを使用してノードの近隣のさまざまな部分に参加することを学習するGAPと呼ばれる新しいコンテキスト依存アルゴリズムを提案します。リンク予測およびノー​​ドクラスタリングタスクで3つの実世界のデータセットを使用してGAPの有効性を示し、10の人気のある(SOTA)ベースラインと比較します。 GAPは一貫してパフォーマンスを上回り、リンク予測およびクラスタリングタスクでそれぞれ最高のパフォーマンスを発揮するメソッドよりも最大で9%および20%高いゲインを達成します。

A random forest based approach for predicting spreads in the primary catastrophe bond market

プライマリカタストロフ債市場のスプレッドを予測するためのランダムフォレストベースのアプローチ

著者:Despoina Makariou, Pauline Barrieu, Yining Chen
URL:http://arxiv.org/abs/2001.10393v1

この論文の概要(機械翻訳による和訳)
ランダムフォレストアプローチを導入して、プライマリカタストロフボンド市場でスプレッドの予測を可能にします。新規発行に先立って募集回覧の投資家に提供されたすべての情報が、スプレッドの予測において同様に重要であるかどうかを調査します。 2009年12月から2018年5月までに発行された生命災害以外の債券の全人口が使用されます。ランダムフォレストは、全体の変動の93%を説明する、目に見えないプライマリカタストロフボンドデータに印象的な予測力を示しています。比較のために、ベンチマークモデルである線形回帰の予測性能は劣っていて、全体の変動の47%しか説明していません。オファリングサーキュラーで提供されるすべての詳細は、広がりを予測しますが、程度は異なります。結果の安定性が研究されています。ランダムフォレストの使用は、大惨事債券業界での投資決定をスピードアップできます。

Statistical Exploration of Relationships Between Routine and Agnostic Features Towards Interpretable Risk Characterization

解釈可能なリスク特性評価に向けた日常的および不可知論的特徴間の関係の統計的調査

著者:Eric Wolsztynski
URL:http://arxiv.org/abs/2001.10353v1

この論文の概要(機械翻訳による和訳)
ハイスループットシステムの他の応用分野で一般的なように、放射線学は、ラジオミクス分析から派生したモデルなど、ますます洗練された予測モデルを解釈するという課題に直面しています。各テクニック。この出力モデルがどうであれ、いくつかの重要な疑問を提起します。臨床実施のための予後モデルをどのように解釈しますか?臨床的に解釈可能なモデルを作成するために、どのようにして一連の放射特性内の潜在的な情報構造を特定できますか?また、機能間の潜在的な関係を再解釈または活用して、解釈可能性を向上させるにはどうすればよいですか?さまざまな角度からの放射線学的特徴間の(おそらく非線形の)関係を評価するために、多くの統計的手法が検討されています。

WISDoM: a framework for the Analysis of Wishart distributed matrices

WISDoM:Wishart分散行列の分析のためのフレームワーク

著者:Carlo Mengucci, Daniel Remondini, Enrico Giampieri
URL:http://arxiv.org/abs/2001.10342v1

この論文の概要(機械翻訳による和訳)
WISDoM(Wishart Distributed Matrices)は、Wishart分布をヌルモデルとして、共分散行列や相関行列などの実験サンプルに関連付けられた対称正定行列の特性評価のための新しいフレームワークです。 WISDoMは、そのような行列が異なる次元のデータ(たとえば、変数の数が同じで時間サンプリングが異なる時系列)によって生成される場合でも、分類などの教師あり学習のタスクに適用できます。特に、脳波(EEG)データに関連付けられた特徴を時系列デザインでランク付けする方法の適用を示し、このタイプの研究に理論的に健全なアプローチを提供します。

Multi-Source Deep Domain Adaptation for Quality Control in Retail Food Packaging

小売食品包装の品質管理のためのマルチソースディープドメイン適応

著者:Mamatha Thota, Stefanos Kollias, Mark Swainson, Georgios Leontidis
URL:http://arxiv.org/abs/2001.10335v1

この論文の概要(機械翻訳による和訳)
小売食品包装には、製品名、成分リスト、栄養情報、アレルゲン、調製ガイドライン、パック重量、保管および保存期限の情報(使用期限/賞味期限など)を含む、消費者の健康に役立つ情報が含まれています。このような情報の存在と正確性は、製品の詳細な理解を確保し、健康上のリスクの可能性を減らすために重要です。その結果、誤った判読不能なラベリングは、消費者およびサプライチェーンの他の多くの利害関係者にとって非常に有害である可能性があります。この論文では、マルチソースの深層学習ベースのドメイン適応システムを提案し、テストして、製品が食品生産ラインを通過する際の検証プロセスの一環として撮影された食品包装写真から使用期限情報の存在と読みやすさを特定および検証します。これは、すべてのドメインのドメイン不変表現を抽出するためにマルチソースデータセットを使用し、クラスの境界とともに、共通の特徴空間でソースドメインとターゲットドメインのすべてのペアの分布を調整することにより、技術の一般化を改善することで達成されました。提案されたシステムは、検証プロセスを自動化し、そうでなければ公衆衛生を脅かし、食品包装の情報と正確性に関する法的要件に違反する可能性のあるラベリングエラーを削減するために、実施された実験で非常に良好に機能しました。この方法は、分類精度を大幅に改善するため、食品製造管理システムへの適用と有益な影響の大きな可能性を秘めています。

Margin Maximization as Lossless Maximal Compression

ロスレス最大圧縮としてのマージン最大化

著者:Nikolaos Nikolaou, Henry Reeve, Gavin Brown
URL:http://arxiv.org/abs/2001.10318v1

この論文の概要(機械翻訳による和訳)
教師あり学習アルゴリズムの最終目標は、トレーニングデータに基づいて構築されたモデルを作成して、新しい例にうまく一般化できるようにすることです。分類、機能マージンの最大化-最大限の信頼度で可能な限り多くのトレーニング例を正しく分類する-は、良好な一般化保証を備えたモデルを構築することが知られています。この作業により、ノイズレストレーニングデータセットのマージン最大化モデルの情報理論的解釈が、上記データセットのロスレス最大圧縮を実現するものとして提供されます。つまり、特徴からラベルを予測するためのすべての有用な情報を抽出し、それ以上はしません。この接続は、教師付き機械学習の一般化に関する新しい洞察を提供し、マージンの最大化をより一般的な原則の(分類の)特殊なケースとして示し、勾配ブースティングなどの一般的な学習アルゴリズムの成功と潜在的な制限を説明します。私たちは理論的議論と経験的証拠で観察を支持し、将来の研究の興味深い方向を特定します。

Privacy-Preserving Gaussian Process Regression — A Modular Approach to the Application of Homomorphic Encryption

プライバシーを保護するガウス過程回帰-準同型暗号化のアプリケーションへのモジュール式アプローチ

著者:Peter Fenner, Edward O. Pyzer-Knapp
URL:http://arxiv.org/abs/2001.10893v1

この論文の概要(機械翻訳による和訳)
機械学習の多くは、モデルをトレーニングして予測を行うために大量のデータを使用することに依存しています。このデータが複数のソースから取得される場合、たとえば機械学習モデルに対するデータの評価がサービスとして提供される場合、データの共有に関してプライバシーの問題や法的懸念が生じる可能性があります。完全準同型暗号化(FHE)では、データをwhilstencryptedで計算できるため、データプライバシーの問題を解決できますが、FHEは低速で制限が厳しいため、既存のアルゴリズムを操作してFHEパラダイムの下で効率的に動作する必要があります。ガウス過程回帰などの一般的に使用される一部の機械学習アルゴリズムは、FHEにはあまり適しておらず、効率的かつ正確に機能するように操作することはできません。このホワイトペーパーでは、保護が必要なワークフローの重要な手順にのみFHEを適用するモジュール式アプローチにより、一方の当事者が他の当事者のデータにアクセスすることなく、他方の当事者のデータから構築されたガウスプロセス回帰モデルを使用してデータを予測できることを示しています他のデータ、正確かつ効率的な方法で。この構造は、私たちの知る限り、効果的に暗号化されたガウス過程の最初の例です。

Causal query in observational data with hidden variables

隠された変数を持つ観測データの因果クエリ

著者:Debo Cheng, Jiuyong Li, Lin Liu, Jixue Liu, Kui Yu, Thuc Duy Le
URL:http://arxiv.org/abs/2001.10269v2

この論文の概要(機械翻訳による和訳)
この論文は、操作変数と結果に影響するもっともらしい交絡変数のセットが与えられている間、変数を「操作」するとき、結果の変化を探す目的で、隠された変数を持つ観測データの因果クエリの問題を議論します。操作された変数の因果効果を推定するこのような「実験データ」は、履歴データを使用した実験計画の検証や、新しい関係を研究する際の混乱者の探索に役立ちます。しかし、因果効果推定のための既存のデータ駆動型の方法は、高次元データのスケーラビリティの低さ、グローバルな因果構造学習アルゴリズムで使用されるヒューリスティックによる推定精度の低さ、データに隠れた変数が避けられない場合の因果充足性の推定など、いくつかの大きな課題に直面しています。この論文では、局所探索を使用して、現実的な前処理の仮定の下で観測データから因果効果を推定するための調整(または交絡)変数のスーパーセットを見つけるための定理を開発します。因果効果の不偏推定値が、調整変数のスーパーセットによって推定された因果効果セットで得られるという定理。開発された定理に基づいて、因果クエリのためのデータ駆動型アルゴリズムを提案します。実験により、提案されたアルゴリズムは、隠された変数を使用した既存のデータ駆動型の因果効果推定法よりも高速であり、より良い因果効果推定を生成することが示されています。アルゴリズムによって推定された因果効果は、ドメイン知識を使用した最先端の方法による因果効果と同等です。

Controlling generative models with continuous factors of variations

変動の連続因子による生成モデルの制御

著者:Antoine Plumerault, Hervé Le Borgne, Céline Hudelot
URL:http://arxiv.org/abs/2001.10238v1

この論文の概要(機械翻訳による和訳)
最近の深い生成モデルは、写真のようにリアルな画像だけでなく、コンピュータービジョンや自然言語処理のさまざまなタスクに対処するのに役立つ視覚的またはテキストコンテンツの埋め込みを提供できます。それにもかかわらず、それらの有用性は、生成プロセッサに対する制御の欠如、学習された表現の不十分な理解によってしばしば制限されます。これらの主要な問題を克服するために、ごく最近の研究は、生成モデルの潜在空間の意味論を研究することへの関心を示しています。本論文では、生成モデルの潜在空間の解釈可能性を向上させることを提案します。これにより、生成モデルの位置やスケールなどの特定のプロパティを正確に制御するために移動できる任意の生成モデルの潜在空間で意味のある方向を見つける新しい方法を導入することにより、画像内のオブジェクトの。私たちの方法は、人間の注釈を必要とせず、生成された画像の単純な変換、例えば、翻訳、ズーム、色の変化などをエンコードする方向の検索に特に適しています。 GANと変分オートエンコーダーの両方について、定性的および定量的に本方法の有効性を実証します。

Faster Activity and Data Detection in Massive Random Access: A Multi-armed Bandit Approach

大規模なランダムアクセスでのアクティビティとデータ検出の高速化:マルチアームの盗賊アプローチ

著者:Jialin Dong, Jun Zhang, Yuanming Shi, Jessie Hui Wang
URL:http://arxiv.org/abs/2001.10237v1

この論文の概要(機械翻訳による和訳)
このホワイトペーパーでは、大規模なIoTデバイスを使用した無償のランダムアクセスについて説明します。署名シーケンスにデータシンボルを埋め込むことにより、共同デバイスアクティビティ検出とデータデコードを実現できますが、計算の複雑さが大幅に増加します。検出の問題を解決するために、反復ごとの複雑さが低い座標降下アルゴリズムが採用されていますが、以前の研究では通常、収束が遅いランダム座標選択ポリシーが採用されています。この論文では、座標降下を介したより効率的な検出のための多腕バンディットアプローチを開発します。これにより、座標選択における探索と活用の間の微妙なトレードオフが行われます。具体的には、どの座標が目的関数のより積極的な降下をもたらすかを学習することにより、座標降下の収束速度を高速化するためのバンディットベースの戦略、すなわちベルヌーイサンプリングを最初に提案します。収束率をさらに改善するために、ベルヌーイサンプリングの探査ポリシーを学習するために、内部の多腕バンディット問題が確立されます。収束率分析とシミュレーション結果の両方が提供され、提案されているバンディットベースのアルゴリズムは、最新のアルゴリズムと比較して、より短い時間の複雑さで、より高速な収束率を享受できることを示しています。さらに、提案されたアルゴリズムは、さまざまなシナリオ、たとえば、低精度のアナログ-デジタルコンバーター(ADC)を使用した大規模なランダムアクセスに適用できます。

CLCNet: Deep learning-based Noise Reduction for Hearing Aids using Complex Linear Coding

CLCNet:複雑な線形コーディングを使用した補聴器向けの深層学習ベースのノイズ低減

著者:Hendrik Schröter, Tobias Rosenkranz, Alberto N. Escalante B., Marc Aubreville, Andreas Maier
URL:http://arxiv.org/abs/2001.10218v1

この論文の概要(機械翻訳による和訳)
ノイズリダクションは、現代の補聴器の重要な部分であり、ほとんどの市販のデバイスに含まれています。ただし、ディープラーニングベースの最新のアルゴリズムでは、リアルタイムおよび周波数の解像度の制約を考慮しないか、非常にノイズの多い条件下で品質が低下します。ノイズの多い環境でのモノラル音声強化を改善するために、複雑な値の線形コーディングに基づくフレームワークであるCLCNetを提案します。最初に、複雑な周波数領域で適用される線形予測コーディング(LPC)を動機とする複素線形コーディング(CLC)を定義します。次に、複雑なスペクトログラム入力と係数出力を組み込むフレームワークを提案します。第三に、低レイテンシおよびオンライン処理に準拠した複雑な値のスペクトログラムのパラメトリック正規化を定義します。当社のCLCNetは、EUROMデータベースと、補聴器で記録された実際のノイズデータセットの混合物で評価され、従来の実際のWienerフィルタゲインと比較されました。

Robust Method for Semantic Segmentation of Whole-Slide Blood Cell Microscopic Image

全スライド血球顕微鏡画像の意味的セグメンテーションのためのロバストな方法

著者:Muhammad Shahzad, Arif Iqbal Umar, Muazzam A. Khan, Syed Hamad Shirazi, Zakir Khan, Waqas Yousaf
URL:http://arxiv.org/abs/2001.10188v1

この論文の概要(機械翻訳による和訳)
SEM(走査型電子顕微鏡)血球画像のセグメンテーションに関する以前の研究では、スライド全体の血球セグメンテーションのセマンティックセグメンテーションアプローチは無視されます。提案された作業では、セマンティックセグメンテーションアプローチを使用して、スライド全体の血球セグメンテーションの問題に対処します。ピクセルレベルの特徴抽出モデルとして、VGG-16とともに、新しい畳み込みエンコーダ-デコーダフレームワークを設計します。 -e提案されたフレームワークは、3つの主要なステップで構成されます。最初に、すべての元の画像と手動で生成された各血球タイプのグラウンドトゥルースマスクが前処理段階を通過します。前処理段階では、ピクセルレベルのラベル付け、マスクされた画像とピクセルフュージングのRGBからグレースケールへの変換、および統一マスク生成が実行されます。その後、VGG16がシステムに読み込まれ、事前学習済みのピクセルレベルの特徴抽出モデルとして機能します。 3番目のステップでは、提案されたモデルでトレーニングプロセスが開始されます。 3つの評価指標でネットワークパフォーマンスを評価しました。私たちは、クラスワイズだけでなく、グローバルおよび平均精度に関しても優れた結果を得ました。我々のシステムは、RBC、WBC、および血小板についてそれぞれ97.45%、93.34%、および85.11%のクラス単位の精度を達成しましたが、グローバルおよび平均の精度はそれぞれ97.18%および91.96%のままです。

Revisiting Graph based Collaborative Filtering: A Linear Residual Graph Convolutional Network Approach

グラフベースの協調フィルタリングの再考:線形残差グラフ畳み込みネットワークアプローチ

著者:Lei Chen, Le Wu, Richang Hong, Kun Zhang, Meng Wang
URL:http://arxiv.org/abs/2001.10167v1

この論文の概要(機械翻訳による和訳)
グラフ畳み込みネットワーク(GCN)は、畳み込み集計操作と非線形活性化操作の複数の層を繰り返しスタックすることによる、最先端のグラフベースの表現学習モデルです。一部の研究者は、2部グラフとしてのユーザーと項目の相互作用の振る舞いを、GCNとの上位層の協調信号をモデル化します。これらのGCNベースの推奨モデルは、従来の作品と比較して優れたパフォーマンスを示しますが、これらのモデルは、大きなユーザーアイテムグラフの非線形アクティベーションでトレーニングが困難です。その上、ほとんどのGCNベースのモデルは、グラフ畳み込み操作による過剰な平滑化効果のため、より深い層をモデル化できませんでした。このホワイトペーパーでは、2つの側面からGCNベースのCFモデルを再検討します。最初に、非線形性を除去することで推奨性能が向上することを経験的に示します。これは単純グラフ畳み込みネットワークの理論と一致しています。次に、CF向けに特別に設計された残差ネットワーク構造を提案します。これは、疎なユーザーアイテムインタラクションデータを使用したグラフコンボリューション集約操作における過剰平滑化問題を軽減します。提案されたモデルは線形モデルであり、トレーニング、大規模なデータセットへのスケーリング、および2つの実際のデータセットの効率と効率の向上が容易です。ソースコードはhttps://github.com/newlei/LRGCCFで公開しています。

Masked cross self-attention encoding for deep speaker embedding

深い話者の埋め込みのためのマスクされたクロス自己注意エンコード

著者:Soonshin Seo, Daniel Jun Rim, Junseok Oh, Ji-Hwan Kim
URL:http://arxiv.org/abs/2001.10817v1

この論文の概要(機械翻訳による和訳)
一般に、話者検証タスクでは、ディープニューラルネットワークから話者の埋め込みを抽出する必要があります。スピーカーの埋め込みには、スピーカー情報の他にノイズなどの追加情報が含まれる場合があるため、その可変性制御が必要です。以前のモデルでは、ショートカット接続に基づく複数のプーリングを使用して、次元を深くすることでスピーカー情報を増幅していました。ただし、ばらつきの問題は残っています。この論文では、ディープスピーカー埋め込みのために、マスクされたクロスセルフアテンションエンコーディング(MCSAE)を提案します。この方法は、互いに複数のプーリングのマスクされた各出力に焦点を当てることにより、スピーカーの埋め込みのばらつきを制御します。 MCSAEの出力は、深いスピーカーの埋め込みを構築するために使用されます。 VoxCelebデータセットの実験結果は、提案されたアプローチが以前の最新モデルと比較してパフォーマンスを改善することを示しています。

COKE: Communication-Censored Kernel Learning for Decentralized Non-parametric Learning

COKE:分散型ノンパラメトリック学習のための通信検閲カーネル学習

著者:Ping Xu, Yue Wang, Xiang Chen, Tian Zhi
URL:http://arxiv.org/abs/2001.10133v1

この論文の概要(機械翻訳による和訳)
この論文では、複数の相互接続されたエージェントが、ローカルに観測されたデータのみにアクセスして、グローバルな目的関数を共同で最小化することにより、再生カーネルヒルベルト(RKH)空間で定義された最適な決定関数を学習する分散型最適化および学習問題を研究します。非パラメトリックアプローチとして、カーネル学習は分散実装で大きな課題に直面しています:ローカルの目的関数の決定変数は異なるサイズのデータ​​依存であり、したがってエージェント間の生データ交換なしでは分散コンセンサスフレームワークの下で最適化することはできません。データのプライバシーを保護するために、ランダム機能(RF)近似アプローチを活用して、RKH空間で表される大容量データをより小さなRF空間にマッピングします。これにより、同じサイズのパラメーター交換が容易になり、分散エージェントが、 RF空間のパラメーター。高速な収束実装のために、乗数の交互方向法(DKLA)による分散型カーネル学習の反復アルゴリズムを設計します。さらに、DKLAの通信負荷を軽減するために、通信検閲KErnel学習(COKE)アルゴリズムを開発します。そのために、通信検閲戦略を適用します。これにより、ローカル更新が有益であると見なされない限り、エージェントが反復ごとに送信するのを防ぎます。 DKLAおよびCOKEの線形収束保証および一般化パフォーマンス分析に関する理論結果が提供されます。 COKEの通信効率と学習効果を検証するために、合成データセットと実データセットの両方を使用した包括的なテストが実施されます。

分野/キーワード:

論文ナビに登録すると・・・
①最新情報をメールでお届け!
  • 話題のニュース一覧
  • 注目のプレスリリース
  • 論文解説・最近のイベント
②論文解説記事の投稿
  • ご自身の論文の解説
  • 読んだ論文のメモ
  • 研究に関する情報のシェア
③セミナー情報の宣伝
  • ご自身が主催するイベント情報を投稿してシェア
  • ユーザーで作るセミナー日程まとめに参加
【併せて読みたい関連記事】
X
- Enter Your Location -
- or -
パスワード再発行
お気に入り
  • Total (0)
0