ニューラルネットワーク分野論文まとめ【2020年01月31日arXiv公開】

この論文の概要（機械翻訳による和訳）
ガウス過程（GP）事前分布は、ベイジアン推論の魅力的なモデリングプロパティを備えたノンパラメトリックな生成モデルです。ノイズの多い観測を通じて非線形の関係をモデル化でき、トレーニングと推論の閉形式表現を持ち、解釈可能なハイパーパラメーターによって管理されます。ただし、GPモデルは、ガウス性に依存しています。これは、いくつかの現実世界のシナリオでは成り立たない仮定です。たとえば、観測値が制限されている場合や極端な値の依存関係がある場合、物理学、金融、社会科学の自然現象です。ガウスを超えた確率過程がGPコミュニティの注目を集めましたが、原則的な定義と厳密な処理はまだ欠けています。これに関して、確率論的プロセスを構築する方法論を提案します。確率論的プロセスには、GP、ワープGP、Student-tprocesses、および単一の統合アプローチの下でのその他のいくつかが含まれます。また、回帰問題で提案されたモデルのトレーニングと推論のための式とアルゴリズムも提供します。私たちのアプローチは、レイヤーベースのモデルに触発され、提案された各レイヤーは、生成された確率過程にわたって特定のプロパティを変更します。これにより、GPの魅力的な特性を維持しながら、境界およびコピュラがガウスである必要のない他のより表現力のある確率過程に先立って、標準のガウスホワイトノイズをプッシュフォワードできます。実世界のデータを使用した実験により、提案されたモデルを検証します。

この論文の概要（機械翻訳による和訳）
TensorFlowのGPUでの画像分類のためにResNetをトレーニングする確率は、ネットワークの重みとバイアスの初期化や与えられたミニバッチのシーケンスではなく、GPUの非決定性によって支配されていることを示しています。テストセットの精度の標準偏差は、シードが異なる0.027と比較して、固定シードでは0.02です。ResNetモデルの標準偏差の74％近くは非決定的です。テストセットロスの場合、標準偏差の比率は80 ％以上です。これらの結果は、ディープラーニングモデルのより堅牢な評価戦略を必要とします。これは、実行間でかなりの量の結果の変動がGPUランダム性から生じる可能性があるためです。

この論文の概要（機械翻訳による和訳）
音色生成に関する標準のオートエンコーダトポロジのパフォーマンスを比較します。自動エンコーダのボトルネックで使用されるさまざまなアクティベーション関数が、トレーニングコーパスの埋め込みをどのように分散するかを示します。ボトルネックでのシグモイド活性化の選択は、漏れのある補正された線形ユニット活性化よりも境界のある均一に分布した埋め込みを生成することを示しています。入力増強と潜在空間条件付けの両方で使用するためのワンホットでエンコードされたクロマ特徴ベクトルを提案します。これらのネットワークのパフォーマンスを測定し、このクロマ調整ベクトルの使用から生じる潜在的な埋め込みを特徴付けます。 Pythonでのオープンソースのリアルタイムティンバー合成アルゴリズムの概要と共有。

この論文の概要（機械翻訳による和訳）
フィットネスランドスケープは、メタヒューリスティックのダイナミクスを研究するのに役立つ概念です。過去20年間で、それらは遺伝的アルゴリズムや遺伝的プログラミングを含むいくつかのタイプの進化的アルゴリズムの最適化能力を推定するために成功裏に適用されてきました。しかし、これまでのところ、それらは目に見えないデータの機械学習アルゴリズムの性能を研究するために使用されたことがなく、神経進化に適用されたことはありません。この論文は、これら両方のギャップを埋めることを目的としており、初めて神経進化にフィットネスのランドスケープを適用し、それらを使用してメソッドの予測能力に関する有用な情報を推測します。より具体的には、文法ベースのアプローチを使用して畳み込みニューラルネットワークを生成し、3つの異なる突然変異のダイナミクスを研究して進化させます。 fitnesslandscapesを特徴づけるために、耐久性の自己相関とエントロピー測定を研究します。結果は、これらの測定値が、最適化能力と考慮される神経進化構成の一般化能力の両方を推定するのに適切であることを示しています。

この論文の概要（機械翻訳による和訳）
探索による問題解決の2つの礎石として知られている、開発と探索は、進化アルゴリズム（EA）の実装と応用について広く議論されています。ただし、開発と探査の1つの評価と理論的推定に焦点を当てた研究はごくわずかです。開発と探査はグローバル検索とローカル検索に関する2つの問題であることを考慮して、本稿では、異なるドメインで計算された成功確率とワンステップ改善率によってそれらを評価することを提案します統合の。次に、（1 + 1）ランダム単変量検索と（1 + 1）球関数と不正問題の進化的プログラミングのパフォーマンスを分析することにより、ケーススタディが実行されます。厳密な理論的分析により、調査したエリートEAの活用と探索の両方が問題次元$ n $で指数関数的に縮退することを実証します。一方、搾取と探索の最大化は、ガウス変異の標準偏差$ sigma $に適切な値を設定することによって達成できることも示されています。これは、現在のソリューションから有望な領域の中心までの距離に正の関係があります。

この論文の概要（機械翻訳による和訳）
リカレントニューラルネットワーク（RNN）は、時系列予測の強力なアプローチです。ただし、それらのパフォーマンスは、アーキテクチャとハイパーパラメータの設定に大きく影響されます。 RNNsisのアーキテクチャ最適化は時間のかかるタスクであり、検索スペースは通常、実数値、整数値、およびカテゴリ値の混合です。ネットワークのサイズを縮小および拡大できるようにするために、アーキテクチャの表現はしばしば可変長を持ちます。この論文では、ベイジアン最適化（BO）アルゴリズムのバリアントを使用して、アーキテクチャ最適化の問題に取り組むことを提案します。候補アーキテクチャの評価時間を短縮するために、ネットワークパフォーマンスを推定するトレーニング不要の方法である平均絶対誤差ランダムサンプリング（MRS）がBOの目的関数として採用されています。また、可変長アーキテクチャ表現に対処するための3つの固定長エンコーディングスキームを提案します。その結果、RNNの正確かつ効率的な設計に関する新しい視点が得られ、3つの問題について検証しています。私たちの調査結果は、1）BOアルゴリズムは、提案されたエンコーディングスキームを使用してさまざまなネットワークアーキテクチャを探索し、適切に機能するアーキテクチャを設計することができ、2）MRSを使用することで、実際のトレーニング手順から得られたアーキテクチャと比較してパフォーマンスを損なうことなく、最適化時間が大幅に短縮されることを示しています。

この論文の概要（機械翻訳による和訳）
脳にヒントを得たアプローチとしてのスパイクニューラルネットワーク（SNN）は、超高エネルギー効率のハードウェアを作成できる可能性があるため、注目を集めています。スパイクタイミング依存可塑性（STDP）に基づく競争学習は、教師なしSNNをトレーニングする一般的な方法です。ただし、この方法でトレーニングされた以前の教師なしSNNは、学習可能なレイヤーが1つしかない浅いネットワークに限定され、マルチレイヤーSNNと比較すると満足のいく結果を達成できません。この論文では、この制限を次の方法で緩和します。1）人工ニューラルネットワーク（ANN）文献のInceptionmoduleに触発されたSpiking Inception（Sp-Inception）モジュールを推奨します。このモジュールは、STDPベースの競争学習を通じてトレーニングされ、学習機能、学習効率、および堅牢性に関するベースラインモジュールよりも優れています。 2）Sp-Inceptionモジュールをスタック可能にするために、Pooling-Reshape-Activate（PRA）レイヤーを提案します。3）複数のSp-Inceptionモジュールをスタックして、多層SNNを構築します。私たちの方法は、画像分類タスクのベースライン方法を大きく上回り、既存の監視なしSNN間でMNISTデータセットに関する最新の結果に到達します。