ニューラルネットワーク分野論文まとめ【2020年01月30日arXiv公開】

この論文の概要（機械翻訳による和訳）
探索による問題解決の2つの礎石として知られている、開発と探索は、進化アルゴリズム（EA）の実装と応用について広く議論されています。ただし、開発と探査の1つの評価と理論的推定に焦点を当てた研究はごくわずかです。開発と探査はグローバル検索とローカル検索に関する2つの問題であることを考慮して、本稿では、異なるドメインで計算された成功確率とワンステップ改善率によってそれらを評価することを提案します統合の。次に、（1 + 1）ランダム単変量検索と（1 + 1）球関数と不正問題の進化的プログラミングのパフォーマンスを分析することにより、ケーススタディが実行されます。厳密な理論的分析により、調査したエリートEAの活用と探索の両方が問題次元$ n $で指数関数的に縮退することを実証します。一方、搾取と探索の最大化は、ガウス変異の標準偏差$ sigma $に適切な値を設定することによって達成できることも示されています。これは、現在のソリューションから有望な領域の中心までの距離に正の関係があります。

この論文の概要（機械翻訳による和訳）
リカレントニューラルネットワーク（RNN）は、時系列予測の強力なアプローチです。ただし、それらのパフォーマンスは、アーキテクチャとハイパーパラメータの設定に大きく影響されます。 RNNsisのアーキテクチャ最適化は時間のかかるタスクであり、検索スペースは通常、実数値、整数値、およびカテゴリ値の混合です。ネットワークのサイズを縮小および拡大できるようにするために、アーキテクチャの表現はしばしば可変長を持ちます。この論文では、ベイジアン最適化（BO）アルゴリズムのバリアントを使用して、アーキテクチャ最適化の問題に取り組むことを提案します。候補アーキテクチャの評価時間を短縮するために、ネットワークパフォーマンスを推定するトレーニング不要の方法である平均絶対誤差ランダムサンプリング（MRS）がBOの目的関数として採用されています。また、可変長アーキテクチャ表現に対処するための3つの固定長エンコーディングスキームを提案します。その結果、RNNの正確かつ効率的な設計に関する新しい視点が得られ、3つの問題について検証しています。私たちの調査結果は、1）BOアルゴリズムは、提案されたエンコーディングスキームを使用してさまざまなネットワークアーキテクチャを探索し、適切に機能するアーキテクチャを設計することができ、2）MRSを使用することで、実際のトレーニング手順から得られたアーキテクチャと比較してパフォーマンスを損なうことなく、最適化時間が大幅に短縮されることを示しています。

この論文の概要（機械翻訳による和訳）
脳にヒントを得たアプローチとしてのスパイクニューラルネットワーク（SNN）は、超高エネルギー効率のハードウェアを作成できる可能性があるため、注目を集めています。スパイクタイミング依存可塑性（STDP）に基づく競争学習は、教師なしSNNをトレーニングする一般的な方法です。ただし、この方法でトレーニングされた以前の教師なしSNNは、学習可能なレイヤーが1つしかない浅いネットワークに限定され、マルチレイヤーSNNと比較すると満足のいく結果を達成できません。この論文では、この制限を次の方法で緩和します。1）人工ニューラルネットワーク（ANN）文献のInceptionmoduleに触発されたSpiking Inception（Sp-Inception）モジュールを推奨します。このモジュールは、STDPベースの競争学習を通じてトレーニングされ、学習機能、学習効率、および堅牢性に関するベースラインモジュールよりも優れています。 2）Sp-Inceptionモジュールをスタック可能にするために、Pooling-Reshape-Activate（PRA）レイヤーを提案します。3）複数のSp-Inceptionモジュールをスタックして、多層SNNを構築します。私たちの方法は、画像分類タスクのベースライン方法を大きく上回り、既存の監視なしSNN間でMNISTデータセットに関する最新の結果に到達します。

この論文の概要（機械翻訳による和訳）
正確な聴覚空間マップは、たとえば、開発中または修正された耳介などの変更された聴覚キューに応答して、聴覚経験から学習できます。制限された監視に基づく両耳キューを使用して、水平面内の単一の音源を定位することを学ぶニューラルネットワークモデルを研究しました。これらの監視は、現実には信頼性が低いか、まばらである可能性があります。最初に、新生児の信頼性の低い聴覚定位反応をシミュレートするために、音源位置の信頼性の低い推定値を持つ単純なモデルが構築されます。これは、信頼できない監督のソースとして機能する教師として使用されます。次に、教師からのノイズの多い左または右のフィードバックのみに基づいて、連続した聴覚空間マップを学習できることを示します。さらに、環境からの強化報酬は、まばらな監督のソースとして使用されます。信頼できない生来の反応とまばらな強化報酬を組み合わせることにより、これら2種類の監督のいずれかで達成するのが困難な正確な聴覚空間マップを最終的に学習することができます。私たちの結果は、明示的な監督なしでも聴覚空間マッピングを較正できることを示しています。さらに、この研究は、複数のサブモジュールを調整して、限られた監督下で互いの学習プロセスを促進できる、より一般的な神経メカニズムを示唆しています。

この論文の概要（機械翻訳による和訳）
注意ベースのエンコーダ/デコーダニューラルネットワークモデルは、目標指向の対話システムで有望な結果を最近示しています。ただし、これらのモデルは、エンドツーエンドのテキスト生成機能を維持しながら、状態を完全に把握し、それを組み込むことに苦労しています。このようなモデルはユーザーの意図とナレッジグラフの統合から大きなメリットを得ることができるため、本書では、入力としてナレッジグラフとコーパスの共同埋め込みでトレーニングされるRNNベースのエンドツーエンドエンコーダーデコーダーアーキテクチャを提案します。このモデルは、誤ったエンティティを出力として生成することをペナルティ化するための追加の正規化手法とともにマルチタスク学習パラダイムでトレーニングされた、テキスト生成とユーザー意図の追加統合を提供します。このモデルは、推論中にナレッジグラフエンティティルックアップをさらに組み込み、生成された出力が、提供されたローカルナレッジグラフに基づいてステートフルであることを保証します。最終的にBLEUスコアを使用してモデルを評価し、経験的評価は、提案されたアーキテクチャがタスク指向の対話システムのパフォーマンスの向上に役立つことを示しています。

この論文の概要（機械翻訳による和訳）
ワンショットニューラルアーキテクチャ検索（NAS）は、NASメソッドを実際に計算可能にするために重要な役割を果たしてきました。それにもかかわらず、プロセスのダイナミクスを制御する多くの要因のため、これらの重み共有アルゴリズムが正確にどのように機能するかについてはまだ理解が不足しています。これらのコンポーネントの科学的研究を可能にするために、最近導入された多くの亜種にインスタンス化できるワンショットNASの一般的なフレームワークを導入し、最近の大規模なテーブルベンチマークNAS-Bench-101を安価に利用する一般的なベンチマークフレームワークを導入しますワンショットNASmethodsのいつでも評価。フレームワークを紹介するために、いくつかの最先端のNASメソッドを比較し、それらがハイパーパラメーターに敏感であることと、ハイパーパラメーターを調整することでどのように改善できるかを調べ、NAS-Benchのブラックボックスオプティマイザーのパフォーマンスと比較します-101。

この論文の概要（機械翻訳による和訳）
進化的計算方法の一般的な主張は、人間の介入を必要とせずに良い結果を達成できるということです。ただし、これに対する批判の1つは、優れたパフォーマンスを実現するために調整する必要があるハイパーパラメーターがまだあるということです。この作業では、手動で指定する必要なく、進化全体でハイパーパラメーター値を適応させる、「パラメーターなし」に近い遺伝的プログラミング手法を提案します。これを（TPOTを拡張することにより）自動機械学習の領域に適用し、人間の入力がないことを効果的に主張できるパイプラインを作成し、結果が、手動で選択されたハイパーパラメーター値を使用する既存の最先端技術と競合することを示します。パイプラインは、ランダムに選択された推定器から始まり、競合するパイプラインに自動的に進化します。この作業は、AutoMLへの真に自動化されたアプローチを目指しています。

この論文の概要（機械翻訳による和訳）
この研究では、運動速度認識のための新しい内部クロックベースの時空間ニューラルネットワークを提示します。開発したシステムには、スパイクトレインエンコーダ、内部クロッキング動作を備えたスパイキングニューラルネットワーク（SNN）、パターン変換ブロック、およびNetwork Dynamic Dependent Plasticity（NDDP）学習ブロックがあります。核となる原則は、開発されたSNNがネットワークパターン周波数（内部クロック周波数）を自動的に調整して、速度ドメインで人間の動きを認識することです。トレーニングのベンチマークとして漫画と実世界のビデオの両方を使用しましたが、結果は、システムがかなりの速度差（例：実行、歩行、ジャンプ、不思議（思考）、停止）の動きだけでなく、そして速い散歩。推論の精度は、最大83.3％（漫画ビデオ）および75％（現実世界のビデオ）です。一方、システムは、学習段階で最大42のトレーニングトライアルで6つのビデオデータセットのみを必要とします。ハードウェアパフォーマンスの推定では、トレーニング時間は0.84〜4.35秒、消費電力は33.26〜201mW（ARM Cortex M4プロセッサに基づく）であることが示されています。したがって、当社のシステムは、smalldataset、迅速な学習、および低電力パフォーマンスの要件という独自の学習上の利点を活用しており、エッジまたはスケーラブルなAIベースのアプリケーションに大きな可能性を示しています。