ニューラルネットワーク分野論文まとめ【2020年02月25日arXiv公開】

この論文の概要（機械翻訳による和訳）
最近の研究では、ニューラルネットワーク学習の多くの重要な側面が、トレーニングの非常に初期の反復またはエポック内で行われていることが示されています。 Gur-Ari et al。、2018）、およびネットワークは重要な期間を経ています（Achille et al。、2019）。ここでは、この初期段階のトレーニング中にディープニューラルネットワークが受ける変化を調べます。トレーニングの初期の反復中にネットワーク状態の広範な測定を実行し、Frankle et al。（2019）のフレームワークを活用して、データセットのさまざまな側面の重み分布とその依存性を定量的にプローブします。このフレームワーク内では、ディープネットワークは、符号を維持しながらランダムな重みで再初期化することに対してロバストではなく、わずか数百回の反復後でも重み分布は非常に非依存であることがわかります。この振る舞いにもかかわらず、ぼやけた入力または補助的な自己監視タスクによる事前トレーニングは、監視ネットワークの変化を近似することができ、これらの変化は本質的にラベル依存ではないことを示唆しますが、ラベルはこのプロセスを大幅に加速します。一緒に、これらの結果は、この重要な初期学習期間中に発生するネットワークの変化を解明するのに役立ちます。

この論文の概要（機械翻訳による和訳）
SupRB学習システム、多次元連続決定問題に関する教師あり学習のための新しいピッツバーグスタイル学習分類システム（LCS）を提案します。 SupRBは、例（状況、選択、および関連する品質で構成される）から品質関数の近似値を学習し、最適な選択を行い、特定の状況での選択の品質を予測することができます。 SupRBの適用分野の1つは、産業機械のパラメーター化です。この分野では、機械学習システムの推奨事項の受け入れは、オペレーターの信頼に大きく依存しています。その信頼のための本質的で研究されている成分は予測品質ですが、これだけでは十分ではないようです。少なくとも重要なのは、推奨の背後にある理由の人間が理解できる説明です。人工ニューラルネットワークなどの多くの最先端の方法ではこれに達しませんが、SupRBなどのLCSは、非常に簡単に理解できる人間が読めるルールを提供します。普及しているLCSは、継続的な選択をサポートしていないため、この問題に直接適用できません。このホワイトペーパーでは、SupRBの基礎を築き、積層造形問題の単純化モデルでの一般的な適用性を示します。

この論文の概要（機械翻訳による和訳）
近年、スパイキングニューラルネットワーク（SNN）は、ディープニューラルネットワーク（DNN）の代替として登場しています。 SNNは、低電力ニューロモルフィックハードウェアを使用してより高い計算効率を示し、スパイクタイミング依存可塑性（STDP）などのローカルおよび教師なし学習ルールを使用したトレーニングに必要なラベル付きデータが少なくて済みます。 SNNは、MNISTなどの単純なデータセットでのイメージ分類における有効性を実証しています。ただし、自然な画像を処理するには、前処理ステップが必要です。差分ガウス（DoG）フィルタリングは、通常、オンセンター/オフセンターコーディングと併用されますが、分類パフォーマンスに有害な情報の損失をもたらします。このホワイトペーパーでは、STDPを使用して機能を学習する前に、前処理ステップとしてホワイトニングを使用することを提案します。 CIFAR-10の実験では、標準化により、DoDPフィルタリングに比べて分類性能が大幅に向上し、標準のニューラルネットワークで学習したものに近い視覚的特徴をSTDPで学習できることが示されています。また、ニューロモーフィックハードウェアに実装するのに適した学習に適したコンボリューションカーネルとしてのホワイトニングの近似を提案します。また、データセット全体でかなり安定していることを示しており、単一のホワイトニング変換を学習して異なるデータセットを処理できるようになっています。

この論文の概要（機械翻訳による和訳）
スパイクニューラルネットワーク（SNN）は、エネルギー効率の高いイベント駆動型ニューロモルフィックプロセッサでの時空間学習と実装に適していますが、既存のSNNエラーバックプロパゲーション（BP）追跡方法は、スパイクの不連続性の適切な処理を欠いており、従来の人工ニューラルネットワーク。さらに、SNNが適切なパフォーマンスを達成するためには通常、多数のタイムステップが必要であり、高レイテンシにつながり、スパイクベースの計算をディープアーキテクチャにスケーラブルにできません。ディープSNNをトレーニングするための新しい時間スパイクシーケンス学習バックプロパゲーション（TSSL-BP）メソッドを提示します。これは、2種類のニューロン間およびニューロン内依存性にわたるエラーバックプロパゲーションを分解します。これは、発火活動の全か無かの特性、シナプス前発火時間を介したニューロン間依存性の捕捉、およびニューロン内依存性の捕捉時間を介した各ニューロン状態の内部進化を考慮します。さまざまな画像分類データセットについて、TSSL-BPは、CIFAR10で以前に報告されたSNN作業よりも2％以上の精度向上を達成するなど、精度とランタイム効率を向上させて、数ステップの短い時間的時間枠内で深いSNNを効率的にトレーニングします。

この論文の概要（機械翻訳による和訳）
科学と工学における新しいデバイスと実験の設計は、歴史的に人間の専門家の直観に依存してきました。ただし、この信条は変更されています。多くの分野で、コンピューターにヒントを得た設計プロセスは、逆設計とも呼ばれ、科学者の能力を高めてきました。ここでは、コンピューターにインスパイアされたデザインが適用される物理学のさまざまな分野について説明します。トポロジー最適化、進化戦略、深層学習、強化学習、自動推論に基づいた非常に多様な計算アプローチに対応します。次に、量子物理学に特に注目します。新しい量子実験を設計するための探求では、2つの課題に直面します。まず、量子現象は直感的ではありません。第二に、量子実験の可能な構成の数が組み合わせて爆発する。これらの課題を克服するために、物理学者はコンピューター設計の量子実験にアルゴリズムを使用し始めました。科学者が新しい複雑な量子実験を見つけるために使用した最も成熟したアプローチと textit {practical}アプローチに焦点を当てています。基礎となるアイデアは、科学的な解釈を可能にする非常に効率的なトポロジー検索です。そのようにして、コンピューター設計の一部は、新しい科学的概念とアイデアの発見につながりました。コンピューターアルゴリズムが、予期せぬインスピレーションを提供することにより、科学に真に貢献できることを示しています。最適化と機械学習の手法に基づいたいくつかの拡張と代替案について、将来の実用的なコンピューターを刺激する実験や概念の発見を加速する可能性について説明します。最後に、物理学の分野におけるさまざまなアプローチから何を学ぶことができるかを議論し、将来の研究のためのいくつかの魅力的な可能性を提起します。

この論文の概要（機械翻訳による和訳）
ディープニューラルネットワークの膨大な推論コストは、ネットワーク圧縮によって縮小できます。プルーニングは、ディープネットワーク圧縮に使用される主要なアプローチの1つです。ただし、既存のプルーニングテクニックには、次の1つ以上の制限があります。1）プルーニングおよび微調整ステージによる計算量の多いトレーニングステージの追加のエネルギーコスト、2）特定の統計に基づいたレイヤーごとのプルーニング、効果を無視ネットワーク内のエラー伝播の原因、3）重要なチャネルをグローバルに決定するための効率的な推定の欠如、4）非構造化プルーニングには、効果的な使用のための特殊なハードウェアが必要です。上記のすべての問題に対処するために、機能関連スコアと呼ばれる新しいデータ駆動型メトリックを使用した方法論のトレーニング中に、シンプルで効果的な段階的なチャネルプルーニングを提示します。提案された技術は、実際のトレーニング段階中に固定された間隔で構造化された方法で最も重要でないチャネルをプルーニングすることにより、追加の再トレーニングサイクルを取り除きます。機能関連性スコアは、ネットワークの識別力に対する各チャネルの寄与を効率的に評価するのに役立ちます。CIFAR-10、CIFAR-100、ImageNetなどのデータセットを使用して、VGGやResNetなどのアーキテクチャで提案された方法論の有効性を実証し、 $ 1 ％$未満の精度でトレードオフしながら大幅なモデル圧縮。特に、ResNet-110でトレーニングされたCIFAR-10データセットでは、プルーニングされていないネットワークに比べて精度が$ 0.01 ％$低下し、FLOPの$ 2.4 times $圧縮と$ 56 ％$削減を実現します。

この論文の概要（機械翻訳による和訳）
この記事では、さまざまなネットワークアーキテクチャとデータセットを使用した広範な実験から得られたVariationalAutoencodersの主要な問題と思われるものに焦点を当てます。生成されたデータの分散はトレーニングデータの分散よりもかなり低いです。生成モデルは通常、実際の画像と生成された画像（の特徴）の分布を比較するFrechet Inception Distance（FID）などのメトリックで評価されるため、分散損失は通常、スコアの低下につながります。この問題は、2番目のVAEを使用して最初のVAEの潜在空間でサンプリングする2段階設定で特に関連します。わずかな差異は、潜在変数の実際の分布と2番目のVAEによって生成された変数との間に不一致を作成し、2番目の段階の有益な効果を妨げます。 2番目のVAEの出力を予想される正規球面分布に向けて再正規化すると、FIDの観点からも証明されるように、生成されたサンプルの品質に突然のバーストが得られます。

この論文の概要（機械翻訳による和訳）
進化ロボティクスの重要な問題は、シミュレーションで学んだコントローラーを現実に移すことです。プラットフォームは非常に動的で破損しやすいため、これは特に小型無人航空機（UAV）の場合です。以前のアプローチでは、多くの場合、高レベルの精度を備えたシミュレーションモデルが必要です。そうしないと、適切に設計されたコントローラーをターゲットプラットフォームに展開するときに重大なエラーが発生する可能性があります。ここでは、シナプス可塑性を使用してオンライン適応を介して現実のギャップを越えるスパイキングニューロコントローラーを設計することにより、異なる視点から伝達問題を克服しようとします。一連の実験を通じて、進化したプラスチックスパイキングコントローラーは、進化トレーニング後に行われるモデルの変更に自己適応することでその機能を維持でき、その結果、非プラスチックのスパイクコントローラーよりも優れたパフォーマンスを示すことを示しています。