2020年01月25日に発表されたニューラルネットワーク分野の論文5本のAbstractをまとめて和訳しました。
この記事の見出し
- 1 BLK-REW: A Unified Block-based DNN Pruning Framework using Reweighted Regularization Method
- 2 On the computational power and complexity of Spiking Neural Networks
- 3 DCT-Conv: Coding filters in convolutional networks with Discrete Cosine Transform
- 4 Observer variation-aware medical image segmentation by combining deep learning and surrogate-assisted genetic algorithms
- 5 2D-VSR-Sim: an Optimization-friendly Simulator of 2-D Voxel-based Soft Robots
BLK-REW: A Unified Block-based DNN Pruning Framework using Reweighted Regularization Method
BLK-REW：Reweighted Regularization Methodを使用した統合ブロックベースのDNNプルーニングフレームワーク
URL：http://arxiv.org/abs/2001.08357v1
この論文の概要（機械翻訳による和訳）
さまざまなリソースが制限されたコンピューティングプラットフォームでのDNN実行の高速化は、長年の問題でした。先行研究では、l1ベースのグループラッソまたはADMMなどの動的正則化を利用して、DNNモデルで構造化プルーニングを実行し、並列コンピューティングアーキテクチャを活用しています。しかし、枝刈り寸法と枝刈り方法の両方に普遍性が欠けているため、パフォーマンスが低下し、適用性が制限されます。この問題を解決するために、一般的で柔軟な構造化プルーニングディメンションと、強力で効率的な再重み付けされた正則化方法を備えた、新しいブロックベースのプルーニングフレームワークを提案します。私たちのフレームワークは普遍的であり、CNNとRNNの両方に適用でき、2つの主要な計算集約型レイヤー（つまり、CONVレイヤーとFCレイヤー）を完全にサポートすることを意味します。加速のためのプルーニングタスクのすべての側面を完了するために、リアルタイムベースでDNN推論を実行できるフレームワークにコンパイラベースのコード最適化も統合します。私たちの知る限りでは、weightpruningフレームワークが、リアルタイムのモバイルアクセラレーションと精度の妥協なしで、CNNとRNNの両方のユニバーサルカバレッジを達成するのは初めてです。
On the computational power and complexity of Spiking Neural Networks
スパイキングニューラルネットワークの計算能力と複雑さについて
URL：http://arxiv.org/abs/2001.08439v1
この論文の概要（機械翻訳による和訳）
過去10年間に、SpiNNaker、TrueNorth、Loihisystemsなどの人工スパイキングニューラルネットワークに基づいたニューロモーフィックアーキテクチャが登場しました。これらのアーキテクチャの計算とメモリの大規模な並列性と共同配置により、従来のフォンノイマンアーキテクチャと比較して桁違いのエネルギー使用が可能になる可能性があります。ただし、従来の計算アーキテクチャ（特にエネルギー使用量に関する）との比較は、フォーマルマシンモデルとニューロモルフィック計算の計算複雑性理論の欠如により妨げられています。この論文では、そのような理論に向けた最初の一歩を踏み出します。スパイキングニューラルネットワークをマシンモデルとして導入します。ここでは、よく知られているチューリングマシンとは対照的に、情報とその操作がマシン内に共存しています。標準的な問題を導入し、複雑度クラスの階層を定義し、最初の完全性の結果を提供します。
DCT-Conv: Coding filters in convolutional networks with Discrete Cosine Transform
DCT-Conv：離散コサイン変換を使用した畳み込みネットワークのフィルターのコーディング
URL：http://arxiv.org/abs/2001.08517v1
この論文の概要（機械翻訳による和訳）
たたみ込みニューラルネットワークは、膨大な数の訓練された重みに基づいています。畳み込みニューラルレイヤーのフィルターが少数の訓練されたパラメーターに基づいて決定される研究のラインに従います。本論文では、訓練されたパラメーターは、逆離散コサイン変換（IDCT JPEGからの解凍にも同じことが適用されます）。スペクトルの選択されたコンポーネントのスイッチをオフにすることにより、ネットワークの訓練された重みの数を減らすことが、そのパフォーマンスにどのように影響するかを分析します。私たちの実験は、訓練されたDCTパラメータでフィルタをコーディングすると、従来の畳み込みよりも改善されることを示しています。また、この方法で変更されたネットワークのパフォーマンスは、これらのパラメーターをオフに切り替える範囲が拡大するにつれて非常にゆっくりと低下します。一部の実験では、これらのパラメーターの99.9％をオフにしたときに、良好なパフォーマンスが観察されます。
Observer variation-aware medical image segmentation by combining deep learning and surrogate-assisted genetic algorithms
深層学習と代理支援の遺伝的アルゴリズムを組み合わせたオブザーバーバリエーション認識医療画像セグメンテーション
URL：http://arxiv.org/abs/2001.08552v1
この論文の概要（機械翻訳による和訳）
最近、深層学習アルゴリズムを使用した医療画像の自動セグメンテーションに大きな進歩がありました。ほとんどの作品では、オブザーバーの変動はトレーニングデータを異質にするため問題であると認められていますが、この変動を明示的に捕捉する試みはこれまでのところ行われていません。ここでは、さまざまなスタイルのセグメンテーションを模倣できるアプローチを提案します。これにより、潜在的に自動セグメンテーション手法の品質と臨床的受容性を向上させることができます。この作業では、利用可能なすべてのデータで1つのニューラルネットワークをトレーニングする代わりに、異なるセグメンテーションバリエーションに属するデータのサブグループでいくつかのニューラルネットワークを個別にトレーニングします。先験的には、データにどのセグメンテーションのスタイルが存在するのかが不明確である可能性があり、異なるスタイルは必ずしも一対一の異なるオブザーバーにマッピングされるとは限らないため、サブグループは自動的に決定される必要があります。これを実現するには、遺伝的アルゴリズムを使用して最適なデータパーティションを検索します。したがって、各ネットワークは、グループ化されたトレーニングデータから特定のセグメンテーションスタイルを学習できます。観察者の変動をシミュレートしたオープンソースの前立腺セグメンテーションMRIデータの原理結果の証明を提供します。このアプローチでは、すべてのデータでトレーニングされた1つのネットワークと比較して、サイコロと表面のダイス係数の面で最大23％（シミュレートされた変動に応じて）向上します。
2D-VSR-Sim: an Optimization-friendly Simulator of 2-D Voxel-based Soft Robots
2D-VSR-Sim：2Dボクセルベースのソフトロボットの最適化に適したシミュレータ
URL：http://arxiv.org/abs/2001.08617v1
この論文の概要（機械翻訳による和訳）
ボクセルベースのソフトロボット（VSR）は、設計が最適化の影響を受けやすいソフトブロックの集合体です。ここでは、VSRの体と脳の最適化に関する研究を促進するためのソフトウェア、2D-VSR-Simを紹介します。 Javaで書かれたソフトウェアは、最適化に適したすべてのVSRアスペクトに一貫したインターフェースを提供し、設計によってセンシングの存在、つまり、VSRを制御するための環境からのフィードバックを活用する可能性を考慮します。機械的な観点から、2D-VSR-SimでシミュレートできるVSRを実験的に特徴付け、シミュレーションの計算負荷について説明します。最後に、2D-VSR-Simを使用して、重要な以前の研究の実験を繰り返し、遠近法で、さまざまな研究質問に対する実験的回答を提供する方法を示します。
