ニューラルネットワーク分野論文まとめ【2020年01月29日arXiv公開】

この論文の概要（機械翻訳による和訳）
注意ベースのエンコーダ/デコーダニューラルネットワークモデルは、目標指向の対話システムで有望な結果を最近示しています。ただし、これらのモデルは、エンドツーエンドのテキスト生成機能を維持しながら、状態を完全に把握し、それを組み込むことに苦労しています。このようなモデルはユーザーの意図とナレッジグラフの統合から大きなメリットを得ることができるため、本書では、入力としてナレッジグラフとコーパスの共同埋め込みでトレーニングされるRNNベースのエンドツーエンドエンコーダーデコーダーアーキテクチャを提案します。このモデルは、誤ったエンティティを出力として生成することを罰するための追加の正規化技術とともにマルチタスク学習パラダイムでトレーニングされた、テキスト生成とともにユーザー意図の追加統合を提供します。モデルはさらに、推論中にナレッジグラフエンティティルックアップを組み込んで、生成された出力が提供されたローカルナレッジグラフに基づいてステートフルであることを保証します。最終的にBLEUスコアを使用してモデルを評価し、経験的評価は、提案されたアーキテクチャがタスク指向の対話システムのパフォーマンスの向上に役立つことを示しています。

この論文の概要（機械翻訳による和訳）
ワンショットニューラルアーキテクチャ検索（NAS）は、NASメソッドを実際に計算可能にするために重要な役割を果たしてきました。それにもかかわらず、プロセスのダイナミクスを制御する多くの要因のため、これらの重み共有アルゴリズムが正確にどのように機能するかについてはまだ理解が不足しています。これらのコンポーネントの科学的研究を可能にするために、最近導入された多くの亜種にインスタンス化できるワンショットNASの一般的なフレームワークを導入し、最近の大規模なテーブルベンチマークNAS-Bench-101を安価に利用する一般的なベンチマークフレームワークを導入しますワンショットNASmethodsのいつでも評価。フレームワークを紹介するために、いくつかの最先端のNASメソッドを比較し、それらがハイパーパラメーターに敏感であることと、ハイパーパラメーターを調整することでどのように改善できるかを調べ、NAS-Benchのブラックボックスオプティマイザーのパフォーマンスと比較します-101。

この論文の概要（機械翻訳による和訳）
進化的計算方法の一般的な主張は、人間の介入を必要とせずに良い結果を達成できるということです。ただし、これに対する批判の1つは、優れたパフォーマンスを実現するために調整する必要があるハイパーパラメーターがまだあるということです。この作業では、手動で指定する必要なく、進化全体でハイパーパラメーター値を適応させる、「パラメーターなし」に近い遺伝的プログラミング手法を提案します。これを（TPOTを拡張することにより）自動機械学習の領域に適用し、人間の入力がないことを効果的に主張できるパイプラインを作成し、結果が、手動で選択されたハイパーパラメーター値を使用する既存の最先端技術と競合することを示します。パイプラインは、ランダムに選択された推定器から始まり、競合するパイプラインに自動的に進化します。この作業は、AutoMLへの真に自動化されたアプローチを目指しています。

この論文の概要（機械翻訳による和訳）
この研究では、運動速度認識のための新しい内部クロックベースの時空間ニューラルネットワークを提示します。開発したシステムには、スパイクトレインエンコーダ、内部クロッキング動作を備えたスパイキングニューラルネットワーク（SNN）、パターン変換ブロック、およびNetwork Dynamic Dependent Plasticity（NDDP）学習ブロックがあります。核となる原則は、開発されたSNNがネットワークパターン周波数（内部クロック周波数）を自動的に調整して、速度ドメインで人間の動きを認識することです。トレーニングのベンチマークとして漫画と実世界のビデオの両方を使用しましたが、結果は、システムがかなりの速度差（例：実行、歩行、ジャンプ、不思議（思考）、停止）の動きだけでなく、そして速い散歩。推論の精度は、最大83.3％（漫画ビデオ）および75％（現実世界のビデオ）です。一方、システムは、学習段階で最大42のトレーニングトライアルで6つのビデオデータセットのみを必要とします。ハードウェアパフォーマンスの見積もりでは、トレーニング時間は0.84〜4.35秒、消費電力は33.26〜201mW（ARM Cortex M4プロセッサに基づく）であることが示されています。したがって、当社のシステムは、smalldataset、迅速な学習、および低電力パフォーマンスの要件という独自の学習上の利点を活用し、エッジまたはスケーラブルなAIベースのアプリケーションに大きな可能性を示しています。

この論文の概要（機械翻訳による和訳）
Meenaを公開します。これは、パブリックドメインのソーシャルメディアの会話からデータマイニングおよびフィルター処理されたエンドツーエンドのマルチターンオープンドメインチャットボットです。この2.6Bパラメータニューラルネットワークは、複雑さを最小限に抑えるようにトレーニングされています。これは、マルチターンの会話品質の人間の判断と比較する自動メトリックです。この判断をキャプチャするために、私たちは良好な会話の重要な要素をキャプチャする感度と特異度平均（SSA）と呼ばれる人間の評価指標を提案します。興味深いことに、我々の実験は、複雑さとSSAの間に強い相関関係があることを示しています。エンドツーエンドで最適なパープレキシティがSSAでトレーニングされたMeenascores（マルチターン評価で72％）であるという事実は、パープレキシティをより適切に最適化できる場合、86％の人間レベルのSSAが潜在的に到達可能であることを示唆しています。 Meena（フィルタリングメカニズムとtuneddecodingを使用）のスコアは79％SSAで、次に評価したスコアリングチャットボットよりも23％高くなりました。

この論文の概要（機械翻訳による和訳）
生き続けるためには、生物は積極的に自分自身を維持しなければなりません。オートポイエーシスは、生物の研究における重要な概念であり、生物自体の境界は、システム自体によって動的に調節されることにより静的ではありません。自己境界の自律的調節を研究するために、生物学的および人工的なニューラルネットワークの両方を使用して、環境の変化に対する神経ホメオダイナミクス応答に焦点を当てます。以前の研究では、体化された培養神経ネットワークとスパイクタイミング依存可塑性（STDP）のスパイクニューラルネットワークは、外部からの刺激を避けるため、アクションを学習することが示されました。この論文では、具体化された培養ニューロンを使用した実験の結果、ネットワークが刺激を回避できるようにする2番目の特性もあることがわかりました。エージェントが外部刺激を回避するためのアクションを学習できない場合、刺激誘発スパイクを減少させる傾向があります、制御不能な入力を無視するかのように。また、このような動作が非対称STDPのスパイクネットワークによって再現されることも示しています。これらの特性は、制御可能なニューロンが自己と見なされ、制御不能なニューロンが非自己と見なされるネットワークの自己および非自己の自律的規制と見なされます。最後に、刺激回避の原理を提案することにより、神経の自己形成を紹介します。

この論文の概要（機械翻訳による和訳）
データの視覚化は、ビッグデータセットを理解するためのデータマイニングの重要なツールです。よく知られている最先端の方法であるt-Distributed Stochastic NeighbourEmbeddingを含む多くの視覚化方法が提案されています。ただし、最も強力な視覚化方法には大きな制限があります。データセットの元の機能から視覚化を作成する方法は完全に不透明です。多くのドメインでは、元の機能に関してデータを理解する必要があります。したがって、理解可能なモデルを使用する強力な視覚化方法が必要です。この作業では、データセットから高品質の視覚化に解釈可能なマッピングを進化させるためのGPtSNEという名前の遺伝的プログラミングアプローチを提案します。単一の実行でさまざまな視覚化を生成する多目的アプローチが設計されており、視覚的品質とモデルの複雑さの間で異なるトレードオフが得られます。さまざまなデータセットのベースラインメソッドに対するテストにより、GP-tSNEの明確な可能性が示され、既存の視覚化メソッドによって提供されるデータよりも深い洞察が得られます。さらに、候補フロントの詳細な分析を通じて、多目的アプローチの利点を強調します。

この論文の概要（機械翻訳による和訳）
領域の視覚的特徴は、特徴に基づいてマシンの生成機能を強化しますが、適切な相互作用の注意知覚を欠いているため、偏った、または無相関の文や断片の情報になります。この作業では、属性の相互作用-テンソルProductRepresentation（aiTPR）を提案します。これは、直交結合を通じてより多くの情報を収集し、相互作用を物理エンティティ（テンソル）として学習し、キャプションを改善する便利な方法です。機能が未定義の機能空間に追加される以前の作品と比較して、TPRは組み合わせの健全性を維持するのに役立ち、直交性はおなじみの空間を定義するのに役立ちます。オブジェクトとその相互作用を定義する新しいコンセプトレイヤーを導入し、さまざまな記述の決定に重要な役割を果たすことができます。インタラクションの部分は、キャプションの品質を大幅に向上させ、このドメインとMSCOCOデータセットに関する以前のさまざまな成果を上回っています。私たちは、地域の画像特徴と抽象化された相互作用尤度を画像キャプションに埋め込むという概念を初めて導入しました。