2020年02月06日に発表された自然言語処理分野の論文25本のAbstractをまとめて和訳しました。
この記事の見出し
- 1 If I Hear You Correctly: Building and Evaluating Interview Chatbots with Active Listening Skills
- 2 Rapid Adaptation of BERT for Information Extraction on Domain-Specific Business Documents
- 3 Automatic Location Type Classification From Social-Media Posts
- 4 Discontinuous Constituent Parsing with Pointer Networks
- 5 K-Adapter: Infusing Knowledge into Pre-Trained Models with Adapters
- 6 Multi-Fusion Chinese WordNet (MCW) : Compound of Machine Learning and Manual Correction
- 7 Parsing as Pretraining
- 8 Identification of Indian Languages using Ghost-VLAD pooling
- 9 Lightweight Convolutional Representations for On-Device Natural Language Processing
- 10 Generalizing meanings from partners to populations: Hierarchical inference supports convention formation on networks
- 11 Visual Concept-Metaconcept Learning
- 12 Semantic Search of Memes on Twitter
- 13 From Topic Networks to Distributed Cognitive Maps: Zipfian Topic Universes in the Area of Volunteered Geographic Information
- 14 Plague Dot Text: Text mining and annotation of outbreak reports of the Third Plague Pandemic (1894-1952)
- 15 Iterative Data Programming for Expanding Text Classification Corpora
- 16 Compositional Languages Emerge in a Neural Iterated Learning Model
- 17 Exploring Structural Inductive Biases in Emergent Communication
- 18 CoVoST: A Diverse Multilingual Speech-To-Text Translation Corpus
- 19 On Stochastic Automata over Monoids
- 20 Arabic Diacritic Recovery Using a Feature-Rich biLSTM Model
- 21 Dynamic Knowledge Routing Network For Target-Guided Open-Domain Conversation
- 22 Syntactically Look-Ahead Attention Network for Sentence Compression
- 23 Variational Template Machine for Data-to-Text Generation
- 24 On the interaction between supervision and self-play in emergent communication
- 25 Fake News Detection by means of Uncertainty Weighted Causal Graphs
If I Hear You Correctly: Building and Evaluating Interview Chatbots with Active Listening Skills
正しく聞こえたら:アクティブなリスニングスキルを備えたインタビューチャットボットの構築と評価
URL:http://arxiv.org/abs/2002.01862v1
この論文の概要(機械翻訳による和訳)
インタビューチャットボットは、テキストベースの会話でユーザーの関心を引き、意見や意見を引き出します。ただし、自由回答形式の質問に対するユーザーのフリーテキスト応答を処理し、魅力的なユーザーエクスペリエンスを提供できる効果的なインタビューチャットボットを構築することは困難です。最初のステップとして、公開されている実用的なAIテクノロジーを使用して効果的なインタビューチャットボットを構築することの実現可能性と有効性を調査しています。実現可能性を実証するために、アクティブリスニングスキルのサブセット(ユーザーの入力を把握して適切に応答する能力)を備えたインタビューチャットボットを有効にするプロトタイプを構築しました。プロトタイプの有効性を評価するために、206人のユーザーによるライブ評価で、4つの一般的なインタビュートピックについて、アクティブリスニングスキルの有無にかかわらず、インタビューチャットボットのパフォーマンスを比較しました。私たちの仕事は、効果的なインタビューチャットボット、ハイブリッドチャットボットプラットフォーム、およびインタビュータスクを超えた共感的なチャットボットを構築するための実用的な設計の意味を提示します。
Rapid Adaptation of BERT for Information Extraction on Domain-Specific Business Documents
ドメイン固有のビジネスドキュメントの情報抽出のためのBERTの迅速な適応
URL:http://arxiv.org/abs/2002.01861v1
この論文の概要(機械翻訳による和訳)
契約、ステートメント、ファイリングなどのビジネスドキュメントから重要なコンテンツ要素を自動的に抽出する技術には、ビジネス運用をより効率的にする可能性があります。この問題は、シーケンスのラベル付けタスクとして定式化でき、BERTの2種類のビジネス文書への適合性を示しています:規制申告と不動産リース契約。この問題には、「標準の」情報抽出タスクよりも簡単にする側面や、より困難にする他の側面がありますが、バランスの取れた注釈データ(100文書未満)が妥当な精度を達成するには十分であることがわかります。モデルをエンドツーエンドのクラウドプラットフォームに統合し、使いやすい注釈インターフェイスと、ユーザーがドキュメントをアップロードしてモデル出力を検査できる推論インターフェイスの両方を提供します。
Automatic Location Type Classification From Social-Media Posts
ソーシャルメディア投稿からの自動ロケーションタイプ分類
URL:http://arxiv.org/abs/2002.01846v1
この論文の概要(機械翻訳による和訳)
ソーシャルメディア投稿からの自動ロケーションタイプ分類の問題を紹介します。私たちの目標は、特定の場所を中心に小さな半径で投稿されたメッセージのセットを、学校、教会、レストラン、博物館などの対応する場所タイプと正しく関連付けることです。地理的に近接して投稿されたツイートに関連する場所のデータセットを提供します。この問題に対する2つのアプローチを検討します。(a)各メッセージが最初に分類され、次にメッセージセットに関連付けられた場所が個々のメッセージラベルから推測されるパイプラインアプローチ。 (b)個々のメッセージを同時に処理して、目的のロケーションタイプを生成する共同アプローチ。この結果は、共同アプローチの優位性を示しています。さらに、問題の独自の構造により、弱い関連メッセージが共同で処理されて単一の最終ラベルが生成されるため、より単純な線形分類器は、以前のテキスト分類タスク。
Discontinuous Constituent Parsing with Pointer Networks
ポインターネットワークを使用した不連続構成要素の解析
URL:http://arxiv.org/abs/2002.01824v1
この論文の概要(機械翻訳による和訳)
計算言語学およびNLPで使用される最も複雑な構文表現の1つは、ドイツ語などの言語のすべての文法現象を表すために重要な不連続な構成ツリーです。依存関係解析の最近の進歩は、ポインタネットワークが文内の単語間の構文関係を非効率的に解析することに優れていることを示しています。この種のシーケンス間モデルは、非投影依存ツリーを構築する際に卓越した精度を実現しますが、その可能性は、より困難なタスクでまだ証明されていません。ポインターネットワークによって、品詞情報を必要とせずに、これまでで最も正確な不連続成分表現を生成できる新しいニューラルネットワークアーキテクチャを提案します。そのために、不連続な構成要素構造を拡張された非射影依存構造として内部的にモデル化します。提案されたアプローチは、広く使用されている2つのNEGRAおよびTIGERベンチマークで最新の結果を達成し、以前の作業を大幅に上回るパフォーマンスを実現しています。
K-Adapter: Infusing Knowledge into Pre-Trained Models with Adapters
Kアダプター:アダプターを使用して事前学習済みモデルに知識を注入する
URL:http://arxiv.org/abs/2002.01808v1
この論文の概要(機械翻訳による和訳)
BERTやRoBERTaのような事前に訓練された大きなモデルに知識を注入する問題を研究します。既存の方法では、通常、知識を注入するときに事前トレーニングモデルの元のパラメーターが更新されます。しかし、複数の種類の知識が注入されると、それらは壊滅的な忘却の問題に苦しむ可能性があります。これに対処するために、Kアダプターを提案します。 RoBERTaを事前学習済みモデルとして使用すると、K-Adapterには、RoBERTaに接続されたプラグインなど、注入されたさまざまな種類の知識に対応したニューラルアダプターがあります。異なるアダプタ間で情報の流れはありません。したがって、異なるアダプタは分散された方法で効率的にトレーニングされます。 WikipediaとWikidataで自動的に調整されたテキストトリプレットから得られた事実知識と、依存関係解析から得られた言語知識を含む2種類の知識を注入します。関係分類、エンティティタイピング、質問回答を含む3つの知識駆動型タスク(合計6つのデータセット)の結果は、各アダプターがパフォーマンスを改善し、両方のアダプターの組み合わせがさらに改善されることを示しています。プローブ実験は、K-AdapterがRoBERTaよりも豊富な事実と常識の知識をキャプチャすることをさらに示しています。
Multi-Fusion Chinese WordNet (MCW) : Compound of Machine Learning and Manual Correction
Multi-Fusion Chinese WordNet(MCW):機械学習と手動修正の複合
URL:http://arxiv.org/abs/2002.01761v1
この論文の概要(機械翻訳による和訳)
Princeton WordNet(PWN)は、自然言語処理の開発を促進する認知言語学に基づく語彙意味論的ネットワークです。PWNに基づいて、5つの中国語ワードネットが開発され、構文とセマンティクスの問題が解決されました。東北大学中国語WordNet(NEW)、Sinica Bilingual Ontological WordNet(BOW)、南東大学ChineseWordNet(SEW)、台湾大学Chinese WordNet(CWN)、Chinese Open WordNet(COW)が含まれます。これらを使用することにより、これらの単語ネットワークの精度とカバレッジが低く、PWNのセマンティックネットワークを完全に描写できないことがわかりました。そこで、これらの欠点を補うために、Multi-Fusion Chinese Wordnet(MCW)と呼ばれる新しい中国語のワードネットを作成することにしました。重要なアイデアは、オックスフォードの対訳辞書と新華の対訳辞書の助けを借りてSEWを拡張し、それを修正することです。具体的には、修正に機械学習と手動調整を使用しました。作業を支援するために2つの標準が策定されました。補題の精度を比較するために、関連性の計算、単語の類似性、単語の意味の曖昧性解消を含む3つのタスクで実験を実施し、同時にカバレッジも比較しました。結果は、MCWが当社の方法によるカバレッジと精度の恩恵を受けることができることを示しています。しかし、特に補題に関しては、まだ改善の余地があります。将来的には、MCWの精度を高め、MCWの概念を拡張し続けます。
Parsing as Pretraining
事前学習としての解析
URL:http://arxiv.org/abs/2002.01685v1
この論文の概要(機械翻訳による和訳)
最近の分析では、言語モデリング用に事前トレーニングされたエンコーダーが特定の形態統語構造をキャプチャすることが示唆されています。ただし、単語ベクトルのプローブフレームワークでは、構成要素や依存関係の解析などの標準的なセットアップの結果は依然として報告されません。このペーパーはこの問題に対処し、事前トレーニングアーキテクチャのみに依存する完全な解析(英語)を行い、デコードは行いません。まず、シーケンスのタグ付けとして構成要素と依存関係の解析をキャストします。次に、単一のフィードフォワードレイヤーを使用して、単語ベクトルを線形化されたツリーをエンコードするラベルに直接マッピングします。これは次の目的で使用されます:(i)事前学習済みのエンコーダーを使用して構文モデリングをどこまで到達できるかを確認し、(ii)異なる単語ベクトルの構文感度について(学習中に事前学習ネットワークの重みをフリーズすることで)いくらか明らかにします。評価のために、bracketingF1-scoreとLASを使用し、スパンの長さと依存関係の変位の表現全体の詳細な違いを分析します。全体的な結果は、PTB(93.5%)およびエンドツーエンドEN-EWT UD(78.8%)の既存のシーケンスタギングパーサーを上回っています。
Identification of Indian Languages using Ghost-VLAD pooling
Ghost-VLADプーリングを使用したインド語の識別
URL:http://arxiv.org/abs/2002.01664v1
この論文の概要(機械翻訳による和訳)
この作業では、インド語を考慮した言語識別のための新しいプーリング戦略を提案します。アイデアは、堅牢な言語認識のために、可変長オーディオの発話レベル機能を取得することです。 GhostVLADアプローチを使用して、ローカルフレームレベルの特徴を時間全体で集約することにより、可変長入力オーディオの発話レベルの特徴ベクトルを生成します。生成された特徴ベクトルは、非常に優れた言語識別機能を備えており、言語識別タスクの最新の結果を得るのに役立ちます。インドの7つの言語の635Hrsの音声データで実験を行っています。私たちの方法は、F1スコアが1.88%の絶対的な改善によって従来のxベクトル[11]メソッドよりも優れており、保持されたテストデータで98.43%のF1スコアを達成しています。システムをさまざまなプーリング手法と比較し、GhostVLADがこのタスクに最適なプーリング手法であることを示します。また、Ghost-VLADプーリングを使用して生成された発話レベルの埋め込みの視覚化を提供し、この方法が非常に優れた言語識別機能を持つ埋め込みを作成することを示します。
Lightweight Convolutional Representations for On-Device Natural Language Processing
デバイス上の自然言語処理のための軽量たたみ込み表現
URL:http://arxiv.org/abs/2002.01535v1
この論文の概要(機械翻訳による和訳)
ディープニューラルネットワークの計算とメモリの複雑さが増しているため、リソースの少ない電子デバイス(携帯電話、タブレット、ウェアラブルなど)にそれらを展開することが困難になりました。これらの懸念に対処するために、実務家は多数のモデル圧縮方法を開発しましたが、入力表現自体を圧縮したものはほとんどありません。この作業では、パフォーマンスをほとんど低下させずに、任意のニューラルモデルにスワップし、大幅に(最大32倍)圧縮できる、高速で正確な軽量の畳み込み表現を提案します。さらに、Samsung Galaxy S9でリソース中心のメトリック(モデルファイルサイズ、レイテンシ、メモリ使用量など)を検討すると、繰り返し表示を超えるゲインが得られます。
Generalizing meanings from partners to populations: Hierarchical inference supports convention formation on networks
パートナーから集団への意味の一般化:階層的推論はネットワーク上での慣習形成をサポートします
URL:http://arxiv.org/abs/2002.01510v1
この論文の概要(機械翻訳による和訳)
言語の慣習の重要な特性は、それらがスピーカーのコミュニティ全体を保持することであり、これまでに会ったことのない人々とでも効率的にコミュニケーションをとることができます。同時に、私たちの言語の使用の多くはパートナー固有のものです。言葉は、地域の共通基盤に基づいて、異なる人々によって異なる方法で理解される可能性があることを知っています。これは、慣習の形成の説明に課題を提起します。エージェントは、パートナー固有の知識を維持しながら、コミュニティ全体の期待に正確にどのように推測的に跳躍しますか?スピーカーとリスナーがパートナー間で共有されていると思われる意味を抽象化する方法を説明するために、階層的なベイズのコンベンションモデルを提案します。モデルの予測を評価するために、参加者が小さなコミュニティでさまざまなパートナーと拡張自然言語コミュニケーションゲームをプレイする実験を実施しました。パートナー全体の一般化のいくつかの尺度を調べ、ローカルな適応と集合的な収束の重要な署名を見つけます。これらの結果は、ローカルパートナー固有の学習は、グローバルなコンベンション形成と互換性があるだけでなく、強力な階層的誘導メカニズムと組み合わせると、それを促進する可能性があることを示唆しています。
Visual Concept-Metaconcept Learning
視覚的概念-メタコンセプト学習
URL:http://arxiv.org/abs/2002.01464v1
この論文の概要(機械翻訳による和訳)
人間は概念とメタコンセプトで推論します。視覚入力から赤と緑を認識します。また、オブジェクトの同じプロパティ(つまり、色)を記述することも理解しています。この論文では、画像と関連する質問と回答のペアから概念とメタコンセプトを共同学習するためのvisualconcept-metaconcept学習器(VCML)を提案します。重要なのは、視覚概念とメタ概念の間の双方向の接続を活用することです。視覚表現は、目に見えない概念のペア間の関係を予測するための基礎的な手がかりを提供します。赤と緑がオブジェクトの同じプロパティを記述することを知っているので、キューブと球体はオブジェクトの形状を分類するので、キューブと球体もオブジェクトの同じプロパティを記述するという事実に一般化します。偏ったデータも。紫色の立方体のほんのいくつかの例から、立方体の形ではなく立方体の色相に似た新しい色の紫色を理解できます。合成データセットと実世界データセットの両方の評価により、当社の主張が検証されます。
Semantic Search of Memes on Twitter
Twitterでのミームのセマンティック検索
URL:http://arxiv.org/abs/2002.01462v1
この論文の概要(機械翻訳による和訳)
ミームはソーシャルメディアでの行動を分析するための有用なデータソースになりつつあります。ただし、取り組むべき問題は、ミームを正しく識別する方法です。ソーシャルメディアで毎日公開されるミームの数は膨大であるため、大規模なミームデータセットを分類および検索するための自動メソッドの必要性があります。また、テキストクエリを使用してデータセットからミームを取得するシステムを実装できる方法を提案します。チリのTwitterユーザーから収集されたミームの大規模なデータセットを使用して手法を実験的に評価します。これには専門家グループが注釈を付けました。評価された方法のいくつかは効果的ですが、まだ改善の余地があります。
From Topic Networks to Distributed Cognitive Maps: Zipfian Topic Universes in the Area of Volunteered Geographic Information
トピックネットワークから分散型認知マップまで:ボランティアの地理情報の分野におけるZipfianトピックユニバース
URL:http://arxiv.org/abs/2002.01454v1
この論文の概要(機械翻訳による和訳)
近くの場所(都市など)は関連する単語で説明されていますか?この記事では、地理情報の字句エンコードの分野におけるこの研究の質問を、相互テキスト性のレベルに移します。この目的のために、いわゆる地理ネットワークの助けを借りて、ボランティア地理情報(VGI)を探索し、都市または地域のレベルで場所をアドレス指定するテキストをモデル化します。これは、言語がテキストの程度レベルで地理情報をエンコードおよびネットワーク化する方法を調べるために行われます。私たちの仮説は、場所のネットワーク化されたテーマ化は似ているということです-それらの距離と著者の基礎となるコミュニティに関係なく。これを調査するために、LinguisticMultilayer Networks(LMN)から自動的に派生するMultiplex Topic Networks(MTN)を導入します。これは、特にテキストコーパスの主題ネットワーキングの新しいモデルです。私たちの研究は、地理的場所(特に都市)がオンラインコミュニケーションに配置されているthematicuniverseのZipfian組織を示しています。この発見は、認知マップ、いわゆる主題マップによって拡張される注釈の文脈で解釈されます。この発見の解釈によると、認知マップの一部としての主題図の構成は、基礎となるメディアの継続的な存在を保証する共有可能なコンテンツを作成者が作成する傾向に起因します。特別なウィキとウィキペディアの抜粋の例により、仮説をテストします。このようにして、結論は次のとおりです。場所は、互いに近いかどうかに関係なく、トピックユニバースの同様のサブネットワークにまたがる近隣の場所に配置されます。
Plague Dot Text: Text mining and annotation of outbreak reports of the Third Plague Pandemic (1894-1952)
ペストドットテキスト:テキストマイニングと第3ペストパンデミック(1894-1952)のアウトブレイクレポートの注釈
URL:http://arxiv.org/abs/2002.01415v1
この論文の概要(機械翻訳による和訳)
人口の疾病を管理するモデルの設計は、一般に、過去の発生から収集された情報とデータに基づいています。ただし、流行の発生は統計データだけで把握されることはなく、経験的観察に裏付けられた物語によって伝えられます。アウトブレイクレポートでは、原因、ベクター、および潜在的な介入についての洞察を推測するために、集団、場所、および疾患の相関関係について議論します。これらの物語の問題は、通常、一貫性のある構造または強力な慣習の欠如であり、より大きなコーパスでの正式な分析を禁止しています。私たちの学際的研究は、テキストマイニングと手動注釈を通じてこの物語情報を抽出および構造化するためのコーパスを構築する方法を評価する3番目のペストパンデミック(1894-1952)からの100以上のレポートを調査します。このペーパーでは、進行中の探索プロジェクトの進捗状況、テキストキャプチャを改善するための光学文字認識(OCR)メソッドの強化方法、レポートを構成し、レポート内の関連エンティティを特定する方法について説明します。構造化されたコーパスは、Solrを介して利用可能になり、たとえば概念の特定に特化した将来の研究のために、コレクション全体で検索と分析が可能になります。構文カテゴリに依存するコーパス統計の結果として、因果関係の特性と性別に関する差異の予備的な視覚化を示します。私たちの目標は、地球の周りの3番目のペストパンデミックの疫学を理解するために使用された最も重要な概念のいくつかの構造化されたアカウントを開発することです。コーパスにより、研究者はレポートをまとめて分析することができ、20世紀初頭の疫病の世界的な疫学的考察について深い洞察を得ることができます。
Iterative Data Programming for Expanding Text Classification Corpora
テキスト分類コーパスを拡張するための反復データプログラミング
URL:http://arxiv.org/abs/2002.01412v1
この論文の概要(機械翻訳による和訳)
実際のテキスト分類タスクでは、多くの場合、取得に費用がかかる多くのラベル付きトレーニング例が必要です。機械教育、特にデータプログラミングパラダイムの最近の進歩により、ラベリング関数としても知られている弱いモデルを構築し、アンサンブル学習手法でノイズを除去するための一般的なフレームワークを介して、トレーニングデータセットの作成が容易になりました。最小限の監督で近傍ベースの弱いモデルを生成することにより、テキストデータセットを拡張します。さらに、この方法では、反復手順を使用して、大量のラベルなしデータからまばらに分散した例を識別します。反復データプログラミング技術は、より多くのラベル付きデータがループ内のヒューマンで確認されるため、新しい弱いモデルを改善します。会話エージェントの意図認識を改善するタスクからのものを含む、文分類タスクに関する経験的結果を示します。
Compositional Languages Emerge in a Neural Iterated Learning Model
構成言語がニューラル反復学習モデルに登場
URL:http://arxiv.org/abs/2002.01365v1
この論文の概要(機械翻訳による和訳)
自然言語がより単純な概念の構造化された組み合わせを介して複雑な概念を表すことを可能にする構成性の原則により、限られた語彙を使用してメッセージの自由なセットを伝えることができます。構成性が実際に言語の自然な性質である場合、言語ゲームの神経エージェントによって作成される通信プロトコルに現れることが期待されるかもしれません。この論文では、相互作用する神経エージェントに適用すると、より構造化されたタイプの言語の出現を促進する効果的な神経反復学習(NIL)アルゴリズムを提案します。実際、これらの言語は、トレーニング中にニューラルエージェントに学習速度の利点を提供します。 NILの確率モデルと、構成言語の利点が存在する理由の説明を提供します。私たちの実験は私たちの分析を確認し、また、出現した言語が神経エージェントコミュニケーションの一般化力を大幅に改善することを示しています。
Exploring Structural Inductive Biases in Emergent Communication
創発的コミュニケーションにおける構造的誘導バイアスの探索
URL:http://arxiv.org/abs/2002.01335v1
この論文の概要(機械翻訳による和訳)
人間の言語と思考は、馴染みのあるコンポーネント(例:単語)の有限セットから潜在的に無限の数の複雑な構造(例:文)を体系的に生成する能力によって特徴付けられます。最近の作品の創発的コミュニケーションは、協調的参照ゲームをプレイすることにより体系的に構成的な言語を開発する人工エージェントの傾向を議論しています。入力データの構造の程度は、出現した通信プロトコルの構成性に影響することがわかった。したがって、マルチエージェント通信におけるさまざまな構造上の優先事項を調査し、新しいグラフ参照ゲームを提案します。地形の類似性と一般化によって測定された入力概念の構成的理解の出現に対する構造的帰納的バイアス(バッグオブワード、シーケンス、およびグラフ)の効果を、見慣れた特性の見えない組み合わせと比較します。経験的に、グラフニューラルネットワークは、より良い構成言語を先導し、ドメイン外データへのより強い一般化を誘導することを示しています。グラフ参照ゲームで出現したプロトコルの堅牢性を示すアブレーション研究をさらに実行します。
CoVoST: A Diverse Multilingual Speech-To-Text Translation Corpus
CoVoST:多様な多言語音声テキスト変換コーパス
URL:http://arxiv.org/abs/2002.01320v1
この論文の概要(機械翻訳による和訳)
エンドツーエンドモデルの開発とAugmented LibriSpeechやMuST-Cなどの新しいコーパスの作成のおかげで、最近、音声言語の翻訳が再び人気を失いました。既存のデータセットには、ソース言語として英語とペアになっている言語、非常に特定のドメインを含む、またはリソースが少ないことが含まれます。 CoVoSTを紹介します。CoVoSTは、11言語から英語への多言語音声テキスト変換コーパスで、11,000以上のスピーカーと60以上のアクセントで多様化されています。データセットの作成方法を説明し、データの品質の経験的証拠を提供します。また、私たちの知る限り、音声言語翻訳のための最初のエンドツーエンドの多対1多言語モデルを含む初期ベンチマークも提供しています。 CoVoSTはCC0ライセンスの下でリリースされており、無料で使用できます。また、CCライセンスの下でTatoebaから派生した追加の評価データも提供しています。
On Stochastic Automata over Monoids
モノイド上の確率的オートマトンについて
URL:http://arxiv.org/abs/2002.01214v1
この論文の概要(機械翻訳による和訳)
入力セットとしてのモノイド上の確率的オートマトンが研究されています。これらのオートマトンの明確な定義には、自由モノイド固有の普遍的な特性を置き換える拡張仮説が必要です。 Turakainenの結果の一般化として、一般化されたオートマトンオーバーモノイドは、確率論的な対応物と同じ許容力を持っていることが示されます。準同型の鍵は、入力状態のモノイド準同型と遷移行列のモノイド準同型の間の通勤特性です。モノイド上の確率的オートマトンによって受け入れられた言語のクロージャ特性が調査されます。マトリックス。モノイド上の確率的オートマトンによって受け入れられた言語の閉鎖特性が調査されます。
Arabic Diacritic Recovery Using a Feature-Rich biLSTM Model
機能豊富なbiLSTMモデルを使用したアラビア語の発音区別回復
URL:http://arxiv.org/abs/2002.01207v1
この論文の概要(機械翻訳による和訳)
アラビア語のテキストを書く場合、通常は発音区別符号(短母音)は省略され、読者は単語を正しく発音させるためにそれらを再導入する必要があります。アラビアの発音区別記号には2つのタイプがあります。1つ目は、語彙選択を指定するコアワード分音記号(CW)であり、2つ目は、通常語幹の末尾に表示され、一般にそれらの統語的役割を指定する大文字小文字区別(CE)です。 CEの回復は、多くの場合遠く離れている単語間の依存関係のため、コアの単語の発音区別符号の回復よりも比較的困難です。このホワイトペーパーでは、さまざまな言語レベルおよび表面レベルの機能を使用して、コアワードの発音区別記号と大文字と小文字の両方を復元する機能豊富なリカレントニューラルネットワークモデルを使用します。このモデルは、CWエラー率(CWER)が2.86 %、CE標準エラー率(CEER)が3.7%、最新の標準アラビア語(MSA)およびCWERが2.2%、CEERが2.5で、これまでのすべての最新システムを凌surしています。 ClassicalArabic(CA)の%。 diacritizedの単語コアを大文字と小文字の終わりと組み合わせた場合、結果の単語エラー率はMSAとCAでそれぞれ6.0%と4.3%です。これにより、このようなディープニューラルモデルに対するフィーチャエンジニアリングの有効性が強調されます。
Dynamic Knowledge Routing Network For Target-Guided Open-Domain Conversation
ターゲット主導のオープンドメイン会話のための動的知識ルーティングネットワーク
URL:http://arxiv.org/abs/2002.01196v1
この論文の概要(機械翻訳による和訳)
ターゲットに沿ったオープンドメインの会話は、対話エージェントまたは人間を積極的かつ自然に導き、オープンエンドの会話中に特定の目標、トピック、またはキーワードを達成することを目的としています。既存の方法は主に、候補となるトピック/キーワード間の意味的または事実上の知識の関係を考慮せずに、単一ターンデータ駆動型学習と単純なターゲット誘導戦略に依存しています。これにより、移行の滑らかさが低下し、成功率が低くなります。この作業では、きめの粗いキーワードを導入してシステム応答の意図した内容を制御し、候補レベルのキーワード間のターンレベルの教師付き学習および知識関係を通じてスムーズな会話遷移を実現し、談話レベルのガイド戦略で指定されたターゲットに向けて会話を駆動する構造化アプローチを採用します。特に、次の談話の正確な次のトピック予測のために、候補キーワード間の意味的知識関係を考慮する新しい動的知識ルーティングネットワーク(DRKN)を提案します。より正確なキーワード予測の助けを借りて、私たちのキーワード拡張応答検索モジュールは、より良い検索パフォーマンスとより有意義な会話を達成できます。その上、我々はまた、より高い成功率でスムーズに彼らの目標に到達するために会話を導くために、斬新な談話レベルの目標誘導戦略を提案します。さらに、ターゲットガイド付きオープンドメインの会話の検索境界をプッシュして、実世界のシナリオとよりよく一致させるために、Sina Weiboからクロールされた新しい大規模な中国のターゲットガイド付きオープンドメインの会話データセット(900,000以上の会話)を導入します。定量的および人間的評価により、当社の方法が有意義かつ効果的なターゲットガイド付き会話を生成できることが示され、成功率が20%以上、平均平滑度スコアが0.6以上、他の最先端の方法よりも大幅に改善されています。
Syntactically Look-Ahead Attention Network for Sentence Compression
文圧縮のための構文的に先読み注意ネットワーク
URL:http://arxiv.org/abs/2002.01145v1
この論文の概要(機械翻訳による和訳)
文の圧縮は、冗長な単語を削除して長い文を短縮して短縮するタスクです。シーケンス間(Seq2Seq)ベースのモデルでは、デコーダーは単方向で単語を保持または削除することを決定します。したがって、通常、将来のタイムステップでデコードされるデコードされた単語と見えない単語間の関係を明示的にキャプチャすることはできません。したがって、非文法的な文の生成を避けるために、デコーダは文の圧縮で重要な単語を削除することがあります。この問題を解決するために、構文的に先読み注意ネットワーク(SLAHAN)のnovelSeq2Seqモデルを提案します。このモデルは、将来デコードされる重要な単語のデコードおよびキャプチャ中に依存関係の親語と子語の両方を明示的に追跡することにより、有益な要約を生成できます。 Googlesentence圧縮データセットの自動評価の結果は、SLAHANがそれぞれ85.5、79.3、71.3、および79.1のbestkept-token-based-F1、ROUGE-1、ROUGE-2、およびROUGE-Lスコアを達成したことを示しました。 SLAHANは、長い文の要約パフォーマンスも改善しました。さらに、人間の評価では、SLAHANは読みやすさを失うことなく情報提供を改善しました。
Variational Template Machine for Data-to-Text Generation
データからテキストへの生成のための変分テンプレートマシン
URL:http://arxiv.org/abs/2002.01127v1
この論文の概要(機械翻訳による和訳)
テーブルに編成された構造化データから説明を生成する方法ニューラルエンコーダーデコーダーモデルを使用する既存のアプローチは、多くの場合、多様性の欠如に悩まされます。フレーズの構成を充実させ、さまざまな世代を実現するには、テンプレートのオープンセットが不可欠であると主張しています。このようなテンプレートを学習することは、多くの場合、ペアの