Podcasts by Leading NLP Ninja
Leading NLP Ninjaでは最近のNLP (Natural Language Processing）に関連する論文をjojonkiが短く紹介します．気になったこと・質問・間違い等，フィードバック頂けると嬉しいです．
紹介する論文は，基本的に下記の論文まとめから取り上げる予定です．
https://github.com/jojonki/arXivNotes/issues Support this podcast: https://podcasters.spotify.com/pod/show/lnlp-ninja/support
Further podcasts by jojonki
Podcast on the topic Technologie
All episodes
ep52(ACL): A Two-Stage Masked LM Method for Term Set Expansion from 2020-05-16T06:50:54
Masked Language Modelingを活用して語彙拡張を行うTerm Set Expansionの手法を解説しました．
今回紹介した記事はこちらのissueで解説しています．
Listen
ep51 (arXiv): XTREME: A Massively Multilingual Multi-task Benchmark for Evaluating Cross-lingual Generalization from 2020-04-18T09:08
CMUとGoogle Researchによる40言語9タスクによるベンチマークXTREMEを解説しました．Cross-lingualな評価にとても良さそうです．
今回紹介した記事はこちらのissueで解説しています．
Listen
ep50 (ICLR): ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators from 2020-03-14T06:09:34
ICLR 2020より，Replaced Token Detectionタスクによる事前学習によってGLUEとSQuADでSOTAを獲得したStanford x Googleのモデルを解説しました．
今回紹介した記事はこちらのissueで解説しています．
Listen
ep49 (ICASSP): Looking Enhances Listening: Recovering Missing Speech Using Images from 2020-02-21T14:47:57
ICASSP 2020より，ビジュアル情報を利用し，マスクされた音声信号を復元できるマルチモーダルASRを解説しました．
今回紹介した記事はこちらのissueで解説しています． Listen
ep48 (AAAI): Emu: Enhancing Multilingual Sentence Embeddings with Semantic Specialization from 2020-02-09T01:18:30
AAAI 2020より，多言語文埋め込みフレームワークEMUを解説しました．
今回紹介した記事はこちらのissueで解説しています． https://github.com/jojonki/arXivNotes/issues/371
サ...
Listen
ep47 (ICLR): ALBERT: A Lite BERT for Self-supervised Learning of Language Representations from 2020-01-12T08:17:11
ICLR 2020より，factorized embeddingとパラメタ共有によるパラメタ削減及び文順序予測タスクを採用したALBERTを解説しました．
今回紹介した記事はこちらのissueで解説しています． https://github.com/joj...
Listen
ep46: FreeLB: Enhanced Adversarial Training for Language Understanding from 2020-01-01T09:02:14
ICLR 2020より，BERT/RoBERTaの埋め込み空間に，敵対摂動を入れるVirtual Adversarial Trainingによって，モデル性能を改善するFreeLBという手法を解説しました．
今回紹介した記事はこちらのissueで解説しています． Listen
ep45: Episodic Memory in Lifelong Language Learning from 2019-12-01T09:16:06
NeurIPS 2019よりDeepMindが発表した，様々な異なるタスク（テキスト分類とQA）のデータセットをepisodic memoryを利用して１モデルで学習できる手法を解説しました．
今回紹介した記事はこちらのissueで解説しています． Listen
ep44: 75 Languages, 1 Model: Parsing Universal Dependencies Universally from 2019-11-24T07:42:35
第４４回では，多言語で事前学習されたBERTを用いて，多言語でUniversal Dependenciesのタスクを解くモデルを解説しました．
今回紹介した記事はこちらのissueで解説しています． ht...
Listen
ep43: BPE-Dropout: Simple and Effective Subword Regularization from 2019-11-04T07:34:16
第４３回では，Byte Pair Encodingを用いたサブワード正則化手法，BPE-dropoutを解説しました．
今回紹介した記事はこちらのissueで解説しています． https://github...
Listen
ep42: HuggingFace's Transformers: State-of-the-art Natural Language Processing from 2019-10-20T09:55:30
第４２回では，HuggingFace社のBERT, GPT-2, RoBERTaなどが気軽に利用できるTransformersフレームワークを紹介しました．
今回紹介した記事はこちらのissueで解説しています． https://github.com/jo...
Listen
ep41: A Simple Theoretical Model of Importance for Summarization from 2019-09-15T14:51:18
第４１回では，ACL 2019より要約タスクにおける"重要性"をモデル化して，Outstanding Paperを獲得した論文を説明しました．
今回紹介した記事はこちらのissueで解説しています．
https://...
ep40: OpenDialKG: Explainable Conversational Reasoning with Attention-based Walks over Knowledge Graphs from 2019-09-07T09:37:39
第４０回では，ACL 2019よりFacebookのOpenDialKGという知識グラフを探索できる対話推論モデルを解説しました
今回紹介した記事はこちらのissueで解説しています．
https://github.com/jojonki/arX...
ep39: Conversational Response Re-ranking Based on Event Causality and Role Factored Tensor Event Embedding from 2019-08-20T11:54:39
第３９回では，ACL 2019 NLP for Conversational AIのBest Paperから，対話応答生成タスクにおいて，対話履歴と応答候補の因果関係に着目したリランキング手法を提案したモデルを紹介しました．
今回紹介した論文はこちらのissueで解説しています． Listen
ep38: Trends in Natural Language Processing: ACL 2019 In Review from 2019-08-09T12:41:21
第３８回では，Amazonの方のACL 2019の参加レポートを解説しました
今回紹介した記事はこちらのissueで解説しています．
github.com/jojonki/AI-Post-Notes...
ep37: Multimodal Transformer Networks for End-to-End Video-Grounded Dialogue Systems from 2019-07-15T12:53:13
第３７回では，ACL 2019から，ACL2019からDSTC7のマルチモーダル対話でSOTAを獲得したMulti-Modal Transformer Networksを紹介しました．
今回紹介した論文はこちらのissueで解説しています． Listen
ep36: A Survey of Reinforcement Learning Informed by Natural Language from 2019-07-07T13:26:04
第３６回では，IJCAI 2019から，自然言語処理を用いた最近のRLに関するサーベイ論文を紹介しました．
今回紹介した論文はこちらのissueで解説しています． github.com/jojonki/arXi...
Listen
ep35: Modeling Semantic Relationship in Multi-turn Conversations with Hierarchical Latent Variables from 2019-06-30T10:00
第３５回では，ACL 2019から，階層的にVAEを用いてマルチターン対話における言語生成を行う論文を紹介しました．
今回紹介した論文はこちらのissueで解説しています． github.com/jojonki...
Listen
ep34: Do Neural Dialog Systems Use the Conversation History Effectively? from 2019-06-07T10:00
第３４回では，ACL 2019から，ニューラル対話生成モデルが，対話履歴を効果的に活用しているか調査した論文を紹介しました．
今回紹介した論文はこちらのissueで解説しています． github.com/joj...
Listen
ep33: Target-Guided Open-Domain Conversation from 2019-06-01T10:39:01
第３３回では，ACL 2019から，目的のトピックにスムーズに対話遷移できるopen-domainの対話システムに関する論文を紹介しました．
今回紹介した論文はこちらのissueで解説しています． github.com/jojonki/arX...
Listen
ep32: We need to talk about standard splits from 2019-05-26T08:15:45
github上でご指摘いただきましたが，実験２のReproductionのシステムの優劣を完全に逆にして説明していることが判明しました．issueのコメント欄を御覧ください．他にも怪しくなってきた気がするのでお気付きの方はどんどんコメント頂けると嬉しいです。
第３２回では，ACL 2019から，標準的なデータセットのsplitに起因するシステム比較...
Listen
ep31: CommonsenseQA: A Question Answering Challenge Targeting Commonsense Knowledge from 2019-05-11T06:08:13
第３０回では，NAACLのBest Short Paperに選ばれた，マルチモーダル機械翻訳におけるビジョンモダリティの貢献具合を調査した論文を紹介しました．
今回紹介した論文はこちらのissueで解説しています．
<...
ep30: Probing the Need for Visual Context in Multimodal Machine Translation from 2019-04-30T13:35:06
第３０回では，NAACLのBest Short Paperに選ばれた，マルチモーダル機械翻訳におけるビジョンモダリティの貢献具合を調査した論文を紹介しました．
今回紹介した論文はこちらのissueで解説しています．
<...
ep29: What's in a Name? Reducing Bias in Bios without Access to Protected Attributes from 2019-04-22T23:51:37
第２９回では，NAACLのBest Thematic Paperに選ばれた，学習データに含まれるバイアスを軽減させる手法を紹介しました．名前の単語埋め込みと予測確率の相関関係にペナルティを与えるロス関数を提案しています．
今回紹介した論文はこちらのissueで解説しています．
Listen
ep28: Attention is not Explanation from 2019-04-13T09:59:03
第２８回では，NAACLより学習した重みに対する透明性・説明性について一石を投じる論文を解説しました．
今回紹介した論文はこちらのissueで解説しています．
ep27: 今年度の振り返りとこれからについて from 2019-03-31T07:15
第２７回では，２０１８年度の振り返りの特別回として，アンケート結果の共有，NLPのおすすめ勉強方法と教材，論文の読み方，期末の振り返りと今後について話しました．
- アンケートの振り返り
- NLPの勉強の仕方，論文の読み方
- 今期，来期のはなし
紹介した書籍やサイト
-
...
Listen
ep26: 大規模な自動解析データが形態素解析器をどこまで小さくできるか from 2019-03-23T02:26:07
第２６回では，NLP2019のニューラルネットワークベースのシンプルな形態素解析器について解説しました．
今回紹介した論文は予稿集が公開され次第，issueを公開にします
現在 Listen
ep25: サブワードに基づく単語分散表現の縮約モデリング from 2019-03-17T07:55:34
第２５回では，NLP2019のサブワードを利用した単語分散表現のモデルについて解説しました．
今回紹介した論文は予稿集が公開され次第，issueを公開にします
ep24: BERT for Joint Intent Classification and Slot Filling from 2019-03-02T05:54:37
第２４回では，BERTを利用してインテント分類とスロット抽出をjoint learningした手法を解説しました．
今回紹介した論文はこちらのissueで解説しています．
ep23: End-to-End Knowledge-Routed Relational Dialogue System for Automatic Diagnosis from 2019-02-24T12:04:08
第２３回では，患者との対話を通して医療診断を行う対話システムKR-DSの解説をしました．
今回紹介した論文はこちらのissueで解説しています．
github.com/jojonki/arXivNote...
Listen
ep22: What are the biases in my data? from 2019-02-17T07:57:42
第２２回では，Microsoft Research Blogで解説された差別的バイアスの発見と分析に記事を解説しました．github.com/jojonki/AI-Post-Notes/issues/1...
Listen
ep21: BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding from 2019-02-03T12:41:59
第２１回では，Googleによる双方向コンテキストを獲得した言語モデルBERTの解説をしました．
今回紹介した論文はこちらのissueで解説しています．
ep20: Comprehensive evaluation of statistical speech waveform synthesis from 2019-01-27T08:40:27
第２０回では，Amazonが行った音声合成の知覚評価に関する論文を解説しました．
今回紹介した論文はこちらのissueで解説しています．
github.com/jojonki/arXivNotes/is...
Listen
ep19: SentencePiece: A simple and language independent subword tokenizer and detokenizer for NLP from 2019-01-20T13:00
第１９回では，Googleが開発したサブワードによるTokenizer/DetokenizerであるSentencePieceを解説しました．
今回紹介した論文はこちらのissueで解説しています．
ep18: PyText: A Seamless Path from NLP research to production from 2019-01-14T14:42:40
ep18: PyText: A Seamless Path from NLP research to production
第１８回では，FacebookによるNLPのモデル化のためのフレームワーク，PyTextを解説しました．
今回紹介した論文はこちらのissueで解説しています．
ep17: User Modeling for Task Oriented Dialogues from 2018-12-31T05:07:27
第１７回では，Googleによるタスク指向対話におけるユーザーシミュレーターの論文について解説しました．
今回紹介した論文はこちらのissueで解説しています．
github.com/jojonki/arXivNotes/issue...
Listen
ep16: Contextual Topic Modeling For Dialog Systems from 2018-12-09T12:29:12
第１６回では，Amazonによるコンテキストを利用したトピック分類のモデルについて解説しました． 今回紹介した論文はこちらのissueで解説しています． github.com/jojonki/arXivNotes/issues/162 番組への支援は，こちらからお待ちしております． www.patreon.com/jojonki --- Support this podcast:...
Listen
ep15: Another Diversity-Promoting Objective Function for Neural Dialogue Generation from 2018-12-02T13:39:08
第１５回では，AAAI 2019 Deep Dialに採択された，ニューラル対話生成モデルの論文を解説しました．あのりょぼっとさんの論文でして恐縮しながら解説しました． 今回紹介した論文はこちらのissueで解説しています．理解が及ばず説明が曖昧な個所がありましたが，りょぼっとさん本人にissueで細くコメントもらっていますので是非見てみてください． github.com/jojonki/...
Listen
ep14: XNLI: Evaluating Cross-lingual Sentence Representations from 2018-11-25T11:12:04
第１４回では，Facebook AI Researchによる多言語におけるNLIタスクの評価データセット及び多言語NLIにおけるベースラインを解説しました． 今回紹介した論文はこちらのissueで解説しています． github.com/jojonki/arXivNotes/issues/155 番組への支援は，こちらからお待ちしております． www.patreon.com/jojonk...
Listen
ep13: You May Not Need Attention from 2018-11-04T13:43:38
第１３回では，アテンションを使わず，エンコーダー・デコーダーを統合した，機械翻訳モデルの手法を解説しました． 今回紹介した論文はこちらのissueで解説しています． github.com/jojonki/arXivNotes/issues/148 番組への支援は，こちらからお待ちしております． www.patreon.com/jojonki --- Support this p...
Listen
ep12: Word Embedding based Edit Distance from 2018-10-28T12:52:27
第１２回では，単語埋め込みを利用した編集距離を利用して，文の類似度を計算する手法を解説しました． 今回紹介した論文はこちらのissueで解説しています． github.com/jojonki/arXivNotes/issues/145 番組への支援は，こちらからお待ちしております． www.patreon.com/jojonki --- Support this podcast: ...
Listen
ep11: Query Tracking for E-commerce Conversational Search: A Machine Comprehension Perspective from 2018-10-21T12:35:20
第１１回では，CIKMでAlibabaが発表した，Eコーマスの検索を対話的に行う対話検索のモデルをを解説しました． 今回紹介した論文はこちらのissueで解説しています． github.com/jojonki/arXivNotes/issues/139 番組への支援は，こちらからお待ちしております． www.patreon.com/jojonki --- Support this ...
Listen
ep10: Automatic Evaluation of Neural Personality-based Chatbots from 2018-10-07T15:07:04
第１０回では，対話応答生成モデルが，個性を反映した応答を生成出来ているかを，自動評価する手法を提案したモデルを解説しました． 今回紹介した論文はこちらのissueで解説しています． github.com/jojonki/arXivNotes/issues/138 番組への支援は，こちらからお待ちしております． www.patreon.com/jojonki --- Support ...
Listen
ep9: Learning and Evaluating Sparse Interpretable Sentence Embeddings from 2018-10-01T14:29:51
第９回では，文ベクトルをスパース化することで解釈性を与えることが出来ないか，という問題に挑戦した論文を解説しました． 今回紹介した論文はこちらのissueで解説しています． https://github.com/jojonki/arXivNotes/issues/137 番組への支援は，こちらからお待ちしております． https://www.patreon.com/jojonki --...
Listen
ep8: Zero-Shot Adaptive Transfer for Conversational Language Understanding from 2018-09-24T09:48:27
第８回では，Microsoftのスロットタギングの論文を解説しました． 今回紹介した論文の解説はこちらにあります．https://github.com/jojonki/arXivNotes/issues/128 前々回のエピソードを予め聞いておくと，今回の内容は分かりやすいかもしれません． https://anchor.fm/lnlp-ninja/episodes/ep6-Bag-of-E...
Listen
ep7: Training Millions of Personalized Dialogue Agents from 2018-09-11T09:46:40
第７回では，EMNLP 2018でFacebookが開発したペルソナデータセット及びそのペルソナに沿ったEnd-to-end雑談対話システムを解説しました． 今回紹介した論文の解説はこちらにあります．https://github.com/jojonki/arXivNotes/issues/130 --- Support this podcast: Listen
ep6: Bag of Experts Architectures for Model Reuse in Conversational Language Understanding from 2018-09-06T03:10:32
第６回では，NAACL-HLT 2018より，Microsoftのスロットタギングの論文を紹介しました． 今回紹介した論文の解説はこちらにあります． https://github.com/jojonki/arXivNotes/issues/129 --- Support this podcast: Listen
ep5: Analysing the potential of seq-to-seq models for incremental interpretation in task-oriented dialogue from 2018-08-30T04:29:13
第５回では，EMNLP2018から対話における非流暢性がSeq2Seqに及ぼす影響を調べた論文を紹介しました． https://github.com/jojonki/arXivNotes/issues/125 --- Support this podcast: ht...
Listen
ep4: CoQA: A Conversational Question Answering Challeng from 2018-08-28T03:05:55
第４回では，スタンフォード大から公開された対話的なQAのコーパスの論文を説明しました． https://github.com/jojonki/arXivNotes/issues/124 --- Support this podcast: https://anchor...
Listen
ep3: Large-Scale Multi-Domain Belief Tracking with Knowledge Sharing from 2018-08-24T04:13:19
第３回ではACL 2018からBelief Trackingに関する論文を説明しました． 今回紹介した論文のまとめ github.com/jojonki/arXivNotes/issues/107 --- Support this podcast: https://...
Listen
ep2: Zero-Shot Dialog Generation with Cross-Domain Latent Actions from 2018-08-21T01:15:27
第２回ではSIGDIAL 2018でベストペーパーを獲得した，対話応答生成のモデルを説明しました．タスク指向型の対話における新しい応答生成モデルの提案になっていて面白いです． 今回紹介した論文のまとめ https://github.com/jojonki/arXivNotes/issues/123 --- Support this podcast: Listen
ep1: Joint Learning of Domain Classification and Out-of-Domain Detection with Dynamic Class Weighting for Satisficing False Acceptance Rates. from 2018-08-17T20:35:32
第１回ではInterspeech 2018から対話システムにおけるドメイン選択，ドメイン外発話棄却をテーマにした論文を紹介します． 今回紹介した論文のまとめ． https://github.com/jojonki/arXivNotes/issues/112 --- Support this podcast: Listen