LLM 論文の探し方 - Gunosyデータ分析ブログ

こんにちは。R&D の森田です。牛スネ肉のブロックをまるごと炭火で焼いたら美味しかったので、最近のオススメです。

この記事は Gunosy Advent Calendar 2023 の 2 日目の記事です。前回の記事は nagayama さんの Android DataStore の段階導入でした。

今日は、進歩が速すぎる LLM (Large Language Model) 界の論文をどう追いかけていくかについて紹介します。

一口に LLM の論文といっても LLM に関係する領域は広がり続けていて、それぞれが 1 分野といっても差し支えのない量の論文が日々出続けています。例えば、11/28 にプレプリントサーバーの arXiv に投稿された "LLM" が含まれる論文は、48 件あります（11/30 調査）。研究者でも毎日数十件の論文に目を通すのは無理があると言えるでしょう。

いくつか取りうる方針としては、読む論文をキーワードで絞って頑張って読むとか、話題になった論文だけ追いかけるとか、論文読み会に参加するとかがあります。今日は話題になった論文を追いかける方法について紹介します。

論文を探す前に

LLM の時代になり、学習を使ってできることが大きく増えたので、一口に学習といっても実際には様々なものを指すことが出てきています。論文を探す以前に、基礎がある程度ないと探す取っ掛かりもありませんし、探しても読めないということになりかねないので、特に分かりにくい学習まわりの用語を参考のため軽く整理しておこうと思います。あらためて調べた上で解説していますが、新しい言葉も多く、使われ方が安定していないこともあるので、もし違っていたらご指摘いただければと思います。

Pre-training

大量のコーパスをもとに、スクラッチで言語モデルを構築することを指します。LLM の学習でもっともリソースが必要になるのはこの学習で、言語モデルの学習と単に言う場合、ここを指す事が多いと思います。今の LLM で主流となっている Decoder model では CLM (Causal Language Modeling) と呼ばれる、過去のトークン列から次のトークンを推定するように学習する手法がとられています。イメージしやすいように単純化すると、本や教科書を読む自習のイメージが近いでしょうか。

Instruction tuning

Pre-training しただけの言語モデルは、文章の続きを生成することしかできないので、質問に答えさせたり指示通りに動かすには困難が伴います。Instruction tuning は具体的な手法というよりも人の指示に従うように学習させること全般を指していて、ChatGPT などの人の指示を受け付ける現在一般的な LLM はこれに相当する学習を行っています。

似た言葉に Alignment がありますが、こちらも具体的な手法を指すわけではなく、おおむね、人の意図や感覚、倫理にそって LLM が動くように学習・調整することを指しています。現在のところは大体 Instruction tuning と同じものを指している事が多いですが、学習に限らない Alignment のほうが意味的には広い概念を指していると言ってよいと思います。例えば外付けのコンテンツフィルタリングなども広義の Alignment の一部と言えるでしょう。OpenAI の論文からよく使われるようになったと思うのですが、Wikipedia によると 1960 年ごろからすでに存在した概念だとか。

Instruction tuning の手段として、SFT や RLHF などが使われます。広い意味での Fine-tuning は、ここを指していることが多いですが、英語の LLM をベースに日本語テキストで CLM の学習を追加で続けるような、より広い概念も含む場合もあります。

SFT: Supervised Fine Tuning

携帯電話が登場してから固定電話という言葉が生まれたように、Fine-tuning の概念が広がるにつれて Supervised がつくようになりました。正解を与えて、その通りに出力できるようにするための学習で、人間でいうところのイメージ的には演習問題を解く学習に対応しています。

RLHF: Reinforcement Learning from Human Feedback

人のフィードバックを与える学習で、SFT 済みのモデルで生成した出力を人がランク付けして、その結果を元に（学習したモデルを使って）強化学習を行います。イメージとしては実践や試合が近く、手応えの有無を手がかりに上手くなっていく過程に相当すると思ってよいと思います。

論文の探し方

一昔前であれば、重要な国際学会を抑えておいて毎年出た論文を眺めれば十分だったのですが、今の LLM はペースが速すぎてそれでは追いつかなくなってきています。（もちろん、国際学会も全体像を見回したり、基礎となる論文を探して新しい分野へのとっかかりにするなど、依然重要ではあります）

ではまず何から読み始めたらよいかというと、Attention Is All You Need のような基礎の基礎や、先程も出た Training language models to follow instructions with human feedback のような今の LLM のマイルストーン的な論文は抑えておくべきでしょう。論文の解説記事などもたくさんあり、今更と思うかもしれませんが、有名な論文は抑えておいたほうが後々論文を読む役に立ちます。

その後で、現在どのような手法が新しく注目され、よく使われているのかを知りたい場合は GitHub で Huggingface や Meta が管理する関連リポジトリで実装された手法を追っていくのが確実です。例えば、PEFT のようなリポジトリでは、実装された手法の論文へのリンクがほぼ確実にのっています。普段使うリポジトリや有名なリポジトリを手がかりにすると、一番効率よく深いところまでキャッチアップすることができるでしょう。

応用や LLM の可能性を調べたい、数ヶ月単位くらいで重要な論文を見ておきたい場合には Papers With Code がおすすめです。よくデータセットごとの SoTA を調べる時に使われますが、Trending Research を調べる場合にも便利で、やや広めに最近どんなことが研究されているか S/N 比高めに眺めることができます。

もっと新しい情報が知りたい！という方には、あまり知られていない気がしますが X (Twitter) がおすすめです。私としては X の推薦はかなり賢いと思っていて、サーベイ専用のアカウントを作ってある程度ちゃんとした研究者をフォローしたり気になる研究トピックのポストを Like したりしておくと、国際学会に採択された論文、arXiv に投稿された論文など研究者自身のポストがおすすめされてきます。どの研究者を追いかけるかの取っ掛かりとしては、Hugging Face のエンジニアで ML, CV, NLP あたりの論文をかなりハイペースで紹介しているアカウント _akhaliq や日本の科学技術メディア AIDB をおすすめしておきます。サーベイの効率を上げるためには論文以外の情報を減らすためにも、インフルエンサー的な人はまずは避けておくのが無難かなと思います。

Gunosy では毎週社内で論文紹介を行っていて、LLM に限らず論文を紹介しています。論文紹介資料はどなたでも見ることができますので、ここもぜひ見てみてください。