リサーチインターンの成果が紆余曲折を経て国際論文誌 Applied Sciences 誌に採録されるまで

こんにちは。Gunosy TechLab R&D チームリサーチインターンの北田 (shunk031) です。今回はようやく皆様にお見せできる、可愛い我が子（もちろん研究のことです）について書きます。

f:id:shunk031:20220408182609p:plain — 今回採録された論文の全体像：広告クリエイティブを最適なタイミングで停止するよう支援する深層学習を元にした枠組みを提案しました。

この度、私と研究開発チームの関さんで取り組んでいた研究が MDPI 社が発行する Applied Science 誌という論文誌（査読付き journal article) に掲載されました。

www.mdpi.com

今回の論文は "Ad Creative Discontinuation Prediction with Multi-ModalMulti-Task Neural Survival Networks" というタイトルで、 配信効果が悪くなっていく広告クリエイティブを事前に予測して停止の支援を行う枠組みを提案しました。前回リサーチインターンで取り組んで採択された論文 *1 は 配信効果が良い広告クリエイティブ の作成支援の枠組みを提案したことから、今回の論文は立ち位置が異なるものとなっております。

前回のブログ記事と同様、この研究がスタートしたきっかけや、インターン中にどのように研究を進めていったか、紆余曲折あった採録までの過程について振り返ります。

研究がスタートしたきっかけ
関連研究と本研究の立ち位置
- 配信効果の "高い" 広告クリエイティブの運用支援
- 配信効果の "低い" 広告クリエイティブの運用支援
配信効果が低くなった広告クリエイティブの停止支援の枠組みとその評価
論文誌採録までのタイムライン
- カンファレンス投稿編
- ジャーナル投稿編
Gunosy のリサーチインターンで研究を進める楽しさや苦労
まとめ
Acknowledgement

研究がスタートしたきっかけ

本研究がスタートしたのは 2019 年の 9 月頭からでした。 2019 年 2 月当時、リサーチインターンの最初の大仕事をデータマイニングの最難関国際会議 KDD2019 に投稿し、5 月に採択結果をもらい一発で通してしまったことに驚いておりました *2。その後、8 月にアラスカで発表したあとから気持ちを切り替えてのスタートです。翌年の KDD2020 に投稿することを目標に、メンターの関さんと 9 月頭にスタートアップのディスカッションをしたのを覚えています。

f:id:shunk031:20220413100910j:plain — 研究がスタートした 2019 年 9 月当時、オフィスで関さんとラフにディスカッションしたときのホワイトボード。このときはまだ満員電車に乗って六本木ヒルズへ出社していました

KDD2020 に投稿する上で、KDD2019 に投稿した内容の延長線上ではあまりインパクトが出せないことが課題だと認識していました。具体的には当時 配信効果が高い広告を対象とした運用の支援 という文脈では新規な点を 1 年後の締切までには出せないと考えていました。そこで我々は 配信効果が低くなった広告を対象とした運用の支援 という方向性で、研究を始められないか検討しました。

配信効果が高い広告クリエイティブが仮に作成できたとしても、配信され続けると効果が "摩耗 (wear-out)" してしまうことが一般的に知られています *3。こうした摩耗を事前に予測して広告運用者に提示することで、効果が低くなった広告を無駄に配信することを防ぎ、運用者を支援することが可能であると考えました。

上記のような実務に沿ったアイディアから、配信効果が低くなった広告の停止支援 という設定で研究を進めていくことになりました。

配信効果が低くなった広告クリエイティブの停止支援の枠組みとその評価

広告クリエイティブを適切なタイミングで停止することは、売上に影響を与える重要な広告運用の一つであることは読者のみなさまにご理解いただけたかと思います。ここからは我々が実際に提案する機械学習による停止支援の枠組みとその評価方法についてご紹介します。

まず、Gunosy 社のサービスである GunosyAds*10 から得られた 1,000,000 件の大規模広告クリエイティブデータから 2 つの停止パターンがあることを分析から発見します。これらの発見から、それぞれの停止パターンに適した停止予測が可能な新たな枠組みを提案します。提案する枠組みを従来の機械学習的な指標を元に評価するとともに、広告の実運用でも利用される指標で評価しました。結果として人間の運用者と同程度の停止予測性能を達成しました。

大規模広告クリエイティブデータの分析

データ分析では、広告クリエイティブの配信実績データから (1) 配信日数、(2) 売上のヒストグラムを可視化しました。配信日数の可視化から、クリエイティブの殆どが 3 日以内に停止されていることがわかりました。更に売上の可視化から、長期で動くクリエイティブが売上に大きく寄与していることがわかりました。具体的な分析結果は論文の Pre-Data Analysis のセクションをご参照ください。

このような分析結果から、短期で停止されてしまういわゆる cut-out 現象 *11 と、先行研究でも指摘されている長期で配信されるクリエイティブの wear-out 現象が確認されました。さらに、長期で動き続けるクリエイティブは売上に直接影響を与えることがわかったため、特に注意して停止の判断をしなければなりません。以上を踏まえ、我々は以下の点に注意して停止支援の枠組みを構築しました：

2 つの停止パターン (cut-out と wear-out) を分けて予測できるようにする
売上にインパクトがあるクリエイティブを重み付けのような形で正確に予測できるようにする

広告クリエイティブ停止支援の枠組み

今回提案する停止支援の枠組みは、深層学習を元にマルチモーダル特徴を入力とする生存予測モデル *12 です。生存予測 (survival prediction; もしくは生存時間分析 survival analysis) は、なにかしらのイベントが起きるまでの時間とイベントとの間の関係に焦点を当てる分析方法です。

今回の停止予測支援において広告クリエイティブの停止をイベントとしており、生存予測で用いられる hazard function*13 を損失関数として利用しています。広告停止は直感的に時間が経過すればするほど停止確率が上がると考えられるため、同様のパターンをモデリングしやすい hazard function は今回の停止予測問題に対して非常にマッチしていると考えられます。

f:id:shunk031:20220408183352p:plain — 提案法の全体像：広告クリエイティブを構成するマルチモーダルな特徴を入力として受け取り、予め設定した時間間隔内で停止が発生するかを hazard function を元に予測します

更にデータ分析から得られた知見から、以下 2 つの重要な手法を提案しています：

Two-term estimation with multi-task learning
- 異なる 2 つの停止パターンをそれぞれ分け、マルチタスク学習として予測する手法
CTR-weighting technique for the hazard-based loss function
- CTR が大きい (≒売上が大きい）データに重み付けして、より正確に生存時間を予測する手法

詳細については論文の Methodology セクションをご参照ください。

提案する枠組みの評価方法

生存予測の枠組みのため、従来から使われている concordance index*14 でまずは評価しています。これはそもそも広告クリエイティブの停止予測に対して生存予測が機能しているかを評価します。生存予測モデルにおいて、従来の古典的な機械学習手法を元にした方法よりも、ニューラルネットワークベースである我々の方法が高い予測性能を実現しております。

生存予測に対して、分類や回帰で停止を予測できるのではないかという疑問が生じるかと思います。我々は同様のモデルで損失関数のみを変えた分類・回帰モデルと比較しております。停止確率が徐々に上がっていくことを正しくモデリングできる生存予測の枠組みが、分類・回帰の枠組みを遥かに超える予測性能を実現しました。

更に今回提案した枠組みに対して、実際に広告運用者が利用している指標　(1) CPA 率、(2) 広告停止順を本研究で新たに導入し、評価しました。

CPA 率による評価

1 つ目の CPA 率は、以下の式に示すような CPA (cost per acquisition; 1件あたりのコンバージョンにかかるコスト) の効率を評価するものです：

$\texttt{CPA ratio} = \texttt{Actual CPA} ~ / ~ \texttt{Target CPA}.$

実際の CPA (actual CPA) と対象となる CPA (target CPA) の割合が 1 に近づけば近づくほど配信効率が良いと評価できる指標です。 CPA 率が 1 から遠い場合に対象の広告クリエイティブの効率は悪いと評価できます。広告運用者にとって効率が悪くなる前に停止を決定できるかが重要になりますが、こうした停止の決定は経験を要することは想像に難くないでしょう。

CPA 率を用いて我々の枠組み (AI) と、運用者（人間）による停止の効率を比較しました。結果としては我々の提案する枠組みが人間と同程度以上（CPA 率がより 1 に近い）の停止予測が可能でした (Section 6.3.1)。

広告停止順による評価

2 つ目の広告の停止順は、長期で動いている売上の大きい広告クリエイティブの停止に備えるために、広告が停止される順序を正確に予測できるかを評価するものです。停止順を把握できれば、広告運用者は次なるクリエイティブ作成の準備に取り掛かれます。停止順の評価として、我々の提案法が停止を予測した順番と、運用者が停止を決めた順番とを、ランキング評価指標の NDCG*15 を用いて評価しました。

$\texttt{NDCG}_{広告停止順} = \texttt{NDCG}(\texttt{停止予測順}, \texttt{運用者による停止順})$

広告停止順を用いて我々の枠組みによる停止予測順と、従来使われてきた売上順・ CPA 率順を元にした停止順を比較しました。従来の指標は、売上が大きいほど配信効果が高いので停止されづらいだろう、CPA 効率が高ければ停止されづらいだろう、という観点で用いられています。したがって、停止されやすいものから順に並べて順番に停止を決定していくような想定でベースラインとして使用しております。結果としては提案法による予測が、売上順・ CPA 率順それぞれよりも高い停止順予測が可能でした (Section 6.3.2)。

論文誌採録までのタイムライン

リサーチインターンを始め、幸先よく KDD2019 に採択されましたが、今回の研究は論文誌掲載に至るまで 2 年弱ほどの時間を要しました。掲載までの紆余曲折を共有することで、論文の成仏に悩んでいる学生の方々の励みになれば良いなと思っております。以下は研究スタートから今回の論文誌採録までのタイムラインです。

f:id:shunk031:20220408183541p:plain — 論文誌採録までのタイムライン

カンファレンス投稿編

前述したとおり、最初の目標は KDD2020 でした。1 ヶ月ほどで元となるアイディアを実装し、2,3 ヶ月ベースとなる比較実験を動かしました。問題設定である「広告停止」と、実験したところ比較結果も良かったので、論文を書き上げて KDD 2020 に投稿することが出来ました。

KDD を中心としたデータマイニングの国際会議に投稿を続けましたが、あと一歩のところでレビュワーからの賛同が得られずに悔しい思いを続けることになりました。色々と response したい気持ちはありましたが、rebuttal の機会がなかったため、素直にコメントを元に原稿を修正していきました。結果的に頂いてきたコメントに答えられるよう愚直に本文を修正してきましたが、コメントを反映しつつ "いい感じに" に修正していくのは難しいものだと感じました。以下は投稿した学会と採択判定、一言コメントです：

KDD2020
- [R] R, R, WA
- なんとか投稿にこぎつけましたが、論文自体のクオリティを上げきることができなかったです
WSDM2021
- [R] WA, WA, R, A
- KDD2020 のレビューコメントを元に 3 ヶ月程度で「two-term estimation 技術の multi-task learning 化」と「広告運用者の停止との比較」を追加しました。今思えばこのときが一番原稿としてはまとまっていました
KDD2021
- [R] WA, SR, WR, WA
- 上記のレビュー結果を含めて原稿を更新して望みました。残念なことに strong reject をもらってしまったのと、全体的にうまく内容が伝えきれていないようなレビュー内容でした
CIKM2021
- [R] R, WR
- レビュー内容を見るに生存予測に関してあまり理解が得られていないようなレビュー内容で、厳しかったです。このあたりからちゃんとしたレビューをもらいたいと思い、ジャーナル投稿を考えました

ジャーナル投稿編

カンファレンスのレビューは（レビュー期間が短かったり、大量にレビューしたりで）必ずしも次に繋がるような建設的なレビューをいただけるとは限りません。更にトップカンファレンスなので、どうやって落とすかという視点でレビューされているところもあり *16、revision が許されているジャーナルに投稿しようと方針転換しました。ジャーナルならば採録に向けた建設的なレビューコメントをいただけると考えました。

ジャーナルは一般的に査読期間が長いので、私自身が直近で採録されていて *17 投稿・出版体験が良く査読期間も短い IEEE Access に投稿しようと考えました。 IEEE Access は binary decision process を採用しており、採録判定は accept もしくは reject のみです。 reject 判定の中では Updates required before resubmission と Do not encourage resubmit があり、後者の判定を受けると IEEE Access への再投稿は不可になります *18。

結果として IEEE Access では 3 round を経て再投稿不可判定をもらってしまいました。レビュワーの一人からの理解が得られなかった形です。我々は再度査読期間が短く、一定の impact factor がある Applied Sciences 誌へ投稿を決めました。これまでの原稿を磨き上げてきたためか、1 ヶ月以内に採録までこじつけることが出来ました。以下は投稿した論文誌と採択判定、一言コメントです：

IEEE Access 1st round
- [R (major revision 相当？)] R (updates required before resubmission), R (updates required before resubmission)
- R 判定でしたが、非常にポジティブなレビューを頂き、修正した後に再度投稿しました
IEEE Access 2nd round
- [R (minor revision 相当？)] R (update required before resubmission), A (minor edits), A (minor edits)
- レビュワーの過半数は採録判定をだしていただけましたが、Reviewer 1 がかなり強敵で理解を得られるように丁寧に response するよう心がけました
IEEE Access 3rd round
- [R （再投稿不可）] A (minor edits), A (minor edits), R (update required before resubmission)
- 殆ど minor revision 相当で前回同様レビュワーの過半数は採録判定をだしていただけましたが、前回の Reviewer 1 の理解が得られず、Editor からも見放されてしまい再投稿不可の判定を頂いてしまいました
Applied Sciences
- minor revision -> accepted 🎉
  - 気を取り直して投稿したら 2 週間ほどで minor revision の判定を頂きました。これまでの revision で殆ど完成されていたので早い判定もうなずけました。査読期間が短いのにも関わらず、3 人のレビュワーからそれぞれ非常に丁寧なコメントをいただけたのが驚きでした。この前が minor revision 相当で reject になってしまったため、かなり慎重に revision を行った結果採録に至りました

Gunosy のリサーチインターンで研究を進める楽しさや苦労

前回の記事を踏まえて、本記事でもリサーチインターンで研究を進める楽しさや苦労について述べます。

コロナ禍であってもメンターの関さんと密に連携して研究を進められたのは引き続き楽しかったです。これも研究を始めた当初は対面でディスカッションして研究のコンセプトをあらかた決められたのが大きいと思います。最近はフルリモートで完結する（リサーチ）インターンシップが増えているように感じますが、そのあたりは難しいところかなと個人的に考えております。

リサーチインターンとしてトップカンファレンス採択を目指して研究するという体験は非常にエキサイティングであり、リサーチインターン 1 epoch 目で運良く KDD に通せてしまいましたが 2 epoch 目からはそう簡単ではなかったです。SNS を見ると人類みな最難関国際会議に論文を通しているように見えてしまいますが、（一部の超人的な方々を除き）通すまでに紆余曲折を経ているように感じています。そういった経過はインターネット上で公開される事例はあまりないようなので、今回はこのような形で公開しました。このあたりは研究を進めていく上での一般的な苦労だと思います。

給料を頂きながら研究しているのにも関わらず複数回論文が reject されてしまうと、なんともモヤモヤした気持ちになりますが、メンターの関さんを始め会社の皆さんは再投稿を応援してくださったのが心の支えになりました。研究活動に対して様々な方々の理解の上で成り立っているのを肌で感じられ、改めて良い環境で研究させていただけたなと感じております。会社のみなさんと今回の研究で得られた喜びは苦労を分かち合えたからこそ論文成仏にこぎつけられたかなと思います。

まとめ

Gunosy でリサーチインターンを続けて 1 epoch 目を終えたあとの 2 epoch 目以降の話や、インターン中にどのように研究を進めていったかについて書きました。今回はかなり苦労しましたが、Gunosy で初の国際論文誌の採録に至ったのでホッとしております。不採択が続いてもしっかりサポートしてくださる体制があるのは研究活動を実施する上で本当に心強かったです。

MDPI 社についてはいろいろな噂があるようですが、カンファレンスのレビューよりも質の高いレビューをいただけたり、出版のフェーズでも質問に迅速に対応していただけたり、スムーズに出版できたりと、かなり投稿体験が良かったです。

研究を進める中でいくつか取り組んでみたいトピックも見つかったので、引き続き広告 x AI について考えていこうと思います。

Acknowledgement

本論文を執筆するにあたり、id:hiro-o918 さんには実験する際のコーディングや基盤まわりでサポートしていただきました。また今回の記事執筆にあたり、id:m-hamashita さんには人間 textlint のように沢山のコメントをいただきました。ありがとうございました！

*1:[1905.07289] Conversion Prediction Using Multi-task Conditional Attention Networks to Support the Creation of Effective Ad Creative https://arxiv.org/abs/1905.07289

*2:リサーチインターンとして順風満帆の研究活動でしたが、ここから長い reject との戦いになります。

*3:Advertising Repetition: A Critical Review of Wearin and Wearout: Current Issues and Research in Advertising: Vol 11, No 1-2 https://www.tandfonline.com/doi/abs/10.1080/01633392.1988.10504936

*4:Guiding creative design in online advertising | Proceedings of the 13th ACM Conference on Recommender Systems https://dl.acm.org/doi/10.1145/3298689.3347022

*5:Recommending Themes for Ad Creative Design via Visual-Linguistic Representations | Proceedings of The Web Conference 2020 https://dl.acm.org/doi/10.1145/3366423.3380001

*6:Joint optimization of bid and budget allocation in sponsored search | Proceedings of the 18th ACM SIGKDD international conference on Knowledge discovery and data mining https://dl.acm.org/doi/10.1145/2339530.2339716

*7:Effective Audience Extension in Online Advertising | Proceedings of the 21th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining https://dl.acm.org/doi/10.1145/2783258.2788603

*8:Optimal bidding strategy for brand advertising | Proceedings of the 27th International Joint Conference on Artificial Intelligence https://dl.acm.org/doi/10.5555/3304415.3304476

*9:[1908.08936] Fatigue-Aware Ad Creative Selection https://arxiv.org/abs/1908.08936

*10:Gunosy Ads - 広告掲載｜株式会社 Gunosy（グノシー）｜情報を世界中の人に最適に届ける https://gunosy.co.jp/ad/

*11:wear-out 現象は先行研究でも多く言及がありましたが、この現象については我々が知る限り先行研究では殆ど言及はありませんでした。よって本論文では wear-out 現象との対比として cut-out 現象と命名しました。

*12:Survival analysis - Wikipedia https://en.wikipedia.org/wiki/Survival_analysis

*13:Hazard Function: Simple Definition - Statistics How To https://www.statisticshowto.com/hazard-function/

*14:Evaluating the yield of medical tests - PubMed https://pubmed.ncbi.nlm.nih.gov/7069920/

*15:Cumulated gain-based evaluation of IR techniques | ACM Transactions on Information Systems https://dl.acm.org/doi/10.1145/582415.582418

*16:個人の意見ですが常々同意していただけるかと思います。

*17:Attention Meets Perturbations: Robust and Interpretable Attention With Adversarial Training | IEEE Journals & Magazine | IEEE Xplore https://ieeexplore.ieee.org/document/9467291

*18:https://ieeeaccess.ieee.org/guide-for-authors/stages-of-peer-review/#UnderstandingtheDecisions