世界を代表する8人の旬なトップ機械学習研究者たち (2017年上半期版)

データ分析部の久保です。最近行ったライブはAimerのAcoustic Live Tour 2017です。

早いもので2017年も3月になりましたが、機械学習分野は相変わらずとてもホットな分野です。去年はAI、人工知能という言葉がディープラーニングとともにバズワードになり、その傾向は尚も続いています。

その流行の元となったのが機械学習なわけですが、今その最先端ではどういう人がどのような研究をしているのかをかなりざっくりと見ていきたいと思います。

調査方法は2013年に同様のことを行ったとき

と同じく、NIPSとICMLという機械学習の代表的国際会議の過去3年分を対象とし、1st authorの重要度をそれ以外の著者よりも重くしてスコアづけしました。具体的には複数人の著者がいる場合は1st authorを0.8として、残りの0.2を他の著者に分配、1人の場合は1としてあります。また1st authorと2nd authorの貢献度が同じと明記されている論文もありましたがそのあたりは考慮できていません。

結果5.0ポイント以上になった上位8人を今回は紹介したいと思います。彼らの1st authorの論文も併記しておきます。

Prateek Jain (7.2ポイント)

https://www.microsoft.com/en-us/research/people/prajain/

マイクロソフトリサーチ（バンガロール, インド）の研究者
専門は大規模非凸最適化および統計的学習理論
プライバシーやコンピュータビジョン、テキストマイニング、自然言語処理などへの応用も積極的
主なNIPS, ICMLの論文
- Alternating Minimization for Regression Problems with Vector-valued Outputs (NIPS 2015)
- Predtron: A Family of Online Algorithms for General Prediction Problems (NIPS 2015)
- Optimizing Non-decomposable Performance Measures: A Tale of Two Classes (ICML 2015)
- Surrogate Functions for Maximizing Precision at the Top (ICML 2015) など

Ohad Shamir (6.8ポイント)

http://www.wisdom.weizmann.ac.il/~shamiro/

ワイツマン科学研究所（イスラエル）の研究者
実用的な効率性と理論的な知見を組み合わせることを得意とする
主なNIPS, ICMLの論文
- Without-Replacement Sampling for Stochastic Gradient Methods: Convergence Results and Application to Distributed Optimization (NIPS 2016)
- Convergence of Stochastic Gradient Descent for PCA (ICML 2016)
- Fast Stochastic Algorithms for SVD and PCA: Convergence Properties and Convexity (ICML 2016) など

Cho-Jui Hsieh (6.0ポイント)

http://www.stat.ucdavis.edu/~chohsieh/rf/

カルフォルニア大学デービス校のアシスタント・プロフェッサー
専門は大規模データに対する最適化
主なNIPS, ICMLの論文
- PASSCoDe: Parallel ASynchronous Stochastic dual Co-ordinate Descent (ICML 2015)
- Fast Prediction for Large-Scale Kernel Machines (NIPS 2014)
- QUIC & DIRTY: A Quadratic Approximation Approach for Dirty Statistical Models (NIPS 2014) など

Jacob Steinhardt (5.6ポイント)

http://cs.stanford.edu/~jsteinhardt/

スタンフォード大学の博士課程3年生(!)
信頼できて人にとっても使いやすい機械学習とは何かを研究している
安全なAIに関する長期的、また短期的なチャレンジについてのエッセイを書いていたりしている
- Long-Term and Short-Term Challenges to Ensuring the Safety of AI Systems
主なNIPS, ICMLの論文
- Avoiding Imposters and Delinquents: Adversarial Crowdsourcing and Peer Prediction (NIPS 2016)
- Unsupervised Risk Estimation Using Only Conditional Independence Structure (NIPS 2016)
- Learning Fast-Mixing Models for Structured Prediction (ICML 2015) など

Jie Wang (5.0ポイント)

http://www-personal.umich.edu/~jwangumi/

ミシガン大学のアシスタント・プロフェッサー
最適化全般、またバイオインフォマティクスや画像処理に対しても積極的
主なNIPS, ICMLの論文
- Multi-Layer Feature Reduction for Tree Structured Group Lasso via Hierarchical Projection (NIPS 2015)
- Safe Screening for Multi-Task Feature Learning with Multiple Data Matrices (ICML 2015)
- Two-Layer Feature Reduction for Sparse-Group Lasso via Decomposition of Convex Sets (NIPS 2014) など

Yining Wang (5.0ポイント)

http://yining-wang.com/

カーネギーメロン大学の博士課程3年生(!)
行列補完や近似、部分空間クラスタリングに強み
主なNIPS, ICMLの論文
- Data Poisoning Attacks on Factorization-Based Collaborative Filtering (NIPS 2016)
- Online and Differentially Private Tensor Decomposition (NIPS 2016)
- A Theoretical Analysis of Noisy Sparse Subspace Clustering on Dimensionality-Reduced Data (ICML 2015) など

Elad Hazan (5.0ポイント)

https://www.cs.princeton.edu/~ehazan/

プリンストン大学の教授
数理最適化やゲーム理論、計算複雑生など機械学習の中心的なところが研究分野
ちなみに2013年に同様の調査をしたときの唯一の連続ランクインで、当時はイスラエル工科大学の准教授であった
主なNIPS, ICMLの論文
- On Graduated Optimization for Stochastic Non-Convex Problems (ICML 2016)
- Variance-Reduced and Projection-Free Stochastic Optimization (ICML 2016)
- On Graduated Optimization for Stochastic Non-Convex Problems (ICML 2016) など

Kirthevasan Kandasamy (5.0ポイント)

http://www.cs.cmu.edu/~kkandasa/

カーネギーメロン大学の博士課程2年生(!!)
統計とアルゴリズムの共通部分に興味があり、研究分野はバンディット問題、ベイズ最適化など
主なNIPS, ICMLの論文
- Gaussian Process Bandit Optimisation with Multi-fidelity Evaluations (NIPS 2016)
- The Multi-fidelity Multi-armed Bandit (NIPS 2016)
- Additive Approximations in High Dimensional Nonparametric Regression via the SALSA (ICML 2016) など

おまけ

今回のランキング方法でトップになる日本人(ぽい名前の)研究者は誰だろうと思いみてみると、東工大准教授の鈴木大慈先生(3.0ポイント)でした。

Taiji Suzuki's Homepage (鈴木大慈)

主なNIPS, ICMLの論文
- Minimax Optimal Alternating Minimization for Kernel Nonparametric Tensor Learning (NIPS 2016)
- Convergence rate of Bayesian tensor estimator and its minimax optimality (ICML 2015)
- Stochastic Dual Coordinate Ascent with Alternating Direction Method of Multipliers (ICML 2014)

また今回対象としたNIPSとICML以外にもAISTATS, WWW, WSDM, KDD, ICLR, IJCAI, COLTなど、さまざまな国際会議もあるので気になる人はチェックしてみてください。最近だとarxivにいきなり投稿されることも増えてきました。