はじめに
こんにちは！BI チーム新卒*1の田辺です。こちらの記事は Gunosy Advent Calendar 2021 の 17 日目の記事です。
昨日の記事はくらさわさんの『VS Code の拡張機能を作ったけどもっと便利なやつがあったどころか標準機能にあった話』でした。
本日は、週次振り返りの数値確認にオンラインホワイトボードツールのMiroを導入した話をご紹介します！ 確認する数値や可視化は多くの社員が目にするものですが、弊社では「八百屋にサンマは注文しねえよ」の精神により新卒でもこのような仕事ができるチャンスがあります。
可視化で何を改善したいか
Gunosyではエンジニア・非エンジニアに関わらずKPIやそれに付随する数値を定常的にモニタリングしています。
チーム単位でもプロダクト単位でも数値確認が定期的に行われていますが、プロダクト単位のように人数が増えてくると、当然自分が直接関わっていない部分の数値も話題に含まれます。このような場合、普段はウォッチしていない指標が出てくると自分ごとにしづらかったり、「UI変えると売上ってどうなるんだっけ？」のように指標と自分の仕事のつながりがよく分からない状態になってしまうこともあると思います。
そこでウォッチしたい指標同士の関係や、施策・開発と指標の関係などをひとまとめに確認できる指標整理ボードを作成しました。 ボードをだれでも閲覧できる状態にすることで、次の2点の達成を目指しました(なおこのボードを新卒が作成することで他チームの仕事やKPIについて勉強できるという一石二鳥タスクになっています)。
目的 1. 指標や施策・開発の関係を俯瞰できる
後からプロジェクトに合流する人や入社して間もない人のように、背景知識がない状態からでも指標と施策の概観をさっと理解できる状態を目指しました。 またすでに背景知識がある状態でも、記憶が薄れた場合の思い出し用や行き詰まった場合の整理用にも使うことができます。
目的 2. 新たな施策を始める際の仮説立てと整理が行いやすくなる
新たに施策や開発を始める際にはボードにその施策によって
- ユーザーの行動がどう変わるのか/どう変わったのか
- その結果どの指標がどう変化するか/どう変わったのか
を事前に記述しておくこととしました。こうすることで施策の方針が明確になり、また簡単に共有できるようになります。 施策が終了した後の振り返りにおいても、確認する指標があらかじめ定まっているため評価が行いやすくなります。仮に施策が外れたとしても、仮説のどの部分が現実と異なっていたのかを整理することができ、次の施策につなげることができます。
実際に作ってみた
可視化は文字・数値・矢印などを自由に使用できることからMiroを使用しました。
まず指標同士の関係を整理するために下図のようなKPIツリーを作成しました。この図でKPIと関係が深い指標を整理します。 ちなみに用途に合わせてツリー上層の分岐を変えて複数パターン作成しました。指標同士の論理的関係を理解する用の四則演算のみの分岐で表したツリーや、ユーザーの獲得から定着フェーズに着目したツリーなどです。
次に指標と施策の関係を可視化しました。チームのKPIやそれに影響しうる指標、現在実行中・新たに始める予定の施策を書き、それらの関係を線で結びました。
上図のピンクの付箋が定期確認している指標、緑の付箋が施策になっています。 施策と指標の関係は、施策によって改善する指標には実線、悪化する指標には点線で表すことにしました。 悪化する指標も併せて確認することは、A/Bテスト実践ガイド 真のデータドリブンへ至る信用できる実験とはの第2章で述べられているガードレールメトリクスの確認となっており、特定の指標さえ上がれば良いといった偏った施策の評価を防ぎます。
上図のグレーで塗りつぶされている各指標の数値は、Redashで可視化したものをMiroのweb page capture機能でボードに埋め込みました。 数値確認の頻度に合わせてRedashの定期実行設定を行い、Miroに埋め込んだ画像のupdateボタンをポチッと押すことで毎度新しい数値に更新できます。 さらにMiroのframe機能を使用すると選択範囲を画像としてエクスポートすることができます。これで資料への添付も簡単にできます。便利！
施策は以下の図のようにユーザー行動がどう変わるかの仮説を整理しています。下図ではUIを変更することで記事の読みやすさが改善され記事の読了数やクリック数が増え、継続率の向上につながると仮定しています。
作ってみて
まず自分で手を動かしてツリーを作ることでかなり頭の中を整理できたというのが大きな収穫でした。特に複数パターン作ることで場面に応じた諸指標の見方を確認できたことは有意義でした。新卒のオンボーディングとして、少し仕事に慣れてきた頃にやってみても良いのではないかと感じました。
作成したボードを使って週次振り返りの数値確認をするようになってから良くなったと感じていることが特に2つあります。1つは「チュートリアル改善によって継続率が上がった」というような施策の結果をみんなで共有しやすくなり、チームのがんばりがより広く周知されるようになったことです。 もう1つは「今週のpush開封率がかなり下がっているのはどうして？」「push開封率を年代別で見てみたら変化の要因がわかりそう」のような数値に関する質問や議論が増え、KPTのtryでも数値に関するものが増えたことです。
運用では日々の数値確認でとある指標の傾向が昨日までとまるっきり変わっている場合に、このボードが役に立ちました。ボード上で指標に矢印が接続されている施策をたどれば指標に影響する施策が確認できるので、確認する変更事項を絞り込みやすくなりました。
またボードを作ったことで自分たちのチームにも良いことがありました。BIチームでは、定期的に「この指標の数値が最近芳しくないので原因を調査したい」といったタスクが発生します。このような場合でもボード上でユーザー行動などにまつわる指標を俯瞰できるため、原因を切り分けることができ仮説立てが行いやすくなりました。
おわりに
さてお気づきの方も多いかと思いますが、ここで作成した施策と指標が紐付いたボードは、RedashのSaaS版サービス終了に伴い使えなくなってしまいました(号泣)。
SaaS版Redash終了に際した奮闘については、こちらの記事で紹介しています。ご興味ある方はぜひご覧ください(こちらでも新卒同期が活躍しています)！ data.gunosy.io data.gunosy.io
ということで現在新たな可視化方法を模索中です！もし似たようなケースで対応策をご存じで、かつ方法を共有しても構わないという救世主のような方がいらっしゃいましたら、ぜひご教示いただけますと幸いです。
次回は、IoriSさんによるアンケート分析の記事となる予定です。お楽しみに！
*1:気づいたらあと3ヶ月しか新卒の肩書が使えないらしいので張り切って使っていきます
