Gunosyデータ分析ブログ

Gunosyで働くデータエンジニアが知見を共有するブログです。

言語処理学会第24回年次大会(NLP2018)に参加 & 論文賞受賞しました

はじめまして、データ分析部の小澤(id:skozawa)です。 3月12日(月)〜3月16日(金)に開催された言語処理学会第24回年次大会(NLP2018) @岡山コンベンションセンターに、Gunosyから、関、久保、茂木、桾澤(インターン生)、小澤の5名で参加しました。 スポン…

RedshiftとBigQueryでよく使うSQLの違いTips

データ分析部インターン生の小川です。インターンでは主に動画収集のロジック実装に取り組んでいました。 Gunosyではログの管理にRedshiftとBigQueryを使用しています。 サービスはAWS上で動いているものも多いので基本はRedshiftで、ログの量が多いものやア…

Facebookの予測ライブラリProphetを用いたトレンド抽出と変化点検知

Gunosyデータ分析部アルバイトの五十嵐です。 Gunosyには大規模なKPIの時系列データがあります。 今回はKPIの時系列分析を行なった際に得た知見についてまとめたいと思います。 具体的にはFacebookが開発した時系列予測ツール Prophetを用いて、KPIのトレン…

アプリログの自動異常検知を試してみた~密度比による異常検知入門~

Gunosyデータ分析部アルバイトの鈴木です。今回は密度比を利用したバージョンリリースにおける異常検知について学んだことをまとめたいと思います。 やりたいこと 超長期的にやりたいこと 密度比を用いた異常検知のイメージ ダミーデータでの実装例1 今回試…

自然言語処理×ジャーナリズムな研究まとめ ~ EMNLP2017 Workshopより ~

いつものやつ はじめに 各研究の分類 ニュースの品質に関する研究 Predicting News Values from Headline Text and Emotion Incongruent Headline: Yet Another Way to Mislead Your Readers Deception Detection in News Reports in the Russian Language F…

SQL: 継続率と獲得数で将来のDAUをさくっと予測してみる

いつものやつ はじめに なぜ将来を予測することが重要か 概要 準備するもの 日々の獲得の予算 継続率の予算 SQLでの算出 基本編 応用 おわりに いつものやつ この記事は Gunosy Advent Calendar 2017、9日目の記事です(フライング)。 qiita.com はじめに Gun…

Gunosyを支えるKPI管理

この記事は Gunosy Advent Calendar 2017 8日目の記事です。 qiita.com 今日話すこと こんにちは、データ分析部の @ij_spitz です。 つい昨日誕生日を迎えて25歳になりました(もうお◯さんですね)。 Gunosyではプロダクト開発の様々な場面でデータを活用し…

プロダクトの変更ログを記録することと、Slack+Zapier+Google Calendarを利用した記録の自動化について

グノシー開発部の@cou_zです。最近はPUNPEEのアルバムをよく聴いています。 日々、KPIを追っていると、意図せずにトレンドが変化することが良くあります。 なぜトレンドに変化があったのかを調査するためには、その時に何が起こっていたのかを知っている必要…

BigQueryのクエリ課金額をslack通知する

はじめに こんにちは、データ分析部の阿部です。 Gunosyには社内警察と呼ばれる人がおり、たとえばデータ可視化の際に円グラフを使うと正しい使い方を教えてくれる、母数という言葉の使い方を正してくれる、方々がいます。 tech.gunosy.io 今回はBigQueryで…

データ分析部が開発・運用するバッチ アプリケーション事情

はじめに こんにちは、データ分析部の森本です。 この記事ではGunosyデータ分析部がどのような視点に基づいてバッチアプリケーション(以下、バッチ)を開発・運用しているかしているのかを紹介します。 クライアントアプリ開発やAPI開発と比較してバッチ開…