Gunosyデータ分析ブログ

Gunosyで働くデータエンジニアが知見を共有するブログです。

Athena view と Terraform による宣言的データモデリングとレイクハウスへの道標

はじめに こんにちは、DR&MLOps*1 チームの楠です! こちらの記事は Gunosy Advent Calendar 2021 の 13 日目の記事です。 昨日の記事は大曽根さんの『Gunosyの施策運用におけるインスティチューショナルメモリ』でした。 本日は、データ分析の民主化を促進…

Gunosyの施策運用におけるインスティチューショナルメモリ

はじめに アライアンス事業本部でニュースパス、auサービスTodayといったKDDI社と協業しているプロダクトのプロダクトオーナーをしている大曽根です。Chief Data Officerとしてデータ周りのあれこれも担当しています。プロダクトの詳細については、以下の記…

ニュース記事配信のパーソナライズロジックのオフライン実験では何を見ているのか?

こんにちは。GunosyTechLab MediaMLチームでエンジニアをやっている 上村です。 今日は9月頃に紹介したauサービスTodayの記事配信ロジックの続編で、記事配信ロジックにパーソナライズを導入する際のモデルの評価方法に関連するお話です。

SaaS Redash 終了に向けた対応と分析の民主化(実践編)

はじめに こんにちは、DR&MLOps チームの hyamamoto です! こちらの記事は Gunosy Advent Calendar 2021 の 6 日目の記事です。昨日の記事は楠さんの『SaaS Redash 終了に向けた対応と分析の民主化(方針編)』でした。 今回は前回記事の続編になるので、ぜ…

SaaS Redash 終了に向けた対応と分析の民主化(方針編)

はじめに こんにちは、DR&MLOps*1 チームの楠です! こちらの記事は Gunosy Advent Calendar 2021 の 5 日目の記事です。 昨日の記事は UT さんの『更新できるデータレイクを作る 〜Apache Hudiを用いたユーザデータ基盤の刷新〜』でした。 5 日目と 6 日目…

その設定、pyproject.tomlに全部書けます

はじめに Gunosy Tech Lab - Media ML のsuchidaです。 最近はPythonの型アノテーションがないとあたふたする人生です。 こちらの記事は Gunosy Advent Calendar 2021の3日目の記事です。 前回の記事はid:skozawa さんの施策の優先順位付けのために分析Dayを…

施策の優先順位付けのために分析Dayを実施しました

こんにちは、Gunosy Tech LabのMedia MLチームでマネージャーをしている id:skozawa です。 もう年末、早いですね。 こちらの記事は Gunosy Advent Calendar 2021の2日目の記事です。昨日の記事は加藤さんのチーム再編とCompany Betsでした。 今日はMedia ML…

ニュース記事の品質と広告効果の関係についてCIKM2021で発表を行いました

こんにちは、研究開発チームの飯塚です。11/1~11/5にオンラインで行われた、CIKM2021に発表参加しました。CIKMとはACM International Conference on Information and Knowledge Managementの略称で、機械学習やWebマイニング、情報検索/推薦といったトピック…

知識辞書をECS on Fargate上で自動構築してみた

はじめに こんにちは、Gunosy Tech Lab - Media MLの suchida です。 気温の低下とともに起床時間が遅くなってる今日この頃です。 早く春にならないかなぁ(笑)。 さて本記事では、知識辞書構築の自動化について紹介します。 特に記事配信システムの一部で…

新プロダクトの記事配信ロジックを1から作った話(ロジック編)

今回の記事の内容は、「auサービスToday」開発の第2弾、記事ロジック編です。 主にサービス初期に「ログがほとんどない状態で、如何に重要または人気な記事を配信するのか」というテーマで、どのようなロジックで実現を目指したかを紹介していこうと思います…

新プロダクトの記事配信ロジックを1から作った話(実装編)

はじめに こんにちは、Gunosy Tech Lab - Media MLの suchida です。 2020年に入社して1年ちょっと経過しました。 在宅ワークは未だ継続中ですが、たまにWeWorkに出社して気分転換してます✨ 本記事では新プロダクト「auサービスToday」の開発において、Media…

グノシーの記事リスト品質向上ロジック紹介

こんにちは、Gunosy Tech Labの谷口です。本記事ではグノシーの品質向上施策の一つである「各タブの記事リストの品質向上」についてお話しします。 グノシーの品質向上 当社ではグノシーの長期的なプロダクト価値の向上を目指し、2020年6月よりアプリの品質…

データ分析配属のはずが、マーケティングチームに配属された話 [新卒エンジニアブログvol.2]

はじめに なぜマーケティングチームに配属された? マーケティングチームでやったこと グノシーのマーケティングチームはどんな仕事? 広告が配信されるまで マーケティング修行を終えて BIチームに合流してから OJT で、マーケティング修行は活きたのか? …

Gunosy Tech Lab 新卒エンジニアブログvol1 入社からの4ヶ月を振り返って

はじめに GTLという組織・Media MLチームについて 入社〜現在までの流れ OJT:スポーツタブのロジック改善 既存ロジック 改善までの道のり (1)パーソナライズアルゴリズム (2)記事wiseな時間減衰 学んだこと、気がついたこと コストの意識 タスク管理 コ…

Spark on k8s を EKS 上で動かす

はじめに DRE Team の hyamamoto です. 皆さん,Spark は利用されていますか? Gunosy では Digdag + Athena によるデータ整形が増えてきており,徐々に Spark の利用は減ってきています. 思い返すと,昨年入社後の OJT も Spark から Digdag + Athena へ…

DEIM2021で一般発表/技術報告とスポンサーを行いました

こんにちは、研究開発チームの飯塚です。3/1~3/3にオンラインで行われた、第13回データ工学と情報マネジメントに関するフォーラム(DEIM2021)に参加しました。 今年のDEIMは、現地参加と遠隔参加が選べるハイブリッド開催を予定しておりましたが、昨今のコ…

言語処理学会第27回年次大会(NLP2021)にポスター発表・ワークショップ登壇で参加しました

こんにちは、株式会社Gunosy新卒一年目の谷口です。3月15日〜3月19日に開催された言語処理学会第27回年次大会(NLP2021)に弊社からも「ポスター発表」・「スポンサーイブニング」・「ワークショップ登壇」という形で参加しました!本記事ではそちらについて述…

グノシーのパーソナライズアルゴリズムを刷新した話 (アーキテクチャ編)

こんにちは。Gunosy TechLab MediaMLチーム所属の桾澤 (@gumigumi4f) です。 前回の記事に引き続き、グノシーのパーソナライズアルゴリズムを刷新した話について、アーキテクチャの部分を説明したいと思います。 前回の記事から読んでもらえると、パーソナラ…

グノシーのパーソナライズアルゴリズムを刷新した話 (モデル編)

こんにちは。Gunosy TechLab MediaMLチーム所属の桾澤 (@gumigumi4f) です。 この記事では、弊社で配信しているニュースアプリであるグノシーのパーソナライズアルゴリズムを刷新した話について書きたいと思います。 アーキテクチャの部分まで含めて記事にし…

作る前に試そう 〜ユーザーインタビューとユーザーテスト〜

はじめに おはようございます、BIチームの齊藤です。 この記事はGunosy Advent Calendar 2020の22日目の記事です。昨日の記事は板谷さんによるFitbitのカスタムレポートを作成してLINEに通知する でした。 はじめに 背景 ユーザーインタビューとユーザーテス…

A/Bテストが出来ない場面での因果推論による効果検証

本記事は、Gunosy Advent Calendar 2020 19日目の記事です。 昨日はサンドバーグさんの Amazon AthenaのPartition Projectionを使ったALB Access Logの実例 (w/ terraform & glue catalog) - Gunosy Tech Blog でした。 こんにちは、GTL(Gunosy Tech Lab) 所…

2020年の研究開発チームの振り返り

はじめに こんにちは、研究開発チームの関です。 2020年もまもなく終わりを迎えますね。皆さんどんな一年だったでしょうか。 私にとってはアイドルのライブがほとんどなく、生きがいの一つがなくなって辛い一年でした。 オンライン特典会やライブ配信で名前…

不確実性と向き合うデータ分析

本記事は、Gunosy Advent Calendar 2020 12日目の記事です。 昨日はGTL所属の山本さんの「Terraform のエラーに落ち着いて立ち向かうために - Gunosy Tech Blog」でした。 GTL(Gunosy Tech Lab) 所属の大曽根です。オンライン会議は耳が痛くなるのでスピーカ…

その実験、再現できますか?pyenvとpoetryによる “そんなに頑張らない” 再現可能な実験環境構築

Gunosy Tech Lab リサーチインターンの北田 (@shunk031)です。 深層学習の論文を読んでいるときに著者実装が公開されている旨を見ると嬉しい気持ちになりますよね。 いざ公開レポジトリに飛んだ瞬間その嬉しさは無となることが多いですが、くじけずにやって…

新卒入社して半年が経ちました vol.4 〜クーポン改善〜

はじめに こんにちは!Gunosy Tech Labのコウ(@yuanzhi.ke)です。2020卒です。9月にようやく博士課程を修了し、正式に入社させていただきました。今はグノシーのクーポン推薦のロジック開発をしています。 こちらの記事は Gunosy Advent Calendar 2020 の…

新卒入社して半年が経ちました vol.3 〜アプリ健全化〜

はじめに こんにちは、GTL Media ML チームの谷口(2020新卒)です。本記事では、現在私が関わっているプロジェクトの一つである「扇情的な記事の判定」についてお話しします。 現在当社では、中長期的な成長を見込んで、アプリで提供するニュース記事リスト…

新卒入社して半年が経ちましたvol.2 〜本番環境でやらかしちゃった話〜

こんにちは、GTL Media ML チームの上村です。新卒ブログ第2弾は私が本番環境でやらかしちゃった話を紹介します。 誰かの責任が...みたいな重い話ではなく、こういうパターンもあるから気をつけようね、というお話なので教訓程度に捉えてください。

新卒入社して半年が経ちました vol.1〜新卒研修編〜

はじめに こんにちは、今年の4月に新卒として入社しGunosy Tech Lab(GTL) Media MLチームに配属されました内田です。本記事より全3回に渡り新卒ブログを掲載していくことになりましたので、その第1弾です。本記事では、主に新卒研修で取り組んだことについて…

記事ベクトルの定量評価手法の紹介

こんにちは、20卒 Gunosy Tech Lab 所属の上村です。Gunosyではニュース記事をベクトルで表現し、様々なロジックに組み込むことで、ユーザ体験の向上を図っています。今回は、記事ベクトルを定量的に評価する手法を紹介していきます。

MLOps 海外テック企業の事例とフレームワークの紹介

はじめに こんにちはGunosy Tech Labの森本です。現在MLOps基盤を再整備しています。そこで調査した海外Tech企業の事例やMLOpsのフレームワークを紹介します。 Gunosy Tech LabのMedia MLチームではニュースアプリ(グノシー、ニュースパス、ルクラ)やクー…