Gunosyデータ分析ブログ

Gunosyで働くデータエンジニアが知見を共有するブログです。

Spark on k8s を EKS 上で動かす

はじめに DRE Team の山本です. 皆さん,Spark は利用されていますか? Gunosy では Digdag + Athena によるデータ整形が増えてきており,徐々に Spark の利用は減ってきています. 思い返すと,昨年入社後の OJT も Spark から Digdag + Athena への書き換…

DEIM2021で一般発表/技術報告とスポンサーを行いました

こんにちは、研究開発チームの飯塚です。3/1~3/3にオンラインで行われた、第13回データ工学と情報マネジメントに関するフォーラム(DEIM2021)に参加しました。 今年のDEIMは、現地参加と遠隔参加が選べるハイブリッド開催を予定しておりましたが、昨今のコ…

言語処理学会第27回年次大会(NLP2021)にポスター発表・ワークショップ登壇で参加しました

こんにちは、株式会社Gunosy新卒一年目の谷口です。3月15日〜3月19日に開催された言語処理学会第27回年次大会(NLP2021)に弊社からも「ポスター発表」・「スポンサーイブニング」・「ワークショップ登壇」という形で参加しました!本記事ではそちらについて述…

グノシーのパーソナライズアルゴリズムを刷新した話 (アーキテクチャ編)

こんにちは。Gunosy TechLab MediaMLチーム所属の桾澤 (@gumigumi4f) です。 前回の記事に引き続き、グノシーのパーソナライズアルゴリズムを刷新した話について、アーキテクチャの部分を説明したいと思います。 前回の記事から読んでもらえると、パーソナラ…

グノシーのパーソナライズアルゴリズムを刷新した話 (モデル編)

こんにちは。Gunosy TechLab MediaMLチーム所属の桾澤 (@gumigumi4f) です。 この記事では、弊社で配信しているニュースアプリであるグノシーのパーソナライズアルゴリズムを刷新した話について書きたいと思います。 アーキテクチャの部分まで含めて記事にし…

作る前に試そう 〜ユーザーインタビューとユーザーテスト〜

はじめに おはようございます、BIチームの齊藤です。 この記事はGunosy Advent Calendar 2020の22日目の記事です。昨日の記事は板谷さんによるFitbitのカスタムレポートを作成してLINEに通知する でした。 はじめに 背景 ユーザーインタビューとユーザーテス…

A/Bテストが出来ない場面での因果推論による効果検証

本記事は、Gunosy Advent Calendar 2020 19日目の記事です。 昨日はサンドバーグさんの Amazon AthenaのPartition Projectionを使ったALB Access Logの実例 (w/ terraform & glue catalog) - Gunosy Tech Blog でした。 こんにちは、GTL(Gunosy Tech Lab) 所…

2020年の研究開発チームの振り返り

はじめに こんにちは、研究開発チームの関です。 2020年もまもなく終わりを迎えますね。皆さんどんな一年だったでしょうか。 私にとってはアイドルのライブがほとんどなく、生きがいの一つがなくなって辛い一年でした。 オンライン特典会やライブ配信で名前…

不確実性と向き合うデータ分析

本記事は、Gunosy Advent Calendar 2020 12日目の記事です。 昨日はGTL所属の山本さんの「Terraform のエラーに落ち着いて立ち向かうために - Gunosy Tech Blog」でした。 GTL(Gunosy Tech Lab) 所属の大曽根です。オンライン会議は耳が痛くなるのでスピーカ…

その実験、再現できますか?pyenvとpoetryによる “そんなに頑張らない” 再現可能な実験環境構築

Gunosy Tech Lab リサーチインターンの北田 (@shunk031)です。 深層学習の論文を読んでいるときに著者実装が公開されている旨を見ると嬉しい気持ちになりますよね。 いざ公開レポジトリに飛んだ瞬間その嬉しさは無となることが多いですが、くじけずにやって…

新卒入社して半年が経ちました vol.4 〜クーポン改善〜

はじめに こんにちは!Gunosy Tech Labのコウ(@yuanzhi.ke)です。2020卒です。9月にようやく博士課程を修了し、正式に入社させていただきました。今はグノシーのクーポン推薦のロジック開発をしています。 こちらの記事は Gunosy Advent Calendar 2020 の…

新卒入社して半年が経ちました vol.3 〜アプリ健全化〜

はじめに こんにちは、GTL Media ML チームの谷口(2020新卒)です。本記事では、現在私が関わっているプロジェクトの一つである「扇情的な記事の判定」についてお話しします。 現在当社では、中長期的な成長を見込んで、アプリで提供するニュース記事リスト…

新卒入社して半年が経ちましたvol.2 〜本番環境でやらかしちゃった話〜

こんにちは、GTL Media ML チームの上村です。新卒ブログ第2弾は私が本番環境でやらかしちゃった話を紹介します。 誰かの責任が...みたいな重い話ではなく、こういうパターンもあるから気をつけようね、というお話なので教訓程度に捉えてください。

新卒入社して半年が経ちました vol.1〜新卒研修編〜

はじめに こんにちは、今年の4月に新卒として入社しGunosy Tech Lab(GTL) Media MLチームに配属されました内田です。本記事より全3回に渡り新卒ブログを掲載していくことになりましたので、その第1弾です。本記事では、主に新卒研修で取り組んだことについて…

記事ベクトルの定量評価手法の紹介

こんにちは、20卒 Gunosy Tech Lab 所属の上村です。Gunosyではニュース記事をベクトルで表現し、様々なロジックに組み込むことで、ユーザ体験の向上を図っています。今回は、記事ベクトルを定量的に評価する手法を紹介していきます。

MLOps 海外テック企業の事例とフレームワークの紹介

はじめに こんにちはGunosy Tech Labの森本です。現在MLOps基盤を再整備しています。そこで調査した海外Tech企業の事例やMLOpsのフレームワークを紹介します。 Gunosy Tech LabのMedia MLチームではニュースアプリ(グノシー、ニュースパス、ルクラ)やクー…

ニュース配信におけるAWS Rekognition活用事例の紹介

はじめに こんにちは、Gunosy Tech Labの森本です。 Gunosyではグノシー、ニュースパス、ルクラなどのニュースアプリを開発しています。 私が所属している組織であるGunosy Tech Labではニュース配信の推薦ロジックなどのアルゴリズム改善を主に担当していま…

2019年のGunosy研究開発チームの振り返りとこれから

はじめに こんにちは、研究開発チームの関です。 いつのまにやら年末感が漂ってきましたね。今年もクリスマスは赤レンガ倉庫でカップルたちの中アイドルライブを見て過ごしました。*1 年越しはCDJででんぱ組と年越しを迎えるので、クリスマスも年越しも推し…

Kaggle Days Tokyo 参加レポート

はじめに こんにちは!Gunosy Tech Lab の石川(@takaishikawa42)です。 この記事は Gunosy Advent Calendar 2019、12日目の記事です。 昨日の記事は id:mgi さんによるグノシーにおける AWS Transit Gateway 活用事例 でした。 12月11日・12日の2日間の日…

ウェブにおけるユーザエンゲージメントを計測・予測する研究について。

はじめに みなさんこんにちは、研究開発チームの関です。 先週末はでんぱ組の幕張2daysでしたね。なにを言っても陳腐になってしまうのですが本当に素晴らしい2日間でした。 色々素晴らしいことがあったのですが、推しが作った衣装をきた推しが最高に可愛かっ…

A/Bテストの時間短縮に向けて 〜ベイズ統計によるA/Bテスト入門〜

はじめに こんにちは、19卒でGunosy Tech LabのBIチームの齊藤です。 data.gunosy.io この記事はGunosy Advent Calender 2019の4日目の記事です。昨日の記事は高橋さん(@tkhs0604)によるプロダクトマネージャーカンファレンス2019 参加レポート でした。 は…

Web Intelligence 2019にFull Paperが採択され、発表をしてきました

はじめに みなさんこんにちは、研究開発チームの関です。 今年のクリスマスも横浜赤レンガ倉庫で、カップル大量発生の中ででんぱ組さんのライブを見て過ごすことになりそうです。 10/14~17までギリシャのテッサロニキで開催されていたWeb Intelligence 2019 …

Gunosy Ads の CTR予測のシステムの話

こんにちは,Gunosy Tech Lab の tmotegi です. Gunosy が提供している広告商品の Gunosy Ads では, Gunosy が開発したアプリのユーザ一人一人に対して興味を持つであろう広告を推定してユーザに提示しています. 今回はユーザが興味を持つ広告(=CTR が高…

クーポンを最適に届ける技術〜分析編〜

こんにちは、Gunosy Tech Labの片木(@jkatagi)です。 今回は私が現在取り組んでいるクーポン分析について紹介します。 Gunosyにおけるクーポン クーポンの性質 クーポンの分析 クーポンタブでのユーザー行動 クーポンの時間依存性 ユーザー属性別のクーポ…

RecSys 2019 参加レポート

はじめに 推薦システムのトップカンファレンスであるACM主催のRecSys2019 が9月15日から9月20日の間にコペンハーゲンで開催されました。 Gunosyから投稿した論文がshort paperとして採択され*1、関、飯塚の2名でポスター発表してきました。 はじめに Recsys…

ニュースパスのターゲティングプッシュシステム

こんにちは、Gunosy Tech Lab の山田です。 Gunosy で開発しているニュースアプリ、ニュースパスでは「多くの人が知っておくべき」と判断されるニュースが出た時、即座にそれをユーザにプッシュ通知でお知らせする速報プッシュ機能があります。 例えば誰もが…

WebDB Forum 2019 運営&参加レポート

はじめに みなさんこんにちは、研究開発チームの関です。 2019年9月8, 9日に行われたWebDB Forum 2019に参加してきました。 当社はゴールドスポンサーとして支援したほか、私が去年から産学連携担当委員として運営にも関わりました。 本エントリでは運営とし…

A/Bテストのベストプラクティスと落とし穴 ~KDD2019 レポート~

はじめに 研究開発チームの関です。古川未鈴さんの結婚、ニジマス大門果琳さんの卒業、uijinの解散とアイドル業界も激動の秋を迎えていますね。 2019年8月4日から5日間、アメリカはアラスカ州アンカレッジで開催されたデータマイニング領域のトップカンファ…

BERTによるテキスト分類

はじめに こんにちはGunosy Tech Labの森本です。グノシーのニュース記事を実験的にBERTでテキスト分類しましたので、その結果を共有します。 BERTはご存知の通りGoogle AIが発表した双方向Transformerであり、Pre-trainingできる特徴があります。自然言語処…

サマーインターンシップ2019開催報告

こんにちは、Gunosy Tech Lab内定者の濱下と谷口です。 今年も昨年同様エンジニア向けデータ分析サマーインターンシップを実施しました。 メンターアルバイトとして参加したので,その様子やメンターとしての気付きなど,当日の写真を交えながら紹介します!…