dbt seed で csv ファイルのミスを取り除きながら DWH へ格納させる

はじめに現状の実装と課題: 不整合データの混入による手戻り対応方針: PR 時点でデータ不整合を検出する CI 環境で dbt が使えるようになった dbt seed とは方針実装 csv ファイルの配置プロファイル設定 dbt_project に seeds の設定を追加するシード…

2023-12-17

社内勉強会での発表内容の紹介〜MessagePackの仕様を読む〜

勉強会

こんにちは、 ML チームの k.oshiro です。この記事は Gunosy Advent Calendar 2023 の 17 日目の記事です。昨日の記事は yamayu さんの「サードパーティ Cookie を使わない広告効果計測〜Privacy Sandbox の Attribution Reporting API について〜」で…

2023-12-13

ChatGPTを活用した業務支援ツール「ウデキキ」のチャット実装

はじめにこんにちは。最近所属が変わり、新しく新規事業開発チームに配属された上村です。本記事は、Gunosyアドベントカレンダー2023 13日目の記事です。昨日の記事は、田辺さんの「A/Bテストの情報過多と戦う」でした。今回は、新規事業開発チームで開…

2023-12-12

A/Bテストの情報過多と戦う

ABテスト

はじめに背景: A/Bテスト作業者の増加による品質差が出てきた課題: 情報過多がさまざまな課題を引き起こしている原因: 膨大な情報をハンドリングするスキルが個人の経験値・地頭に依存してしまうでは膨大な情報をどう扱えばよいのか？改善1. 情報を削る…

2023-12-10

広告用の機械学習ワークフローを刷新しました

こんにちは。データサイエンス部 ML チームの村田です。スプラトゥーンで新シーズンがはじまりましたね。この記事は Gunosy Advent Calendar 2023 の 10 日目の記事です。前回の記事は otake さんのパーソナライズド動画推薦システムをつくるでした。は…

2023-12-09

パーソナライズド動画推薦システムをつくる

機械学習推薦システム

この記事は Gunosy Advent Calendar 2023 の 9 日目の記事です。昨日の記事は koizumi さんの「インシデント発生時における初動対応の自動化」でした。こんにちは、データサイエンス部 ML チームの大竹です。弊社では KDDI 株式会社が提供するスマートフォ…

#推薦システム #機械学習

2023-12-02

LLM 論文の探し方

こんにちは。R&D の森田です。牛スネ肉のブロックをまるごと炭火で焼いたら美味しかったので、最近のオススメです。この記事は Gunosy Advent Calendar 2023 の 2 日目の記事です。前回の記事は nagayama さんの Android DataStore の段階導入でした。今…

2023-10-30

根っこから理解を深める dbt

dbt

はじめにはじめに dbt はそもそもツールとして何を行なうか ELT における Transform について dbt が担っている機能 dbt は技術的にどのようにして Transform を実現しているか Jinja テンプレートによる SQL の生成各種データ基盤に向けたデータ変換の手…

#DBT #データ基盤

2023-09-27

新卒エンジニアブログ研修とOJTの振り返り

入社開発組織

2023年4月に新卒エンジニアとしてデータサイエンス部MediaMLチームに配属された大城（k.oshiro）です。普段はauサービスTodayアプリの記事配信システムの開発を行っています。本記事は、新卒エンジニアとして入社後にやってきたことを簡単にまとめたもので…

2023-04-21

#ECIR2023 にて発表を行いました

はじめに情報検索のカンファレンスであるEuropean Conference on Information Retrieval (ECIR)が2023年の4月2日から4月6日の間にアイルランドのダブリンで開催されました。 Gunosyから投稿した論文がフルペーパーとして採択されたため*1、飯塚が参加・発表…

2023-04-03

動画アプリの推薦システムを開発しました @au5Gチャンネル

はじめにこんにちは、Gunosy Tech Lab (GTL) MediaMLチームの上村です。今回のブログでは、先日プレスリリースがあった au 5Gチャンネルへのレコメンド機能の提供についてご紹介したいと思います。 gunosy.co.jp 「au 5Gチャンネル」とは*1 「au 5Gチャン…