Gunosyデータ分析ブログ

Gunosyで働くデータエンジニアが知見を共有するブログです。

Amazon AthenaをBigQueryと比較してみた

Athenaとは、フルマネージドで超高速な分散処理サービスで、AWS版BigQueryとも言うべきサービスです。 今回、GunosyでもAthenaを導入すべきかどうか検討すべく、パフォーマンスの検証を行いBigQueryと比較してみました。

Amazon Kinesis AnalyticsとES/Kibana4でリアルタイムダッシュボード構築

こんにちは。開発・運用推進部の小出です。 猫にイヤホンを噛み切られること数回、最近のBGMはもっぱら環境音です。 「耳からうどんが出ているようにしか見えない」という噂のBluetoothイヤホンが気になっています。 今回は、Amazon Kinesis AnalyticsとElas…

Re:dashで異なるData Sourceのクエリ結果をJOINできるようになったので試してみた - Query Results (Alpha)

こんにちは。グノシー開発部で部長をしている@cou_zです。最近はDJ RYOWのビートモクソモネェカラキキナ 2016 REMIXをよく聴いています。11/23のライブが楽しみですね。 Gunosyにおけるプロダクト改善は、データ可視化による現状把握から始まると考えていま…

データ分析について学んだこと by サマーインターンシップ

こんにちは。データ分析部インターン生の荻原です。 最近はThe Script - Superheroesをよく聞いています。 本記事では、私と同じデータ分析部所属の大原が9/20・21の2日間開催されたエンジニア職向けサマーインターンシップに参加したので、 その模様及びそ…

5分でわかる!BigQuery Tips集

こんにちは。データ分析部の阿部です。 今回はBigQueryについてです。 GunosyではもともとRedshiftで運用していましたが、 クエリによっては時間がかかり処理しきれない 同時にクエリを投げると詰まる などの課題を解決するためにBigQueryを一部で導入しまし…

Sparkで利用できるDeep Learningフレームワークまとめ

こんにちは、Gunosyデータ分析部に所属している森本です。 主な担当業務は記事配信アルゴリズムの改善、ログ基盤運用です。 最近良く聞く音楽はOne Direction - Live While We're Youngです。 本記事では、Sparkで利用できるDeep Learningフレームワークをま…

Deep Learningを応用したデモグラフィックの推定について WebDB Forum 2016 で技術報告 & スポンサーしました

こんちくわ,データ分析部の工藤です. 昨日 9月14日(水) に WebDB Forum 2016 に参加し,技術報告をしてきました. WebDB Forumとは db-event.jpn.org 2016年の今回は,慶應義塾大学 日吉*1キャンパスにて開催されました. Gunosy の発表内容 Gunosyで行っ…

NLP若手の会 (YANS 2016) に参加 & スポンサーしました

はじめまして。データ分析部の大原です。最近家での作業中は、「雨 強め」などの自然音を聞いています。歌詞も無いので音楽に惑わされることなくリラックスして作業できるので良い感じです。 さて、少し前の事になりますが、8月28日(日)〜8月30日(火)にNLP若…

データ分析部ロジック共有会を実施しました - Deep Learning を用いた年齢推定の精度改善について

こんちくわ,Gunosyデータ分析部の@hmjです. 最近よく聞く音楽はGOING UNDER GROUND の さえないブルー です. 今回は,先日開催したデータ分析部ロジック共有会という社内向けの勉強会についてご紹介します. 1. データ分析部ロジック共有会とは データ分…

Airbnbを利用した開発合宿のススメ

はじめまして、Gunosyデータ分析部の松嶋です。 先日、データ分析部では、開発合宿を開催しました。 このエントリでは、これまでに蓄積してきた合宿運営ノウハウをご紹介します。