Gunosyデータ分析ブログ

Gunosyで働くデータエンジニアが知見を共有するブログです。

2016-01-01から1年間の記事一覧

【初心者向け】Jupyter+Pandas+matplotlibを使ったデータ分析入門

こんにちは、データ分析部でバイトをしている子田(id:woody_kawagoe)です。 ニュースパスのログを集計して分析するといった業務を行っています。Gunosyで分析に利用しているツールとしては主にJupyter, Pandas, matplotlibがあります。 この組み合わせは非…

Amazon AthenaをBigQueryと比較してみた

Athenaとは、フルマネージドで超高速な分散処理サービスで、AWS版BigQueryとも言うべきサービスです。 今回、GunosyでもAthenaを導入すべきかどうか検討すべく、パフォーマンスの検証を行いBigQueryと比較してみました。

Amazon Kinesis AnalyticsとES/Kibana4でリアルタイムダッシュボード構築

こんにちは。開発・運用推進部の小出です。 猫にイヤホンを噛み切られること数回、最近のBGMはもっぱら環境音です。 「耳からうどんが出ているようにしか見えない」という噂のBluetoothイヤホンが気になっています。 今回は、Amazon Kinesis AnalyticsとElas…

Re:dashで異なるData Sourceのクエリ結果をJOINできるようになったので試してみた - Query Results (Alpha)

こんにちは。グノシー開発部で部長をしている@cou_zです。最近はDJ RYOWのビートモクソモネェカラキキナ 2016 REMIXをよく聴いています。11/23のライブが楽しみですね。 Gunosyにおけるプロダクト改善は、データ可視化による現状把握から始まると考えていま…

データ分析について学んだこと by サマーインターンシップ

こんにちは。データ分析部インターン生の荻原です。 最近はThe Script - Superheroesをよく聞いています。 本記事では、私と同じデータ分析部所属の大原が9/20・21の2日間開催されたエンジニア職向けサマーインターンシップに参加したので、 その模様及びそ…

5分でわかる!BigQuery Tips集

こんにちは。データ分析部の阿部です。 今回はBigQueryについてです。 GunosyではもともとRedshiftで運用していましたが、 クエリによっては時間がかかり処理しきれない 同時にクエリを投げると詰まる などの課題を解決するためにBigQueryを一部で導入しまし…

Sparkで利用できるDeep Learningフレームワークまとめ

こんにちは、Gunosyデータ分析部に所属している森本です。 主な担当業務は記事配信アルゴリズムの改善、ログ基盤運用です。 最近良く聞く音楽はOne Direction - Live While We're Youngです。 本記事では、Sparkで利用できるDeep Learningフレームワークをま…

Deep Learningを応用したデモグラフィックの推定について WebDB Forum 2016 で技術報告 & スポンサーしました

こんちくわ,データ分析部の工藤です. 昨日 9月14日(水) に WebDB Forum 2016 に参加し,技術報告をしてきました. WebDB Forumとは db-event.jpn.org 2016年の今回は,慶應義塾大学 日吉*1キャンパスにて開催されました. Gunosy の発表内容 Gunosyで行っ…

NLP若手の会 (YANS 2016) に参加 & スポンサーしました

はじめまして。データ分析部の大原です。最近家での作業中は、「雨 強め」などの自然音を聞いています。歌詞も無いので音楽に惑わされることなくリラックスして作業できるので良い感じです。 さて、少し前の事になりますが、8月28日(日)〜8月30日(火)にNLP若…

データ分析部ロジック共有会を実施しました - Deep Learning を用いた年齢推定の精度改善について

こんちくわ,Gunosyデータ分析部の@hmjです. 最近よく聞く音楽はGOING UNDER GROUND の さえないブルー です. 今回は,先日開催したデータ分析部ロジック共有会という社内向けの勉強会についてご紹介します. 1. データ分析部ロジック共有会とは データ分…

Airbnbを利用した開発合宿のススメ

はじめまして、Gunosyデータ分析部の松嶋です。 先日、データ分析部では、開発合宿を開催しました。 このエントリでは、これまでに蓄積してきた合宿運営ノウハウをご紹介します。

【Slack×Re:dash】リアルタイムKPI通知をコード0行で実現する

データ分析部で部長をしている@cou_zです。最近はLIBROのマイクロフォンコントローラーをよく聴いています。 Gunosyにおけるプロダクト改善は、データ可視化による現状把握から始まると考えています。 ログを収集して、ダッシュボードでKPI(重要業績指標)を…

Scrapy + Scrapy Cloudで快適Pythonクロール+スクレイピングライフを送る

はじめに こんにちは、データ分析部の久保 (@beatinaniwa) です。 今日は義務教育で教えても良いんじゃないかとよく思うWebクロールとスクレイピングの話です。 私自身、日頃は社内に蓄積されるニュース記事データや行動ログをSQLやPythonを使って取得・分析…

海外の有名IT企業のABテストブログまとめ

データ分析部の @ij_spitz です。 普段の業務では主にABテストを用いたプロダクト改善、ユーザーの行動分析などを行っています。 今日はタイトルにもある通り、プロダクト改善をするためにABテストを始めてみたいけど何をすればいいのかわからない、実際にAB…

いまさら聞けない機械学習の評価関数

アライアンス事業開発部の大曽根(@dr_paradi)です。 ニュースパスというアプリの分析と開発を行っております。 今回は機械学習の評価関数のお話をします。 内容は、【FiNC×プレイド】Machine Learning Meetup #1 - connpassで発表したものになります。 発表…

Chainer 1.11.0 で畳み込みニューラルネットワークを試してみる

はじめまして,Gunosyデータ分析部の@hmjです. 2016年の2月からGunosyのデータマイニングエンジニアとして働いていて,今はデータ分析や記事配信アルゴリズム改善を行っています. 今回は,GunosyでのDeep Learningの利用例と, 先日リリースされたChainer …

データ分析部ブログ,はじめました

こんにちは、はじめまして! 本日より株式会社Gunosyのデータマイニングエンジニア達が、 機械学習やデータ分析について 日々取り組んでいる技術やTips等の情報をお届けするブログを始めることとなりました。 定期的にこちらに記事投稿していきますので、よ…