この記事は GENDA Advent Calendar 2025 - シリーズ 3 - 18日目の記事です。https://qiita.com/advent-calendar/2025/genda はじめに私はGENDAでデータサイエンティストとして働いており、データの収集・前処理・分析・モデル構築など、幅広い業務を担当しています。レコメンデーションシステムをはじめとする各種機械学習モデルの開発や、統計モデリングなども手掛けています。2025年はCoding Agentの発展が著しい年となり、エンジニアだけでなくデータサイエンティストにとっても大きな変化があった年でした。この記...

Coding Agent元年とデータサイエンティストの自分

この記事は GENDA Advent Calendar 2025 - シリーズ 1 - 9日目の記事です。https://qiita.com/advent-calendar/2025/genda はじめに社会科学における因果推論の中心的課題は、実際に起きた事象と、もし起きなかった場合の反実仮想（counterfactual）を比較することにあります。ある処置（treatment）の効果を正確に測定するためには、同じ対象に対して「処置あり」と「処置なし」の結果を比較する必要がありますが、現実には両方を同時に観察することは不可能です。この制約に対処するため、様々な統計的手法が開発され...

意外と知らない合成コントロール法 (Synthetic Control Method)

はじめに2025年6月12日から14日にかけて、鹿児島県鹿児島市のカクイックス交流センター（かごしま県民交流センター）で開催された日本計算機統計学会第39回大会に参加しました。大会から約2ヶ月が経過してしまいましたが、2025年度 統計学会連合大会への参加前に、得られた学びや印象に残った発表について振り返りたいと思います。カクイックス交流センター受付のぼり 印象に残っている発表 シングルセルデータのデトーニングを活用した次元削減分散共分散行列の第1固有ベクトルを削除することを金融データ解析の分野ではデトーニング（detoning）と呼ぶそうです。これにより全体...

日本計算機統計学会 第39回大会の参加振り返り

はじめに2025年3月に開催されたデータマネジメント2025に登壇させていただきました。記事作成をすっかり失念してしまっていたので、2ヶ月も経ってしまい今更ですが、資料公開とついでに当日の様子を簡単に紹介します。 資料以下で当日資料を公開しております。 当日の様子 会場について会場は、ホテル雅叙園東京でした。ホテル雅叙園（朝）:こんな荘厳な入口で、発表前からかなり緊張した記憶があります。 発表内容発表は前半のデータ活用戦略部分を私、後半のLLMチャットボット活用とメタデータ整備については山口さんが発表しました。発表の様子（私）:データ活用戦略につい...

データマネジメント2025登壇した話

アドベントカレンダー株式会社GENDAでデータサイエンティストをしているtoma2です。この記事は、GENDAアドベントカレンダー2024の3日目の記事になります。https://qiita.com/advent-calendar/2024/gendaGENDAアドベントカレンダーでは、プロダクトや組織開発に関わるメンバーを中心に多様なテーマの記事を投稿しています。ぜひ、購読登録をしていただき12月25日までお楽しみください。 はじめに最近、一般線形モデルの予測値を合計することがありました。その際、予測値の合計の予測区間を求めたかったのですが、RやPythonにそのよ...

一般線形モデルの予測値の合計の予測区間

はじめに先日、ベイズ流の多重比較法はないかと調べていたとき、岡田（2013）に出会いました。この論文では、ベイズ統計による情報仮説の評価（Bayesian evaluation of informative hypothesis）の枠組みを利用して、群間比較を評価する方法を紹介しています。ベイズ流A/Bテストなどの2群間比較の評価を紹介した日本語の記事はネット上に複数存在しますが、3群以上の群間比較をコード付きで紹介しているものは見当たりませんでしたので、自身の理解の整理も兼ねてまとめました。この記事では、岡田（2013）とその参考文献であるHoijthink (2011) の内...

ベイズファクターでの群間比較の評価

アドベントカレンダー株式会社GENDAでデータサイエンティストをしているtoma2です。この記事は、GENDAアドベントカレンダー2023の9日目の記事になります。https://qiita.com/advent-calendar/2023/gendaGENDAアドベントカレンダーでは、プロダクト開発や組織開発に関わるメンバーを中心に多様なテーマの記事を投稿しています。ぜひ、購読登録をしていただき12月25日までお楽しみください。 はじめに最近、推薦モデルを調べる中でLightFMについて勉強したので、その内容をまとめとデータセットMovieLensでの実行例を示します...

LightFMから始める推薦システム入門

はじめにA/Bテストなどで2群の比率の差を検定する場合、サンプルサイズを設計します。多くの場合は、サンプルサイズは両群で同じですが、稀に両群で異なるサンプルサイズでしか取得できないケースもあると思います。両群のサンプルサイズが異なる場合のサンプルサイズの公式の導出は、ネットの上の日本語のページでは見つけられなかったので、まとめておきます。 参考文献以下の書籍に両群のサンプルサイズが異なる場合のサンプルサイズの公式が紹介されていました。導出については、サンプルサイズが等しい場合のものしか記載がなかったので、こちらの書籍を参考に導出しました。岩崎学（2010）.『カウントデータ...

2群の比率の差の検定のサンプルサイズ設計（両群のサンプルサイズが異なる場合）

概要GitHub ActionsからAWSのECRにDockerイメージをpushする方法の備忘録です。pushするリポジトリは、submoduleとしてprivateリポジトリを想定しています。半日ほどハマったので、備忘録として残しておきます。 はじめにECRを利用する場合、GitHubと連携させてGitHub Actionsでリポジトリを更新時に、ECRへDockerイメージを自動でpushする設定を行っている方もいるかと思います。その際、submodule (private) を設定しているときは、GitHub Actionsでsudmoduleの内容を反映する必要...

tomatsu

Coding Agent元年とデータサイエンティストの自分

意外と知らない合成コントロール法 (Synthetic Control Method)

日本計算機統計学会第39回大会の参加振り返り

データマネジメント2025登壇した話

一般線形モデルの予測値の合計の予測区間

ベイズファクターでの群間比較の評価

LightFMから始める推薦システム入門

2群の比率の差の検定のサンプルサイズ設計（両群のサンプルサイズが異なる場合）

GitHub Actions から ECR にsubmodule (private)を含むDocker イメージを push する

Coding Agent元年とデータサイエンティストの自分

意外と知らない合成コントロール法 (Synthetic Control Method)

日本計算機統計学会 第39回大会の参加振り返り

データマネジメント2025登壇した話

一般線形モデルの予測値の合計の予測区間

ベイズファクターでの群間比較の評価

LightFMから始める推薦システム入門

2群の比率の差の検定のサンプルサイズ設計（両群のサンプルサイズが異なる場合）

GitHub Actions から ECR にsubmodule (private)を含むDocker イメージを push する

日本計算機統計学会第39回大会の参加振り返り