EurekaMoments

ロボットや自動車の自律移動に関する知識や技術、プログラミング、ソフトウェア開発について勉強したことをメモするブログ

Data Analysis

自然言語データを前処理する際のPython逆引きメモ

機械学習のための「前処理」入門作者:足立悠リックテレコムAmazon 目的 これまでにデータ解析の仕事で扱ってきたのは主に 時系列データや画像データなど、数値で表現される データでした。 しかしながら、最近では自然言語データのように 数値データではない…

時系列データを前処理する際のPython逆引きメモ

機械学習のための「前処理」入門作者:足立悠リックテレコムAmazon 目的 データ分析の仕事をする中で最も扱う機会が多いのが 時系列データだと思います。その中で欠損値を扱ったり、 統計を取ったり、特徴量を作り出したりするのですが、 毎回やり方を忘れて…

画像データを前処理する際のPython逆引きメモ

機械学習のための「前処理」入門作者:足立悠リックテレコムAmazon 目的 データ分析の仕事をする際はPythonで専用スクリプトを書いて 大量のデータを一括処理するなんてことをよくやりますが、 今後は画像データに対する処理のスキルも習得する必要性が 出て…

構造化データを前処理する際のPython逆引きメモ

機械学習のための「前処理」入門作者:足立悠リックテレコムAmazon 目的 データ分析の仕事をする際は、Pythonで専用のスクリプトを書いたりして 実施することがほとんどですが、自分がやりたい処理をするのに未だに pandasやnumpy, matplotlibなどの使い方を…

Tリーグの試合データをスクレイピング+CSV保存するために調べた事のメモ

Pythonクローリング&スクレイピング[増補改訂版] -データ収集・解析のための実践開発ガイド作者:加藤 耕太発売日: 2019/08/10メディア: 単行本(ソフトカバー) 目次 目次 背景・目的 参考資料 Pythonプログラム チーム間、選手間の対戦成績 + 各試合の得点…

卓球の試合における得点確率のベイズ推定を考える

図解・ベイズ統計「超」入門 (サイエンス・アイ新書)作者:涌井 貞美発売日: 2017/09/14メディア: Kindle版 目次 目次 背景・目的 スポーツにおけるベイズ推定 卓球の試合で予測したい確率とは 得点率を予測する一連の流れ 0. 戦術の分類を定義する 1. 相手が…

CSVファイルのデータを手軽にグラフ化するGUIツールを作ってみた

Python実践データ分析100本ノック作者:下山 輝昌,松田 雄馬,三木 孝行出版社/メーカー: 秀和システム発売日: 2019/09/27メディア: 単行本 目次 目次 背景・目的 ソースコード 使い方 インストールと起動 CSVファイルの読み込み 各データの最大値、最小値、平…

Momentum shift analysis of Table tennis game ~Winning Rate Simulation~

敗者を勝者に変える卓球戦術ノート (卓球王国ブックス)作者: 高島規郎出版社/メーカー: 卓球王国発売日: 2019/04/19メディア: 単行本(ソフトカバー)この商品を含むブログを見る Table of Contents Table of Contents Introduction Reference Input data So…

限られた卓球の試合データから追加データを自動計算してみた

スポーツを10倍楽しむ統計学 (DOJIN選書)作者:鳥越 規央出版社/メーカー: 化学同人発売日: 2015/05/20メディア: 単行本(ソフトカバー) 目次 目次 背景・目的 分析の目標 制約条件 サンプルデータの入手 追加データの自動計算 次の取り組み 背景・目的 最近…

データの正規化を考慮したワインの等級予測:Linear SVC編

スッキリわかるPythonによる機械学習入門 スッキリわかるシリーズ作者:須藤秋良,株式会社フレアリンクインプレスAmazon 目次 目次 はじめに 予測モデルの学習手法の選定:Linear SVC とりあえずやってみる データを正規化・標準化してみる Z-Score Normalizat…

東大生マラソンランナーに習って卓球とプログラミングの両立方法を考えてみた

背景 目的 一般の卓球プレーヤーが抱える制約 先行技術 今後の取り組み①: 試合動画内の選手のトラッキングと打法の自動分析 今後の取り組み②: 選手の動作情報から試合の流れを把握し、自分がとるべき戦術を提案してくれるシステムの開発 参考: テニスにおけ…

matplotlibを使ったPython製のデータ再生GUIツールを作った

Pythonによるあたらしいデータ分析の教科書作者:寺田 学,辻 真吾,鈴木 たかのり,福島 真太朗翔泳社Amazon 目次 目次 はじめに サンプルコード 必要なモジュール サンプルデータの読み込み GUI全体のウィンドウと各種グラフスペースの配置 アニメーション操作…

Pythonパッケージのpyprojを使ったGPSのNMEAデータ分析

目次 目次 はじめに 参考資料 サンプルデータ $GPGGAフォーマット NMEAテキストログからの$GPGGAデータ抽出 緯度経度からX-Y平面への座標変換 X-Y平面座標の可視化 はじめに 障害物検知用センサの計測精度を評価したりする場合、その基準とする位置座標を得…

ワインの等級を予測するためのデータ分析

入門 Python 3作者:Bill LubanovicオライリージャパンAmazon 目次 目次 はじめに 参考 データの内容の確認 データ同士の相関 等級と相関の高い上位5つの属性 等級1と3の統合 上位5つの属性と色彩強度の相関 次のステップ はじめに 最近勉強しているPythonの…

Kaggleで上位10%に入るデータサイエンティストから学ぶデータ分析のプロセスについて

Kaggleで勝つデータ分析の技術作者:門脇 大輔,阪田 隆司,保坂 桂佑,平松 雄司発売日: 2019/10/09メディア: Kindle版 目次 目次 目的 参考記事 Kaggleとは? 扱われたお題 プロセス①: データの中身を確認する プロセス②: データの相関を調べる プロセス③: 欠…