この記事はkoei-aiの運営者による情報発信です。自社サイトへのリンクを含みます。
過去の競技データを表へまとめるとき、空欄を見つけて一律にゼロで埋めたくなることがあります。しかし記載がない状態と、値がゼロだった状態は同じとは限りません。集計前に欠損の意味を控えておくと、後から数値が変わった理由を追いやすくなります。データ整理の練習として使える手順です。
元の値を残した列を作る
取り込んだ文字列を保存する列と、集計用に整えた数値の列を分けます。元資料の空欄、横線、記号をすべて同じ値へ変える前に、その資料での意味を確認します。説明が見つからない記号は、意味不明として残しておきます。
欠損の理由を別の欄へ置く
未公表、対象外、取得失敗、理由未確認といった分類を用意します。分類は推測で埋めず、元資料の注記に基づいて付けます。単なる取得失敗なら取り込みを再確認し、対象外なら数値へ置き換えない、と作業を分けられます。
集計した件数を一緒に残す
平均などの集計値だけでなく、対象の行数と除外した行数も記録します。同じ期間でも、欠損の扱いが違う集計はそのまま比較できません。どの条件で除外したかを一行で添えると、後から同じ処理を再現しやすくなります。
修正版を取り込んだ日を記録する
後日、値が追加されることも想定し、取得日と資料の版を保存します。以前の結果を上書きする前に変更した行を控え、欠損が解消したための差なのか、処理を変えたための差なのかを区別します。データの量より、変更を説明できる状態を目指します。
運営サイト：koei-ai。関連情報を読む際も、記載の対象や更新日を確認してください。