データマイニング

読み：でーたまいにんぐ　／　英語表記：data mining

集めたデータを分析し、単純な検索では見つけにくい規則性や相関を発見するための技術。得られた傾向が、原因と結果の関係を証明するわけではない。

イマシルちゃんの解説

お店の売上メモをたくさん見比べてみよう。
一緒に買われやすい品物が見えてくるかもしれないね。
ただ、同じ日に売れたからといって、一方がもう一方を売れさせたとは限らないんだ。
見つけた手がかりを、別の日の記録でも確かめてみるんだよ。

検索は条件に合うデータを取り出し、集計は合計や平均などを計算する。これに対し、分類、予測、まとまりの発見、同時に起こる事象の分析などを通して、未知の傾向を探す。

ここでのクラスタリングは分析手法であり、計算機を協調動作させるHAクラスタとは別の概念である。

用語	役割
データウェアハウス	複数の業務データを統合し、分析用に蓄積する
データマート	特定の部門や用途に合わせた部分的なデータ集合を用意する
OLAP	時間、地域、商品などの軸で多次元に集計・分析する

OLAPでは、月別から日別へ細かく見るドリルダウンや、その逆のロールアップなどを行う。分析用の保管庫を作ることと、その中から未知の傾向を見いだすことは区別する。

欠損値、重複、単位の違い、外れ値などを確認する。元のデータに偏りがあると、件数が多くても偏った結論になる。学習に使ったデータだけで性能を測ると、過学習を見落とすことがあるため、別のデータで検証する。

相関関係は、一方の変化と他方の変化が関連して見えることをいう。別の要因が両方に影響している可能性があり、因果関係とは同一ではない。

例えば、雨の日に傘と温かい飲物が同時に売れたとしても、傘を購入したことが飲物購入の原因とは断定できない。売場変更などの施策を行う場合は、目的と評価指標を決め、実施後の効果を確かめる。個人に関するデータでは、利用目的やアクセス権も管理する。

データモデルは、対象となる情報の構造、意味、操作をどのように表すかという枠組みである。例えばリレーショナルモデルは、データを関係として表す。保存する構造を定めることと、集めたデータから傾向を見つける分析を区別する。