デシジョンツリー分類子の概要

デシジョンツリーは、例を分類するための単純な表現です。これは、データが特定のパラメーターに従って継続的に分割される教師あり機械学習です。

デシジョンツリーは次のもので構成されます。

1. ノード：特定の属性の値をテストします。
2. エッジ/ブランチ：テストの結果に対応し、次のノードまたはリーフに接続します。
3. リーフノード：結果を予測するターミナルノード（クラスラベルまたはクラス分布を表します）。

デシジョンツリーには主に2つのタイプがあります。

1. 分類木。
2. 回帰ツリー。

上で見たのは分類ツリーの例で、結果は「fit」や「unfit」などの変数でした。ここで、決定変数はカテゴリー/離散です。

このようなツリーは、バイナリ再帰パーティショニングと呼ばれるプロセスを通じて構築されます。これは、データをパーティションに分割し、各ブランチでさらに分割する反復プロセスです。

2.回帰ツリー（連続データ型）：

ターゲット変数が連続値（通常は実数）をとることができる決定木は、回帰木と呼ばれます。（例えば、家の価格、または患者の病院での滞在期間）

デシジョンツリーの作成：

この方法では、一連のトレーニング例がますます小さなサブセットに分割され、同時に関連する決定木が段階的に開発されます。学習プロセスの最後に、トレーニングセットをカバーする決定木が返されます。

重要なアイデアは、決定木を使用して、データスペースをクラスター（または密な）領域と空の（または疎な）領域に分割することです。

デシジョンツリー分類では、新しい例は、例のクラスラベルを決定する一連のテストに送信することによって分類されます。これらのテストは、デシジョンツリーと呼ばれる階層構造で編成されています。デシジョンツリーは分割統治アルゴリズムに従います。

分割統治

デシジョンツリーは、再帰的パーティショニングと呼ばれるヒューリスティックを使用して構築されます。このアプローチは、データをサブセットに分割し、サブセット内のデータが十分に均質であるとアルゴリズムが判断したときにプロセスが停止するまで、さらに小さなサブセットに繰り返し分割されるため、分割統治とも呼ばれます。 、または別の停止基準が満たされました。

基本的な分割統治アルゴリズム：

1. ルートノードのテストを選択します。テストの可能な結果ごとにブランチを作成します。
2. インスタンスをサブセットに分割します。ノードから伸びるブランチごとに1つ。
3. ブランチに到達するインスタンスのみを使用して、ブランチごとに再帰的に繰り返します。
4. すべてのインスタンスが同じクラスを持っている場合は、ブランチの再帰を停止します。

• 決定アルゴリズムを使用して、ツリールートから開始し、最大の情報ゲイン（IG）（最終決定に向けた不確実性の低減）をもたらす機能に関するデータを分割します。
• 反復プロセスでは、葉が純粋になるまで、各子ノードでこの分割手順を繰り返すことができます。これは、各リーフノードのサンプルがすべて同じクラスに属していることを意味します。
• 実際には、過剰適合を防ぐために、木の深さに制限を設定する場合があります。最終的な葉にはまだ不純物が含まれている可能性があるため、ここでは純度をいくらか妥協します。

1. 構築するのに安価です。
2. 未知のレコードの分類が非常に高速です。
3. 小さいサイズの木の解釈が簡単
4. 多くの単純なデータセットの他の分類手法に匹敵する精度。
5. 重要でない機能を除外します。

1. 過剰適合しやすい。
2. 決定境界は、属性軸に平行になるように制限されています。
3. デシジョンツリーモデルは、多くの場合、多数のレベルを持つ機能の分割に偏っています。
4. トレーニングデータに小さな変更を加えると、決定ロジックに大きな変更が生じる可能性があります。
5. 大きな木は解釈が難しい場合があり、それらが下す決定は直感に反しているように見える場合があります。

1. 医用生体工学（埋め込み型デバイスで使用される機能を識別するための決定木）。
2. 財務分析（製品またはサービスに対する顧客満足度）。
3. 天文学（銀河を分類する）。
4. システム制御。
5. 製造および生産（品質管理、半導体製造など）。
6. 薬（診断、心臓病学、精神医学）。
7. 物理学（素粒子検出）。