Деревья решений. Они как блок-схема на стероидах.
По сути, дерево решений — это тип модели машинного обучения, которая помогает вам принимать решения, визуализируя различные варианты и их потенциальные результаты. Это как дорожная карта для выбора на основе различных критериев.
В верхней части дерева у вас есть начальная точка или корневой узел, а затем у вас есть ветви, представляющие различные варианты выбора или решения, которые вы можете принять. Каждая ветвь ведет к новому узлу, который представляет результат или результат этого решения. Вы продолжаете разветвляться, пока не достигнете конечного результата или «листового» узла.
Самое классное в деревьях решений то, что они очень гибкие и могут использоваться в куче разных приложений. Вы можете использовать их для таких вещей, как классификация, когда вы пытаетесь отсортировать данные по разным категориям, или регрессия, когда вы пытаетесь предсказать непрерывное значение на основе входных функций.
Но вот в чем дело: нужно быть осторожным с деревьями решений. Если вы переусердствуете с ветвлением и создадите сверхсложное дерево, вы можете в конечном итоге переобучить свои данные и получить некоторые неверные результаты. Итак, убедитесь, что вы держите его простым и чистым.
Немного истории
Концепция деревьев решений существовала уже давно, еще до появления машинного обучения и искусственного интеллекта. На самом деле деревья решений использовались в таких областях, как психология, бизнес и инженерия, как способ визуализации процессов принятия решений и определения возможных результатов.
Однако только в 1960-х и 70-х годах деревья решений стали более формализованной частью информатики и статистики. В то время такие исследователи, как J. Росс Куинлан разрабатывали алгоритмы и методы построения деревьев решений на основе данных, которые проложили путь к современным моделям деревьев решений.
Одним из ключевых преимуществ деревьев решений является их простота и интерпретируемость. В отличие от некоторых других моделей машинного обучения, деревья решений легко понять и объяснить, что делает их популярным выбором для приложений, где важны прозрачность и понимание процесса принятия решений.
В 1980-х и 90-х годах деревья решений начали набирать популярность в таких областях, как медицинская диагностика, финансы и маркетинг, поскольку предприятия и организации начали видеть ценность использования данных для принятия более эффективных решений. За это время были разработаны алгоритмы деревьев решений, такие как ID3 и C4.5, которые помогли сделать деревья решений более эффективными и действенными.
В начале 2000-х наблюдался всплеск интереса к деревьям решений и другим моделям машинного обучения, отчасти благодаря достижениям в области вычислительной мощности и росту объемов больших данных. Исследователи и практики начали экспериментировать с новыми вариантами деревьев решений, такими как случайные леса и повышение градиента, которые могли обрабатывать большие и более сложные наборы данных.
Сегодня деревья решений являются основным компонентом многих наборов инструментов машинного обучения и используются в самых разных приложениях. Они особенно хорошо подходят для задач, где данные имеют иерархическую или разветвленную структуру, таких как обработка естественного языка, распознавание изображений и биоинформатика.
Конечно, деревья решений не лишены своих ограничений и проблем. Одной из основных проблем с деревьями решений является их склонность к переобучению данных, особенно когда дерево слишком сложное или когда в данных присутствует шум или неопределенность. Исследователи разработали различные методы решения этой проблемы, такие как обрезка дерева или использование ансамблей деревьев.
Немного математики
По своей сути дерево решений представляет собой иерархическую структуру узлов, где каждый узел представляет собой решение или выбор на основе некоторого критерия. Дерево начинается с корневого узла и разветвляется на разные пути, причем каждая ветвь представляет собой отдельный выбор или результат. В конечном итоге дерево ведет к одному или нескольким листовым узлам, которые представляют окончательные результаты или решения.
Процесс построения дерева решений включает в себя выбор критериев для использования в каждом узле и способа разделения данных на основе этих критериев. Здесь в игру вступает математика.
Один из наиболее распространенных алгоритмов, используемых для построения деревьев решений, называется алгоритмом ID3, который расшифровывается как Iterative Dichotomizer 3. Этот алгоритм использует метрику, называемую приростом информации, чтобы определить, какие критерии использовать в каждом узле.
Прирост информации — это мера снижения неопределенности или энтропии, достигаемая путем разделения данных на основе определенного критерия. Энтропия — это мера беспорядка или случайности в наборе данных, и цель алгоритма ID3 — минимизировать энтропию в каждом узле, выбирая критерий, обеспечивающий наибольшую информационную выгоду.
Для расчета прироста информации алгоритм ID3 использует формулу:
IG(D, A) = H(D) — H(D|A)
Где IG — прирост информации, D — набор данных, A — рассматриваемый атрибут или критерий, H(D) — энтропия набора данных, а H(D|A) — энтропия набора данных после его разделения. по признаку А.
Проще говоря, прирост информации измеряет, насколько снижается энтропия при разделении данных на основе определенного критерия. Алгоритм ID3 выбирает критерий, обеспечивающий максимальный прирост информации в каждом узле, чтобы создать максимально эффективное и действенное дерево решений.
Другие алгоритмы, используемые для построения деревьев решений, такие как C4.5 и CART, используют аналогичные меры примеси или разнообразия, чтобы определить, какие критерии использовать в каждом узле.
После построения дерева решений его можно использовать для классификации новых данных, следуя ветвям дерева на основе значений входных признаков. Листовые узлы представляют окончательные классификации или решения.
Так как же рассчитать прирост информации?
Чтобы рассчитать прирост информации, вам необходимо сначала рассчитать энтропию исходного набора данных, а затем рассчитать энтропию набора данных после его разделения на основе определенного атрибута. Прирост информации представляет собой разницу между этими двумя значениями.
Формула для расчета энтропии:
Где H(D) — энтропия набора данных, p_i — доля выборок в наборе данных, принадлежащих классу i, а log2 — логарифм по основанию 2.
Например, предположим, что у вас есть набор данных с 10 образцами, 6 из которых принадлежат классу A и 4 из которых принадлежат классу B. Энтропию набора данных можно рассчитать как:
H(D) = — [(6/10 * log2(6/10)) + (4/10 * log2(4/10))]
= — [ (0.6 * -0.736) + (0.4 * -1.321) ] = 0.971
Это означает, что энтропия исходного набора данных равна 0,971.
Затем вам нужно рассчитать энтропию набора данных после того, как он был разделен на основе определенного атрибута. Предположим, у вас есть атрибут X, который может принимать два значения, X1 и X2, и вы хотите разделить набор данных на основе этого атрибута. Энтропия полученных подмножеств может быть рассчитана как:
H(D|X) = (|D1|/|D| * H(D1)) + (|D2|/|D| * H(D2))
Где H(D|X) — энтропия набора данных после его разделения на основе атрибута X, D1 — подмножество данных, где X=X1, D2 — подмножество данных, где X=X2, и | Д1| и |D2| являются размерами этих подмножеств.
Например, предположим, что вы разделили исходный набор данных на основе атрибута X и получили два подмножества: D1, который содержит 3 выборки класса A и 1 выборку класса B, и D2, который содержит 3 выборки класса B и 3 выборки. класса A. Энтропия подмножеств может быть рассчитана как:
H(D1) = — [(3/4 * log2(3/4)) + (1/4 * log2(1/4))] = 0,811
H(D2) = — [(3/6 * log2(3/6)) + (3/6 * log2(3/6))] = 1,0
H(D|X) = (4/10 * 0.811) + (6/10 * 1.0) = 0.921
Это означает, что энтропия набора данных после его разделения на основе атрибута X составляет 0,921.
Наконец, вы можете рассчитать прирост информации как разницу между энтропией исходного набора данных и энтропией набора данных после его разделения на основе атрибута X:
IG(D, X) = H(D) — H(D|X) = 0.971–0.921 = 0.050
Это означает, что прирост информации, полученный за счет разделения набора данных на основе атрибута X, составляет 0,050. Затем атрибут с наибольшим информационным приростом может быть выбран в качестве критерия разделения для узла дерева решений.
Попробуй это!
Вот пример того, как использовать scikit-learn, популярную библиотеку машинного обучения на Python, для создания и обучения классификатора дерева решений:
from sklearn.datasets import load_iris
from sklearn.tree import DecisionTreeClassifier
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score
# Load the iris dataset
iris = load_iris()
# Split the dataset into training and testing sets
X_train, X_test, y_train, y_test = train_test_split(iris.data, iris.target, test_size=0.2, random_state=42)
# Create a decision tree classifier
dtc = DecisionTreeClassifier()
# Train the classifier on the training set
dtc.fit(X_train, y_train)
# Use the classifier to make predictions on the testing set
y_pred = dtc.predict(X_test)
# Evaluate the accuracy of the classifier
accuracy = accuracy_score(y_test, y_pred)
print("Accuracy:", accuracy)
В этом примере мы сначала загружаем набор данных радужной оболочки и разделяем его на обучающий набор и тестовый набор с помощью функции train_test_split. Затем мы создаем объект DecisionTreeClassifier и обучаем его на тренировочном наборе с помощью метода fit. Мы используем обученный классификатор, чтобы делать прогнозы на тестовом наборе с помощью метода predict, а затем оцениваем точность прогнозов с помощью функции accuracy_score из модуля metrics scikit-learn.
Это всего лишь простой пример, и в scikit-learn существует множество способов настройки и настройки моделей деревьев решений, таких как установка гиперпараметров, указание максимальной глубины дерева, использование различных критериев разделения и т. д.
Скоро будет опубликовано подробное описание деревьев решений, так что следите за обновлениями!
Если вам понравилось мое объяснение, пожалуйста, похлопайте этой статье 👏 и поделитесь ею со своими друзьями и приятелями по учебе 🫂
