ТОП просматриваемых книг сайта:
Оценка качества моделей машинного обучения: выбор, интерпретация и применение метрик. Алексей Михнин
Читать онлайн.Название Оценка качества моделей машинного обучения: выбор, интерпретация и применение метрик
Год выпуска 2023
isbn
Автор произведения Алексей Михнин
Издательство Автор
Рассчитайте F1-score как гармоническое среднее точности и полноты:
F1-score = 2 * (Precision * Recall) / (Precision + Recall)
F1-score = 2 * (0.9 * 0.8) / (0.9 + 0.8) = 0.84 (или 84%)
Таким образом, в данном примере F1-score равен 84%.
Мы получили F1-score равный 84%, что указывает на то, что модель демонстрирует неплохую производительность с учетом обеих метрик (точность и полнота). Это позволяет оценить модель с более сбалансированной точки зрения по сравнению с использованием только одной из метрик.
Пример № 2: В задаче определения, является ли новость фейковой или нет, модель должна быть высоко точной и полной. Если точность модели равна 85%, а полнота – 90%, то F1-score будет равен 87.5%.
давайте рассмотрим пошаговое решение для метрики F1-score (F-мера) на примере 2:
Рассчитайте точность и полноту модели, используя соответствующие формулы:
Precision = TP / (TP + FP) Recall = TP / (TP + FN)
В данном примере, точность = 0.85 (или 85%) и полнота = 0.9 (или 90%).
Рассчитайте F1-score как гармоническое среднее точности и полноты:
F1-score = 2 * (Precision * Recall) / (Precision + Recall)
F1-score = 2 * (0.85 * 0.9) / (0.85 + 0.9) = 0.875 (или 87.5%)
Таким образом, в данном примере F1-score равен 87.5%.
Метрика ROC AUC
Метрика ROC AUC (Receiver Operating Characteristic – Area Under the Curve) – это метрика качества алгоритма классификации, основанная на анализе ROC-кривой. ROC-кривая представляет собой графическое представление взаимосвязи между чувствительностью (True Positive Rate, TPR) и специфичностью (False Positive Rate, FPR) классификатора при различных пороговых значениях.
True Positive Rate (TPR) или Recall (Полнота) определяется как TP / (TP + FN);
False Positive Rate (FPR) определяется как FP / (FP + TN).
ROC AUC является численным значением, равным площади под ROC-кривой. Оно принимает значения в диапазоне от 0 до 1 (или от 0% до 100%). Чем ближе значение ROC AUC к 1 (или 100%), тем лучше модель справляется с задачей классификации. Значение ROC AUC, равное 0.5, означает, что модель работает на уровне случайного предсказания, а значение, меньше 0.5, указывает на то, что модель предсказывает хуже случайного предсказания.
Преимущества использования метрики ROC AUC заключаются в том, что она не зависит от порога классификации, устойчива к несбалансированным классам и может быть использована для сравнения различных моделей классификации.
Однако стоит отметить, что ROC AUC может давать оптимистичные оценки при наличии сильно несбалансированных классов. В таких случаях рекомендуется использовать другие метрики, такие как Precision-Recall AUC, которые учитывают ошибки первого и второго рода.
Конец ознакомительного фрагмента.
Текст предоставлен ООО «ЛитРес».
Прочитайте эту книгу целиком, купив полную легальную версию на ЛитРес.
Безопасно оплатить книгу можно банковской картой Visa, MasterCard, Maestro, со счета мобильного телефона, с платежного терминала, в салоне МТС или Связной, через PayPal, WebMoney, Яндекс.Деньги, QIWI Кошелек, бонусными картами или другим удобным Вам способом.