Содержание

• 1. Обучение с учителем
  • 1.1. Линейные модели
    • 1.1.1. Метод наименьших квадратов (Ordinary Least Squares, OLS) МНК
    • 1.1.2. Ридж регрессия и классификация
    • 1.1.3. Лассо (Lasso)
    • 1.1.4. Мультизадачное Лассо (Multi-task Lasso)
    • 1.1.5. Эластичная сеть (Elastic-net)
    • 1.1.6. Мультизадачная Эластичная сеть
    • 1.1.7. Регрессия наименьшего угла
    • 1.1.8. LARS Лассо
    • 1.1.9. Ортогональное соответствие (Orthogonal Matching Pursuit - OMP)
    • 1.1.10. Байесовская регрессия
    • 1.1.11. Логистическая регрессия
    • 1.1.12. Обобщенные линейные модели (Generalized Linear Models - GLM)
    • 1.1.13. Стохастический градиентный спуск (Stochastic Gradient Descent - SGD)
    • 1.1.14. Персептрон
    • 1.1.15. Пассивно-агрессивные алгоритмы
    • 1.1.16. Регрессия устойчивости: выбросы и ошибки моделирования
    • 1.1.17. Квантильная регрессия (Quantile Regression)
    • 1.1.18. Полиномиальная регрессия: расширение линейных моделей базисными функциями
  • 1.2. Линейный Дискриминантный Анализ и Квадратичный Дискриминантный Анализ
    • 1.2.1. Снижение размерности с использованием Линейного Дискриминантного Анализа
    • 1.2.2. Математическая формулировка LDA и QDA классификации
    • 1.2.3. Математическая формулировка снижения размерности LDA
    • 1.2.4. Усадка (Shrinkage) и ковариационная модель
    • 1.2.5. Алгоритмы оценивания
  • 1.3. Ридж Регрессия ядра
  • 1.4. Метод опорных векторов (Support Vector Machines - SVM)
    • 1.4.1. Классификация
    • 1.4.2. Регрессия
    • 1.4.3. Оценка плотности, обнаружение новизны
    • 1.4.4. Сложность
    • 1.4.5. Советы по практическому использованию
    • 1.4.6. Функциональные ядра
    • 1.4.7. Математическая формулировка
    • 1.4.8. Детали реализации
  • 1.5. Стохастический градиентный спуск
    • 1.5.1. Классификация
    • 1.5.2. Регрессия
    • 1.5.3. Онлайновая одноклассовая SVM
    • 1.5.4. Стохастический градиентный спуск для разреженных данных
    • 1.5.5. Сложность
    • 1.5.6. Критерий остановки
    • 1.5.7. Советы по практическому использованию
    • 1.5.8. Математическая формулировка
    • 1.5.9. Детали реализации
  • 1.6. Ближайшие соседи (Nearest Neighbors)
    • 1.6.1. Обучение без учителям с помощью метода ближайших соседей
    • 1.6.2. Классификация на основе ближайших соседей
    • 1.6.3. Регрессия на основе ближайших соседей
    • 1.6.4. Алгоритмы ближайших соседей
    • 1.6.5. Классификатор ближайшего центроида
    • 1.6.6. Предварительно расчет с помощью ближайших соседей (Nearest Neighbors Transformer)
    • 1.6.7. Анализ компонентов соседства (Neighborhood Components Analysis)
  • 1.7. Гауссовские процессы
    • 1.7.1. Регрессия с использованием гауссовых процессов (Gaussian Process Regression - GPR)
    • 1.7.2. Классификация на основе гауссовского процесса (Gaussian Process Classification - GPC)
    • 1.7.3. Примеры GPC
    • 1.7.4. Ядра для гауссовских процессов
  • 1.8. Перекрестная декомпозиция
    • 1.8.1. PLSCanonical
    • 1.8.2. PLSSVD
    • 1.8.3. PLSRegression
    • 1.8.4. Канонический корреляционный анализ (Canonical Correlation Analysis - CCA)
  • 1.9. Наивный байесовский классификатор
    • 1.9.1. Гауссов Наивный Байес
    • 1.9.2. Многочленный наивный Байес
    • 1.9.3. Дополнение наивного Байеса
    • 1.9.4. Бернулли Наивный Байес
    • 1.9.5. Категориальный Наивный Байес
    • 1.9.6. Обучение наивной байесовской модели вне ядра
  • 1.10. Деревья решений (Decision Trees)
    • 1.10.1. Классификация
    • 1.10.2. Регрессия
    • 1.10.3. Проблемы с несколькими выходами
    • 1.10.4. Сложность
    • 1.10.5. Советы по практическому использованию
    • 1.10.6. Древовидные алгоритмы: ID3, C4.5, C5.0 и CART
    • 1.10.7. Математическая формулировка
    • 1.10.8. Поддержка пропущенных значений
    • 1.10.9. Обрезка с минимальной стоимостью и сложностью (Minimal cost-complexity pruning)
  • 1.11. Ансамблевые методы: Градиентный бустинг, случайные леса, бэггинг, метод голосования, стекинг
    • 1.11.1. Градиентный бустинг деревьев решений
    • 1.11.2. Случайные леса (Random Forest) и другие случайные ансамбли деревьев
    • 1.11.3. Бэггинг метамодель (Bagging meta-estimator)
    • 1.11.4. Классификатор голосования
    • 1.11.5. Регрессор голосования
    • 1.11.6. Стекинг (Stacked generalization - Многоуровневое обобщение)
    • 1.11.7. AdaBoost
  • 1.12. Многоклассовый и многозадачный алгоритмы
    • 1.12.1. Многоклассовая классификация
    • 1.12.2. Классификаци с многими метками
    • 1.12.3. Многоклассовая классификация с несколькими выходами (многозадачная классификация)
    • 1.12.4. Многозадачная регрессия
  • 1.13. Отбор признаков (Feature selection)
    • 1.13.1. Удаление признаков с низкой дисперсией
    • 1.13.2. Выделение одномерных признаков
    • 1.13.3. Рекурсивное исключение признаков
    • 1.13.4. Выбор признаков с помощью SelectFromModel
    • 1.13.5. Последовательный выбор признаков
    • 1.13.6. Выбор признаков как часть конвейера
  • 1.14. Полуконтролируемое обучение
    • 1.14.1. Самообучение
    • 1.14.2. Распространение меток
  • 1.15. Изотоническая регрессия
  • 1.16. Калибровка вероятности
    • 1.16.1. Калибровочные кривые
    • 1.16.2. Калибровка классификатора
    • 1.16.3. Применение
  • 1.17. Модели нейронных сетей (контролируемые)
    • 1.17.1. Многослойный перцептрон
    • 1.17.2. Классификация
    • 1.17.3. Регрессия
    • 1.17.4. Регуляризация
    • 1.17.5. Алгоритмы
    • 1.17.6. Сложность
    • 1.17.7. Математическая формулировка
    • 1.17.8. Советы по практическому использованию
    • 1.17.9. Больше контроля с помощью warm_start
• 2. Обучение без учителя
  • 2.1. Модели гауссовских смесей (Gaussian mixture models)
    • 2.1.1. Гауссовская смесь (Gaussian Mixture)
    • 2.1.2. Вариационная байесовская гауссовская смесь
  • 2.2. Manifold learning
    • 2.2.1. Введение
    • 2.2.2. Isomap
    • 2.2.3. Локально-линейные ембединги
    • 2.2.4. Модифицированное Локально-линейные ембединги
    • 2.2.5. Собственное отображение Гессиана
    • 2.2.6. Спектральные ембединги
    • 2.2.7. Локальное выравнивание касательного пространства (Local Tangent Space Alignment)
    • 2.2.8. Многомерное масштабирование (Multi-dimensional Scaling - MDS)
    • 2.2.9. Стохастическое вложение соседей с t-распределением (t-distributed Stochastic Neighbor Embedding - t-SNE)
    • 2.2.10. Советы по практическому использованию
  • 2.3. Кластеризация
    • 2.3.1. Методы кластеризации (Aлгоритмы кластеризации)
    • 2.3.2. K-means (K-средних)
    • 2.3.3. Affinity propagation (AP, метод распространения близости)
    • 2.3.4. Средний сдвиг (Mean Shift)
    • 2.3.5. Спектральная кластеризация
    • 2.3.6. Иерархическая кластеризация
    • 2.3.7. DBSCAN
    • 2.3.8. HDBSCAN
    • 2.3.9. OPTICS
    • 2.3.10. BIRCH
    • 2.3.11. Оценка производительности кластеризации
  • 2.4. Бинарная кластеризация
    • 2.4.1. Spectral Co-Clustering
    • 2.4.2. Спектральная бикластеризация
    • 2.4.3. Оценка бикластеризации
  • 2.5. Декомпозиция сигналов на компоненты (Матричная факторизация)
    • 2.5.1. Анализ главных компонент (Principal component analysis - PCA)
    • 2.5.2. Ядерный анализ главных компонент (kPCA)
    • 2.5.3. Усеченное разложение сингулярных значений и латентный семантический анализ (Latent Semantic Analysis - LSA)
    • 2.5.4. Обучение на основе словоря
    • 2.5.5. Факторный анализ
    • 2.5.6. Независимый компонентный анализ (Independent component analysis - ICA)
    • 2.5.7. Факторизация неотрицательных матриц (Non-negative matrix factorization - NMF или NNMF)
    • 2.5.8. Латентное размещение Дирихле (Latent Dirichlet Allocation - LDA)
  • 2.6. Оценка ковариации
    • 2.6.1. Эмпирическая ковариация
    • 2.6.2. Сокращенная ковариация (Shrunk Covariance)
    • 2.6.3. Разреженная обратная ковариация
    • 2.6.4. Надежная оценка ковариации
  • 2.7. Обнаружение новизны и выбросов
    • 2.7.1. Обзор методов обнаружения выбросов
    • 2.7.2. Обнаружение новизны
    • 2.7.3. Обнаружение выбросов
    • 2.7.4. Обнаружение новизны с локальным фактором выброса
  • 2.8. Оценка плотности
    • 2.8.1. Оценка плотности: гистограммы
    • 2.8.2. Оценка плотности ядра
  • 2.9. Модели нейронных сетей (без контроля)
    • 2.9.1. Ограниченные машины Больцмана
• 3. Модели отбора признаков и оценки
  • 3.1. Кросс-валидация (Cross-validation или перекрестная проверка): оценка эффективности оценок
    • 3.1.1. Вычисление метрик с кросс-валидацией
    • 3.1.2. Итераторы кросс-валидации
    • 3.1.3. Замечание о перемешивание
    • 3.1.4. Кросс-валидация и выбор модели
    • 3.1.5. Результат теста перестановки
  • 3.2. Настройка гиперпараметров модели
    • 3.2.1. Исчерпывающий поиск по сетке (Grid Search)
    • 3.2.2. Рандомизированная оптимизация параметров
    • 3.2.3. Поиск оптимальных параметров с помощью последовательного перебора
    • 3.2.4. Советы по поиску параметров
    • 3.2.5. Альтернативы грубому поиску параметров
  • 3.3. Метрики и оценка: количественная оценка качества прогнозов
    • 3.3.1. Параметр scoring: определение правил оценки модели
    • 3.3.2. Метрики классификации
    • 3.3.3. Метрики ранжирования по нескольким критериям
    • 3.3.4. Метрики для задач регрессии
    • 3.3.5. Метрики кластеризации
    • 3.3.6. Фиктивные модели (Dummy estimators)
  • 3.4. Кривые валидации: построение оценок для оценки моделей
    • 3.4.1. Кривая проверки
    • 3.4.2. Кривая обучения
• 4. Инспектирование
  • 4.1. Графики частичной зависимости и индивидуального условного ожидания
    • 4.1.1. Графики частичной зависимости (Partial dependence plots - PDP)
    • 4.1.2. График индивидуального условного ожидания (Individual conditional expectation - ICE)
    • 4.1.3. Математическое определение
    • 4.1.4. Методы вычислений
  • 4.2. Вычисление важности признаков с помощью перестановки
    • 4.2.1. Краткое описание алгоритма важности признаков при перестановки
    • 4.2.2. Связь с важностью примесей в деревьях
    • 4.2.3. Вводящие в заблуждение значения сильно коррелирующих признаков
• 5. Визуализация
  • 5.1. Доступные утилиты построения графиков
    • 5.1.1. Объекты отображения
• 6. Преобразования наборов данных
  • 6.1. Конвейеры и составные моделеи
    • 6.1.1. Конвейер: цепочка оценок
    • 6.1.2. Преобразование цели в регрессии
    • 6.1.3. FeatureUnion: составные пространства признаков
    • 6.1.4. ColumnTransformer для разнородных данных
    • 6.1.5. Визуализация композитных оценок
  • 6.2. Извлечение признаков
    • 6.2.1. Загрузка признаков из словаря
    • 6.2.2. Хеширование признаков
    • 6.2.3. Извлечение текстовых признаков
    • 6.2.4. Извлечение признаков изображения
  • 6.3. Предварительная обработка данных
    • 6.3.1. Стандартизация, или удаление среднего и масштабирование дисперсии
    • 6.3.2. Нелинейное преобразование
    • 6.3.3. Нормализация
    • 6.3.4. Кодирование категориальных признаков
    • 6.3.5. Дискретизация
    • 6.3.6. Восстановление пропущенных значений
    • 6.3.7. Генерация полиномиальных признаков
    • 6.3.8. Кастомные Трансформаторы
  • 6.4. Восстановление пропущенных значений
    • 6.4.1. Одномерное и многомерное восстановление
    • 6.4.2. Одномерное восстановление признаков
    • 6.4.3. Многомерное восстановление признаков
    • 6.4.4. Восстановление ближайших соседей
    • 6.4.5. Поддержание постоянного количества признаков
    • 6.4.6. Маркировка восстановленных значений
    • 6.4.7. Модели, обрабатывающие значения NaN
  • 6.5. Неконтролируемое снижение размерности
    • 6.5.1. PCA: анализ главных компонентов
    • 6.5.2. Случайные проекции
    • 6.5.3. Агломерация признаков
  • 6.6. Случайная проекция
    • 6.6.1. Лемма Джонсона-Линденштрауса
    • 6.6.2. Гауссова случайная проекция
    • 6.6.3. Разреженная случайная проекция
    • 6.6.4. Обратное преобразование
  • 6.7. Аппроксимация ядра (Kernel Approximation)
    • 6.7.1. Метод Nystroem для аппроксимации ядра
    • 6.7.2. Ядро радиальной базисной функции
    • 6.7.3. Аддитивное ядро хи-квадрат
    • 6.7.4. Перекошенное хи-квадратное ядро
    • 6.7.5. Аппроксимация полиномиального ядра через тензорный эскиз (Tensor Sketch)
    • 6.7.6. Математические детали
  • 6.8. Парные метрики, Cходство и Ядра
    • 6.8.1. Косинусное сходство (Cosine similarity)
    • 6.8.2. Линейное ядро
    • 6.8.3. Полиномиальное ядро
    • 6.8.4. Сигмовидное ядро
    • 6.8.5. RBF ядро
    • 6.8.6. Ядро Лапласа
    • 6.8.7. Ядро хи-квадрат
  • 6.9. Преобразование цели прогнозирования (y)
    • 6.9.1. Бинаризация меток
    • 6.9.2. Кодировка метки (Label encoding)
• 7. Утилиты загрузки наборов данных
  • 7.1. Игрушечные наборы данных
    • 7.1.1. Iris plants dataset
    • 7.1.2. Diabetes dataset
    • 7.1.3. Optical recognition of handwritten digits dataset
    • 7.1.4. Linnerrud dataset
    • 7.1.5. Wine recognition dataset
    • 7.1.6. Breast cancer wisconsin (diagnostic) dataset
  • 7.2. Реальные наборы данных
    • 7.2.1. The Olivetti faces dataset
    • 7.2.2. The 20 newsgroups text dataset
    • 7.2.3. The Labeled Faces in the Wild face recognition dataset
    • 7.2.4. Forest covertypes
    • 7.2.5. RCV1 dataset
    • 7.2.6. Kddcup 99 dataset
    • 7.2.7. California Housing dataset
    • 7.2.8. Species distribution dataset
  • 7.3. Сгенерированные наборы данных
    • 7.3.1. Генераторы для классификации и кластеризации
    • 7.3.2. Генераторы для регрессии
    • 7.3.3. Генераторы для многомерного обучения
    • 7.3.4. Генераторы для декомпозиции
  • 7.4. Загрузка других наборов данных
    • 7.4.1. Образцы изображений
    • 7.4.2. Наборы данных в формате svmlight / libsvm
    • 7.4.3. Загрузка наборов данных из репозитория openml.org
    • 7.4.4. Загрузка из внешних наборов данных
• 8. Вычисления с помощью scikit-learn
  • 8.1. Стратегии вычислительного масштабирования: большие данные
    • 8.1.1. Масштабирование с помощью внеядерного обучения
  • 8.2. Вычислительная производительность
    • 8.2.1. Латентность прогнозирования
    • 8.2.2. Пропускная способность предсказания
    • 8.2.3. Советы и трюки
  • 8.3. Параллелизм, управление ресурсами и конфигурация
    • 8.3.1. Параллелизм
    • 8.3.2. Конфигурационные переключатели
• 9. Сохранение модели
  • 9.1. Сериализация для Python
    • 9.1.1. Ограничения безопасности и удобства сопровождения
    • 9.1.2. Более безопасный формат: skops
  • 9.2. Совместимые форматы
• 10. Общие подводные камни и рекомендуемые практики
  • 10.1. Непоследовательная предварительная обработка
  • 10.2. Утечка данных
    • 10.2.1. Как избежать утечки данных
    • 10.2.2. Утечка данных во время предварительной обработки
  • 10.3. Управление случайностью
    • 10.3.1. Использование экземпляров None или RandomState, а также повторные вызовы fit и split
    • 10.3.2. Общие подводные камни и тонкости
    • 10.3.3. Общие рекомендации
• 11. Диспетчеризация
  • 11.1. Поддержка API массивов (экспериментальная)
    • 11.1.1. Пример использования
    • 11.1.2. Поддержка входов, совместимых с Array API
    • 11.1.3. Общие проверки модели