1. Обучение с учителем

• 1.1. Линейные модели
  • 1.1.1. Метод наименьших квадратов (Ordinary Least Squares, OLS) МНК
  • 1.1.2. Ридж регрессия и классификация
  • 1.1.3. Лассо (Lasso)
  • 1.1.4. Мультизадачное Лассо (Multi-task Lasso)
  • 1.1.5. Эластичная сеть (Elastic-net)
  • 1.1.6. Мультизадачная Эластичная сеть
  • 1.1.7. Регрессия наименьшего угла
  • 1.1.8. LARS Лассо
  • 1.1.9. Ортогональное соответствие (Orthogonal Matching Pursuit - OMP)
  • 1.1.10. Байесовская регрессия
  • 1.1.11. Логистическая регрессия
  • 1.1.12. Обобщенные линейные модели (Generalized Linear Models - GLM)
  • 1.1.13. Стохастический градиентный спуск (Stochastic Gradient Descent - SGD)
  • 1.1.14. Персептрон
  • 1.1.15. Пассивно-агрессивные алгоритмы
  • 1.1.16. Регрессия устойчивости: выбросы и ошибки моделирования
  • 1.1.17. Квантильная регрессия (Quantile Regression)
  • 1.1.18. Полиномиальная регрессия: расширение линейных моделей базисными функциями
• 1.2. Линейный Дискриминантный Анализ и Квадратичный Дискриминантный Анализ
  • 1.2.1. Снижение размерности с использованием Линейного Дискриминантного Анализа
  • 1.2.2. Математическая формулировка LDA и QDA классификации
  • 1.2.3. Математическая формулировка снижения размерности LDA
  • 1.2.4. Усадка (Shrinkage) и ковариационная модель
  • 1.2.5. Алгоритмы оценивания
• 1.3. Ридж Регрессия ядра
• 1.4. Метод опорных векторов (Support Vector Machines - SVM)
  • 1.4.1. Классификация
  • 1.4.2. Регрессия
  • 1.4.3. Оценка плотности, обнаружение новизны
  • 1.4.4. Сложность
  • 1.4.5. Советы по практическому использованию
  • 1.4.6. Функциональные ядра
  • 1.4.7. Математическая формулировка
  • 1.4.8. Детали реализации
• 1.5. Стохастический градиентный спуск
  • 1.5.1. Классификация
  • 1.5.2. Регрессия
  • 1.5.3. Онлайновая одноклассовая SVM
  • 1.5.4. Стохастический градиентный спуск для разреженных данных
  • 1.5.5. Сложность
  • 1.5.6. Критерий остановки
  • 1.5.7. Советы по практическому использованию
  • 1.5.8. Математическая формулировка
  • 1.5.9. Детали реализации
• 1.6. Ближайшие соседи (Nearest Neighbors)
  • 1.6.1. Обучение без учителям с помощью метода ближайших соседей
  • 1.6.2. Классификация на основе ближайших соседей
  • 1.6.3. Регрессия на основе ближайших соседей
  • 1.6.4. Алгоритмы ближайших соседей
  • 1.6.5. Классификатор ближайшего центроида
  • 1.6.6. Предварительно расчет с помощью ближайших соседей (Nearest Neighbors Transformer)
  • 1.6.7. Анализ компонентов соседства (Neighborhood Components Analysis)
• 1.7. Гауссовские процессы
  • 1.7.1. Регрессия с использованием гауссовых процессов (Gaussian Process Regression - GPR)
  • 1.7.2. Классификация на основе гауссовского процесса (Gaussian Process Classification - GPC)
  • 1.7.3. Примеры GPC
  • 1.7.4. Ядра для гауссовских процессов
• 1.8. Перекрестная декомпозиция
  • 1.8.1. PLSCanonical
  • 1.8.2. PLSSVD
  • 1.8.3. PLSRegression
  • 1.8.4. Канонический корреляционный анализ (Canonical Correlation Analysis - CCA)
• 1.9. Наивный байесовский классификатор
  • 1.9.1. Гауссов Наивный Байес
  • 1.9.2. Многочленный наивный Байес
  • 1.9.3. Дополнение наивного Байеса
  • 1.9.4. Бернулли Наивный Байес
  • 1.9.5. Категориальный Наивный Байес
  • 1.9.6. Обучение наивной байесовской модели вне ядра
• 1.10. Деревья решений (Decision Trees)
  • 1.10.1. Классификация
  • 1.10.2. Регрессия
  • 1.10.3. Проблемы с несколькими выходами
  • 1.10.4. Сложность
  • 1.10.5. Советы по практическому использованию
  • 1.10.6. Древовидные алгоритмы: ID3, C4.5, C5.0 и CART
  • 1.10.7. Математическая формулировка
  • 1.10.8. Поддержка пропущенных значений
  • 1.10.9. Обрезка с минимальной стоимостью и сложностью (Minimal cost-complexity pruning)
• 1.11. Ансамблевые методы: Градиентный бустинг, случайные леса, бэггинг, метод голосования, стекинг
  • 1.11.1. Градиентный бустинг деревьев решений
  • 1.11.2. Случайные леса (Random Forest) и другие случайные ансамбли деревьев
  • 1.11.3. Бэггинг метамодель (Bagging meta-estimator)
  • 1.11.4. Классификатор голосования
  • 1.11.5. Регрессор голосования
  • 1.11.6. Стекинг (Stacked generalization - Многоуровневое обобщение)
  • 1.11.7. AdaBoost
• 1.12. Многоклассовый и многозадачный алгоритмы
  • 1.12.1. Многоклассовая классификация
  • 1.12.2. Классификаци с многими метками
  • 1.12.3. Многоклассовая классификация с несколькими выходами (многозадачная классификация)
  • 1.12.4. Многозадачная регрессия
• 1.13. Отбор признаков (Feature selection)
  • 1.13.1. Удаление признаков с низкой дисперсией
  • 1.13.2. Выделение одномерных признаков
  • 1.13.3. Рекурсивное исключение признаков
  • 1.13.4. Выбор признаков с помощью SelectFromModel
  • 1.13.5. Последовательный выбор признаков
  • 1.13.6. Выбор признаков как часть конвейера
• 1.14. Полуконтролируемое обучение
  • 1.14.1. Самообучение
  • 1.14.2. Распространение меток
• 1.15. Изотоническая регрессия
• 1.16. Калибровка вероятности
  • 1.16.1. Калибровочные кривые
  • 1.16.2. Калибровка классификатора
  • 1.16.3. Применение
• 1.17. Модели нейронных сетей (контролируемые)
  • 1.17.1. Многослойный перцептрон
  • 1.17.2. Классификация
  • 1.17.3. Регрессия
  • 1.17.4. Регуляризация
  • 1.17.5. Алгоритмы
  • 1.17.6. Сложность
  • 1.17.7. Математическая формулировка
  • 1.17.8. Советы по практическому использованию
  • 1.17.9. Больше контроля с помощью warm_start