Поиск по атласу

Ищите по названию темы на английском или русском, по тексту описания — а заодно по тайм-кодам видеолекций: запись откроется с нужной секунды.

Все темы атласа: 437

Linear Algebraактуально

Линейная алгебра · Основы

Векторы и матрицы — способ описать данные и преобразования над ними. Обучение модели почти всегда сводится к последовательности матричных операций.

Calculusактуально

Математический анализ · Основы

Производные показывают, как изменится ошибка при малом изменении параметра. Именно это делает возможным градиентное обучение.

Probabilityактуально

Теория вероятностей · Основы

Язык неопределённости: распределения, условные вероятности и теорема Байеса описывают, как данные порождаются и как обновлять убеждения.

Statisticsактуально

Статистика · Основы

Как от выборки перейти к выводам о генеральной совокупности: оценки, доверительные интервалы и проверка гипотез.

Information Theoryактуально

Теория информации · Основы

Измеряет количество информации и различие между распределениями. Отсюда родом энтропия, кросс-энтропия и KL-дивергенция.

Optimizationактуально

Оптимизация · Основы

Поиск параметров, минимизирующих функцию потерь. Свойства задачи — выпуклость, гладкость, обусловленность — определяют, насколько это просто.

Numerical Methodsактуально

Численные методы · Основы

Компьютер считает приближённо. Понимание точности float, устойчивости и обусловленности спасает от NaN и «необъяснимых» расхождений.

Data preprocessingактуально

Предобработка данных · Данные

Приведение сырых данных к виду, пригодному для обучения: типы, форматы, дубликаты, согласованность единиц измерения.

Missing valuesактуально

Пропущенные значения · Данные

Пропуски бывают случайными и неслучайными — от механизма зависит, можно ли их просто заполнить.

Outliersактуально

Выбросы · Данные

Наблюдения, резко отличающиеся от остальных. Они бывают ошибками измерения, а бывают самым ценным сигналом.

Feature engineeringактуально

Конструирование признаков · Данные

Создание признаков, в которых закономерность становится линейно отделимой или просто более заметной для модели.

Encodingактуально

Кодирование категорий · Данные

Перевод категориальных признаков в числа: one-hot, ordinal, target encoding, хеширование, эмбеддинги.

Normalization & Standardizationактуально

Нормализация и стандартизация · Данные

Приведение признаков к сопоставимым масштабам, без которого расстояния, градиенты и регуляризация работают некорректно.

Feature selectionактуально

Отбор признаков · Данные

Убираем шумные и избыточные признаки, чтобы снизить переобучение, ускорить инференс и упростить интерпретацию.

Dimensionality reductionактуально

Снижение размерности · Данные

Проекция данных в пространство меньшей размерности с сохранением структуры — против проклятия размерности.

Data leakageактуально

Утечка данных · Данные

Ситуация, когда в обучении присутствует информация, недоступная в момент реального предсказания. Главная причина «слишком хороших» метрик.

Train / Validation / Test splitактуально

Разбиение выборки · Данные

Train учит, validation настраивает гиперпараметры, test даёт единственную честную оценку — и используется один раз.

Imbalanced Dataактуально

Дисбаланс классов · Данные

Когда положительных объектов 1% или меньше: как обучать, чем мерить и что делать с порогом.

Data Labelingактуально

Разметка данных · Данные

Организация разметки: инструкция, согласие аннотаторов и контроль качества. Потолок качества модели задаётся именно здесь.

Synthetic Dataновинка

Синтетические данные · Данные

Генерация обучающих данных: аугментации, симуляторы и генеративные модели. Способ обойти дефицит разметки и ограничения приватности.

Data Visualizationактуально

Визуализация данных · Данные

Графики как инструмент разведки: увидеть распределения, связи и аномалии до того, как обучена первая модель.

Linear Regressionактуально

Линейная регрессия · Классическое машинное обучение

Предсказывает число как взвешенную сумму признаков. Самый интерпретируемый бейзлайн и основа для более сложных моделей.

Logistic Regressionактуально

Логистическая регрессия · Классическое машинное обучение

Линейная модель классификации: сигмоида переводит линейную комбинацию признаков в вероятность класса.

k-NNклассика

Метод k ближайших соседей · Классическое машинное обучение

Ленивый алгоритм: предсказание — это голосование k ближайших объектов обучающей выборки.

Naive Bayesклассика

Наивный байесовский классификатор · Классическое машинное обучение

Применяет теорему Байеса при «наивном» предположении о независимости признаков — и работает лучше, чем должно.

Decision Treesактуально

Решающие деревья · Классическое машинное обучение

Последовательность вопросов «признак > порог», разбивающая пространство на прямоугольные области.

Random Forestактуально

Случайный лес · Классическое машинное обучение

Бэггинг деревьев со случайными подвыборками объектов и признаков: усреднение резко снижает дисперсию.

Gradient Boostingактуально

Градиентный бустинг · Классическое машинное обучение

Последовательное построение деревьев, каждое из которых исправляет ошибки предыдущего ансамбля.

XGBoostактуально

XGBoost · Классическое машинное обучение

Реализация бустинга с регуляризацией в функции потерь, вторым порядком оптимизации и продуманной работой с разреженностью.

LightGBMактуально

LightGBM · Классическое машинное обучение

Быстрый бустинг от Microsoft: гистограммное разбиение и рост дерева по листьям вместо по уровням.

CatBoostактуально

CatBoost · Классическое машинное обучение

Бустинг от Яндекса с упорядоченным кодированием категорий и упорядоченным бустингом против смещения.

SVMклассика

Метод опорных векторов · Классическое машинное обучение

Ищет гиперплоскость с максимальным зазором между классами; ядровой трюк добавляет нелинейность без явного перехода в новое пространство.

k-Meansактуально

k-средних · Классическое машинное обучение

Разбивает объекты на k кластеров, минимизируя суммарное расстояние до центроидов.

DBSCANактуально

DBSCAN · Классическое машинное обучение

Плотностная кластеризация: кластеры — это связные области высокой плотности, остальное объявляется шумом.

GMMактуально

Смесь гауссиан · Классическое машинное обучение

Вероятностная модель: данные порождаются смесью нормальных распределений, параметры оцениваются EM-алгоритмом.

PCAактуально

Метод главных компонент · Классическое машинное обучение

Ортогональная проекция на направления максимальной дисперсии — линейное сжатие с минимальной потерей информации.

Stacking and Blendingактуально

Стекинг и блендинг · Классическое машинное обучение

Ансамбль из разнородных моделей, поверх которых обучается мета-модель. Стандартный приём соревнований и способ выжать последние проценты.

Isolation Forestактуально

Isolation Forest · Классическое машинное обучение

Обнаружение аномалий случайными разбиениями: аномальный объект отделяется от остальных за меньшее число разрезов.

Generalized Additive Modelsактуально

Обобщённые аддитивные модели · Классическое машинное обучение

Сумма гладких функций от отдельных признаков: нелинейность есть, а интерпретируемость линейной модели сохраняется.

Perceptronклассика

Перцептрон · Глубокое обучение

Простейший нейрон: взвешенная сумма входов и пороговая функция. Исторический старт всей области.

MLPактуально

Многослойный перцептрон · Глубокое обучение

Несколько полносвязных слоёв с нелинейностями — универсальный аппроксиматор функций.

Backpropagationактуально

Обратное распространение ошибки · Глубокое обучение

Эффективное вычисление градиентов по всем параметрам сети за один обратный проход с помощью правила цепочки.

Activation functionsактуально

Функции активации · Глубокое обучение

Нелинейности между слоями, без которых сеть не сложнее линейной модели.

Loss functionsактуально

Функции потерь · Глубокое обучение

Формализуют цель обучения. Выбор потерь важнее выбора архитектуры чаще, чем кажется.

Optimizersактуально

Оптимизаторы · Глубокое обучение

Правила обновления весов по градиенту: от чистого SGD до адаптивных методов.

CNNактуально

Свёрточные сети · Глубокое обучение

Разделяемые фильтры скользят по изображению, выявляя локальные паттерны с трансляционной инвариантностью.

RNNклассика

Рекуррентные сети · Глубокое обучение

Обрабатывают последовательность шаг за шагом, перенося скрытое состояние между позициями.

LSTMклассика

LSTM · Глубокое обучение

Рекуррентная ячейка с состоянием и тремя вентилями, решающая проблему долгосрочной памяти.

GRUклассика

GRU · Глубокое обучение

Упрощённая LSTM: два вентиля вместо трёх и отсутствие отдельного cell state.

Attentionактуально

Механизм внимания · Глубокое обучение

Каждая позиция смотрит на все остальные и взвешивает их по релевантности — прямой доступ к контексту без рекуррентности.

Transformersактуально

Трансформеры · Глубокое обучение

Архитектура целиком на внимании: параллельная обработка последовательности вместо пошаговой.

Autoencodersактуально

Автоэнкодеры · Глубокое обучение

Сеть учится восстанавливать вход через узкое место, получая сжатое представление.

VAEактуально

Вариационный автоэнкодер · Глубокое обучение

Вероятностный автоэнкодер: кодирует объект в распределение и учится генерировать из латентного пространства.

GANклассика

Генеративно-состязательные сети · Глубокое обучение

Генератор и дискриминатор обучаются в игре с нулевой суммой, повышая реалистичность выборок.

Diffusion Modelsновинка

Диффузионные модели · Глубокое обучение

Модель учится обращать процесс постепенного зашумления, превращая шум в изображение за серию шагов.

Normalization Layersактуально

Слои нормализации · Глубокое обучение

BatchNorm, LayerNorm, RMSNorm: стабилизация распределения активаций, без которой глубокие сети почти не обучаются.

Transfer Learningактуально

Перенос обучения · Глубокое обучение

Использование модели, обученной на большой выборке, для задачи с малым числом примеров. Главный практический приём современного глубокого обучения.

Mixture of Expertsновинка

Смесь экспертов · Глубокое обучение

Архитектура, в которой на каждый токен активируется лишь часть параметров: большая ёмкость при умеренной стоимости вычислений.

Residual Connectionsактуально

Остаточные связи · Глубокое обучение

Слой учит поправку к своему входу, а не всё преобразование: короткий путь для градиента через десятки слоёв.

Pruningактуально

Прунинг · Глубокое обучение

Удаление наименее значимых весов, каналов или голов внимания из уже обученной сети ради скорости инференса.

Tokenizationактуально

Токенизация · Обработка естественного языка

Разбиение текста на единицы, с которыми работает модель: слова, подслова или байты.

Bag of Wordsклассика

Мешок слов · Обработка естественного языка

Текст представляется вектором частот слов, порядок полностью игнорируется.

TF-IDFактуально

TF-IDF · Обработка естественного языка

Взвешивает частоту слова в документе на его редкость в корпусе, подавляя общеупотребительные слова.

Word2Vecклассика

Word2Vec · Обработка естественного языка

Обучает плотные векторы слов по контексту: близкие по смыслу слова оказываются рядом в пространстве.

GloVeклассика

GloVe · Обработка естественного языка

Строит эмбеддинги из глобальной матрицы совстречаемости слов, а не только из локальных окон.

FastTextклассика

FastText · Обработка естественного языка

Представляет слово суммой векторов его символьных n-грамм, что даёт эмбеддинги даже для незнакомых слов.

Embeddingsактуально

Эмбеддинги · Обработка естественного языка

Плотные векторные представления объектов, где геометрическая близость означает смысловое сходство.

RNN/LSTM for NLPклассика

RNN/LSTM в NLP · Обработка естественного языка

Первое поколение нейросетевых моделей языка: последовательная обработка токенов со скрытым состоянием.

Attentionактуально

Внимание в NLP · Обработка естественного языка

Изначально придумано, чтобы декодер перевода мог смотреть на нужные слова исходного предложения.

Transformersактуально

Трансформеры в NLP · Обработка естественного языка

Основа всех современных языковых моделей: encoder, decoder или их комбинация.

BERTактуально

BERT · Обработка естественного языка

Двунаправленный энкодер, предобученный на восстановлении замаскированных токенов.

GPTактуально

GPT · Обработка естественного языка

Авторегрессионный декодер: предсказывает следующий токен, что оказалось достаточно универсальной задачей.

Sequence-to-Sequenceклассика

Seq2Seq · Обработка естественного языка

Схема «энкодер сжимает вход — декодер порождает выход» для перевода, суммаризации и диалога.

Text classificationактуально

Классификация текстов · Обработка естественного языка

Отнесение документа к одной или нескольким категориям: от спам-фильтра до маршрутизации тикетов.

NERактуально

Извлечение именованных сущностей · Обработка естественного языка

Разметка последовательности: находим в тексте имена, организации, даты, суммы.

Sentiment Analysisактуально

Анализ тональности · Обработка естественного языка

Определение эмоциональной окраски текста — от бинарной оценки до аспектной тональности.

Semantic Searchновинка

Семантический поиск · Обработка естественного языка

Поиск по смыслу, а не по совпадению слов: запрос и документы сравниваются в пространстве эмбеддингов.

RAGновинка

Retrieval-Augmented Generation · Обработка естественного языка

Языковая модель отвечает, опираясь на найденные во внешней базе фрагменты, а не только на память весов.

Topic Modelingклассика

Тематическое моделирование · Обработка естественного языка

Автоматическое выделение тем в коллекции документов: от классического LDA до кластеризации эмбеддингов.

Summarizationактуально

Суммаризация · Обработка естественного языка

Сжатие текста с сохранением смысла: извлекающая (выбор предложений) и абстрактивная (генерация).

Text Normalizationактуально

Нормализация текста · Обработка естественного языка

Приведение словоформ и написаний к единому виду: меньше вариативности — меньше словарь и лучше обобщение.

Image preprocessingактуально

Предобработка изображений · Компьютерное зрение

Приведение картинок к единому формату и аугментации, расширяющие обучающую выборку.

Feature extractionклассика

Извлечение признаков · Компьютерное зрение

От ручных дескрипторов (SIFT, HOG) до эмбеддингов предобученных сетей.

CNNактуально

Свёрточные сети в CV · Компьютерное зрение

Базовая архитектура зрения: иерархия фильтров от краёв до семантических частей объектов.

Object Detectionактуально

Детекция объектов · Компьютерное зрение

Поиск объектов на изображении с указанием класса и ограничивающей рамки.

Image Classificationактуально

Классификация изображений · Компьютерное зрение

Отнесение всего изображения к одному или нескольким классам — базовая задача зрения.

Segmentationактуально

Сегментация · Компьютерное зрение

Классификация на уровне пикселей: семантическая, инстанс- и паноптическая.

OCRактуально

Оптическое распознавание текста · Компьютерное зрение

Извлечение текста из изображений и сканов: детекция областей текста и его распознавание.

Vision Transformersактуально

Vision Transformers · Компьютерное зрение

Изображение режется на патчи, которые обрабатываются как последовательность токенов.

Multimodal Modelsновинка

Мультимодальные модели · Компьютерное зрение

Единое пространство для изображений и текста — основа поиска по описанию и визуальных ассистентов.

Object Trackingактуально

Трекинг объектов · Компьютерное зрение

Сопоставление детекций между кадрами: кто из объектов на новом кадре — тот же самый, что и раньше.

Pose and Keypointsактуально

Ключевые точки и поза · Компьютерное зрение

Определение положения суставов человека или характерных точек объекта — база для спортивной аналитики, эргономики и контроля процессов.

Pinhole Camera Modelактуально

Модель камеры-обскуры · Трёхмерное зрение

Простейшая модель съёмки: луч из точки сцены проходит через центр проекции и оставляет след на матрице. На ней держится вся геометрия многовидового зрения.

Homogeneous Coordinatesактуально

Однородные координаты · Трёхмерное зрение

Приём, который делает проекцию линейной: добавляем к вектору лишнюю единицу и получаем право записывать сдвиг, поворот и деление на глубину одной матрицей.

Camera Calibrationактуально

Параметры камеры и калибровка · Трёхмерное зрение

Внутренние параметры описывают саму камеру, внешние — где она стоит и куда смотрит. Без них пиксель невозможно превратить в луч, а луч — в точку сцены.

Rotation Representationsактуально

Представления поворота · Трёхмерное зрение

Один и тот же поворот записывают матрицей, углами Эйлера, осью с углом или кватернионом. Выбор решает, будет ли оптимизация устойчивой и не потеряется ли степень свободы.

Homography and DLTактуально

Гомография и DLT · Трёхмерное зрение

Проективное преобразование плоскости: восемь степеней свободы, которые связывают два вида одной плоской поверхности. Считается линейным методом по четырём соответствиям.

Local Features and Matchingактуально

Локальные признаки и соответствия · Трёхмерное зрение

Чтобы связать два снимка, нужно найти на них одни и те же точки. Детектор находит выделяющиеся места, дескриптор описывает окрестность так, чтобы описание пережило поворот и смену масштаба.

Epipolar Geometryактуально

Эпиполярная геометрия · Трёхмерное зрение

Точка на одном снимке задаёт на другом не точку, а прямую. Это сужает поиск соответствий с плоскости до линии и позволяет отбраковать ложные пары.

Fundamental and Essential Matrixактуально

Фундаментальная и существенная матрицы · Трёхмерное зрение

Фундаментальная матрица кодирует эпиполярную геометрию в пикселях, существенная — в калиброванных лучах. Из второй извлекается взаимное положение камер.

Triangulationактуально

Триангуляция · Трёхмерное зрение

Зная положение двух камер и пару соответствующих пикселей, восстанавливаем точку сцены: два луча в пространстве должны пересечься.

Structure from Motionактуально

Восстановление структуры по движению · Трёхмерное зрение

По набору неупорядоченных снимков одновременно находим положения камер и трёхмерные точки сцены. Классическая основа фотограмметрии и вход почти любого 3D-пайплайна.

Bundle Adjustmentактуально

Уточнение связки · Трёхмерное зрение

Совместная нелинейная оптимизация всех камер и всех точек по одному критерию — суммарной ошибке репроекции. Шаг, который превращает грубую реконструкцию в точную.

Stereo Depthактуально

Стереозрение и диспаритет · Трёхмерное зрение

Две камеры на известном расстоянии дают глубину напрямую: чем сильнее сдвинулась точка между снимками, тем она ближе.

Monocular Depth Estimationновинка

Монокулярная оценка глубины · Трёхмерное зрение

Глубина по одному снимку. Геометрически задача неразрешима — модель опирается на выученные признаки: перекрытия, размеры знакомых предметов, перспективу, размытие.

Point Cloudsактуально

Облака точек · Трёхмерное зрение

Набор трёхмерных точек без порядка и без сетки — то, что отдают лидар и SfM. Работать с ним свёрточной сетью нельзя: у данных нет регулярной решётки.

Renderingактуально

Рендеринг · Трёхмерное зрение

Обратная зрению задача: по описанию сцены получить изображение. Понимание рендеринга нужно, чтобы обучать модели через сравнение отрисованного с настоящим.

Neural Radiance Fieldsновинка

Нейронные поля яркости · Трёхмерное зрение

Сцена задаётся не сеткой и не точками, а нейросетью: по координате и направлению взгляда она возвращает цвет и плотность. Картинка получается объёмным рендерингом вдоль луча.

3D Gaussian Splattingновинка

Гауссовы сплаты · Трёхмерное зрение

Сцена — это миллионы трёхмерных гауссиан с цветом и прозрачностью. Их проекция на экран считается напрямую, поэтому рендеринг идёт в реальном времени.

Parametric Body Modelsактуально

Параметрические модели тела · Трёхмерное зрение

Тело человека описывается десятком чисел формы и позой суставов. Модель превращает их в трёхмерную сетку — это резко сужает пространство поиска при восстановлении по фото.

Stationarityактуально

Стационарность · Временные ряды

Постоянство статистических свойств ряда во времени — предпосылка большинства классических моделей.

Autocorrelationактуально

Автокорреляция · Временные ряды

Связь ряда с собственными прошлыми значениями — главный источник признаков и диагностики.

AR / MA / ARIMAклассика

AR / MA / ARIMA · Временные ряды

Классическое семейство: авторегрессия, скользящее среднее ошибок и их комбинация с дифференцированием.

SARIMAклассика

SARIMA · Временные ряды

ARIMA с явными сезонными компонентами — для рядов с недельной, месячной или годовой периодикой.

Exponential Smoothingактуально

Экспоненциальное сглаживание · Временные ряды

Взвешивание прошлых наблюдений с экспоненциально убывающими весами; модель Хольта — Винтерса добавляет тренд и сезонность.

Prophetклассика

Prophet · Временные ряды

Аддитивная модель тренда, сезонностей и праздников с упором на удобство для аналитика.

Feature-based forecastingактуально

Прогноз через признаки · Временные ряды

Ряд превращается в табличную задачу: лаги, скользящие статистики, календарь — и дальше градиентный бустинг.

RNN/LSTMактуально

RNN/LSTM для рядов · Временные ряды

Нейросети, обучаемые сразу на множестве связанных рядов, улавливают общие паттерны.

Transformer forecastingновинка

Трансформеры для прогноза · Временные ряды

Внимание над длинными горизонтами: Informer, Autoformer, PatchTST, TFT.

Anomaly detectionактуально

Поиск аномалий во времени · Временные ряды

Обнаружение точечных выбросов, сдвигов уровня и аномальных подпоследовательностей.

Kalman Filterактуально

Фильтр Калмана · Временные ряды

Рекуррентная оценка скрытого состояния системы по зашумлённым наблюдениям. Оптимален для линейных систем с гауссовым шумом.

Intermittent Demandактуально

Прерывистый спрос · Временные ряды

Ряды, где большая часть значений — нули: запчасти, редкие товары, аварийные события. Обычные метрики и модели здесь не работают.

Hierarchical Forecastingактуально

Иерархические прогнозы · Временные ряды

Прогнозы по товару, категории и сети должны согласовываться: сумма частей обязана равняться целому.

1D CNN for Time Seriesактуально

Свёртки для временных рядов · Временные ряды

Одномерные свёртки скользят вдоль времени и выделяют локальные формы сигнала независимо от того, когда те случились.

Temporal Convolutional Networkновинка

TCN · Временные ряды

Стек причинных свёрток с экспоненциально растущим расширением: длинный контекст без рекуррентности.

Physics-Informed Neural Networksновинка

PINN · Временные ряды

Сеть, у которой в функцию потерь встроены уравнения процесса: решение согласовано с физикой даже там, где данных нет.

Clusteringактуально

Кластеризация · Обучение без учителя

Разбиение объектов на группы похожих без заранее известных меток.

Dimensionality Reductionактуально

Снижение размерности · Обучение без учителя

Компактное представление данных, сохраняющее важную часть структуры.

Density Estimationактуально

Оценка плотности · Обучение без учителя

Восстановление распределения данных: где объекты встречаются часто, а где почти никогда.

Association Rulesклассика

Ассоциативные правила · Обучение без учителя

Поиск закономерностей вида «если A, то B» в транзакционных данных.

Anomaly Detectionактуально

Поиск аномалий · Обучение без учителя

Выделение объектов, не похожих на основную массу данных, при отсутствии меток.

Representation Learningактуально

Обучение представлений · Обучение без учителя

Модель сама учится полезным признакам, чаще всего через self-supervised задачи.

HDBSCANактуально

HDBSCAN · Обучение без учителя

Иерархическая версия DBSCAN: перебирает плотности автоматически и находит кластеры разной плотности.

Spectral Clusteringактуально

Спектральная кластеризация · Обучение без учителя

Кластеризация через собственные векторы матрицы Лапласа графа сходства: находит невыпуклые и вложенные структуры.

MDPактуально

Марковский процесс принятия решений · Обучение с подкреплением

Формальная рамка RL: состояния, действия, переходы, награды и коэффициент дисконтирования.

States / Actions / Rewardsактуально

Состояния, действия, награды · Обучение с подкреплением

Три базовых элемента задачи. Дизайн награды определяет поведение агента сильнее алгоритма.

Value Functionsактуально

Функции ценности · Обучение с подкреплением

V(s) оценивает ожидаемую отдачу из состояния, Q(s,a) — из пары состояние–действие.

Q-Learningактуально

Q-обучение · Обучение с подкреплением

Off-policy метод: агент учит оптимальную Q-функцию независимо от того, как исследует среду.

SARSAклассика

SARSA · Обучение с подкреплением

On-policy аналог Q-обучения: обновление идёт по реально выбранному следующему действию.

Policy Gradientактуально

Градиент политики · Обучение с подкреплением

Прямая оптимизация параметров политики по градиенту ожидаемой награды.

Actor-Criticактуально

Актор-критик · Обучение с подкреплением

Актор выбирает действия, критик оценивает их ценность — гибрид двух семейств методов.

DQNклассика

Deep Q-Network · Обучение с подкреплением

Q-обучение с нейросетевой аппроксимацией: сеть предсказывает Q-значения по пикселям экрана.

PPOактуально

PPO · Обучение с подкреплением

Устойчивый policy-gradient метод с ограничением величины обновления политики.

Reward Designактуально

Дизайн функции награды · Обучение с подкреплением

Агент оптимизирует то, что вы измерили, а не то, что имели в виду. Награда — самая опасная часть постановки: ошибка здесь не чинится ни алгоритмом, ни вычислениями.

Discounting and Horizonактуально

Дисконтирование и горизонт · Обучение с подкреплением

Коэффициент γ решает, насколько агент дальновиден. Он же делает бесконечную сумму наград конечной и стабилизирует обучение.

Model-Based RLактуально

Model-based методы · Обучение с подкреплением

Агент строит модель среды и планирует в ней вместо того, чтобы учиться только на реальном опыте. Дороже по вычислениям, зато на порядки экономнее по взаимодействиям.

Temporal Difference Learningактуально

Обучение по временным разностям · Обучение с подкреплением

Оценка обновляется не по итоговой отдаче эпизода, а по следующему шагу плюс текущей оценке. Именно это делает RL применимым к длинным и незавершающимся задачам.

On-policy and Off-policyактуально

On-policy и off-policy · Обучение с подкреплением

Учимся на данных своей текущей политики или на чужих. Разделение определяет, можно ли переиспользовать старый опыт, — и отсюда всю архитектуру алгоритма.

Experience Replayактуально

Буфер воспроизведения · Обучение с подкреплением

Опыт складывается в буфер и переиспользуется многократно в случайном порядке. Решает сразу две проблемы: корреляцию соседних переходов и расточительность обучения.

Exploration in RLактуально

Исследование среды · Обучение с подкреплением

Агент не может узнать о награде, которой не пробовал. Баланс между использованием известного и проверкой неизвестного — центральная трудность всего обучения с подкреплением.

Advantage Functionактуально

Функция преимущества · Обучение с подкреплением

Насколько действие лучше среднего в этом состоянии. Вычитание базовой линии не меняет градиент в среднем, но резко снижает его дисперсию.

Planning and World Modelsновинка

Планирование и модели мира · Обучение с подкреплением

Агент учит компактную модель динамики и «воображает» в ней будущее. Так работают AlphaZero и Dreamer: поиск в модели вместо перебора в реальности.

Multi-armed Banditsактуально

Многорукие бандиты · Обучение с подкреплением

Упрощённый RL без состояний: выбираем действие, получаем награду и балансируем исследование с эксплуатацией.

Offline RLновинка

Оффлайн RL · Обучение с подкреплением

Обучение политики по логам прошлых взаимодействий, без возможности экспериментировать со средой.

Topology basicsактуально

Основы топологии · Топологический анализ данных

Топология изучает свойства, сохраняющиеся при непрерывных деформациях: связность, число дыр, компактность.

Metric spacesактуально

Метрические пространства · Топологический анализ данных

Множество с функцией расстояния. Любой TDA-пайплайн начинается с выбора метрики.

Simplicial complexesактуально

Симплициальные комплексы · Топологический анализ данных

Дискретная аппроксимация формы облака точек: точки, рёбра, треугольники и их многомерные аналоги.

Homologyактуально

Гомологии · Топологический анализ данных

Алгебраический аппарат, который считает дыры разных размерностей в топологическом пространстве.

Persistent Homologyактуально

Персистентные гомологии · Топологический анализ данных

Центральный метод TDA: вместо одного порога ε рассматривается вся фильтрация, и отслеживается, когда топологические особенности рождаются и умирают.

Persistence Diagramsактуально

Диаграммы персистентности · Топологический анализ данных

Каждая топологическая особенность — точка (рождение, смерть) на плоскости. Компактная сводка формы данных.

Persistence Landscapesактуально

Ландшафты персистентности · Топологический анализ данных

Превращение диаграммы в набор кусочно-линейных функций — то есть в элемент гильбертова пространства.

Betti Numbersактуально

Числа Бетти · Топологический анализ данных

Ранги групп гомологий: β₀ — число компонент, β₁ — число независимых циклов, β₂ — число полостей.

Mapperактуально

Алгоритм Mapper · Топологический анализ данных

Строит граф-скелет данных: проекция фильтрующей функцией, покрытие интервалами, локальная кластеризация и склейка.

Topological featuresактуально

Топологические признаки · Топологический анализ данных

Векторизация топологии: энтропия персистентности, суммарная длина жизни, числа Бетти, persistence images.

TDA + Machine Learningновинка

TDA и машинное обучение · Топологический анализ данных

Топологические признаки подаются в бустинг или нейросеть, либо топология встраивается прямо в функцию потерь.

TDA + Time Seriesновинка

TDA и временные ряды · Топологический анализ данных

Ряд вкладывается в фазовое пространство (Такенс), и топология полученного облака описывает динамику системы.

Accuracyактуально

Доля правильных ответов · Метрики

Доля верных предсказаний среди всех. Понятна всем и обманчива при дисбалансе классов.

Precisionактуально

Точность · Метрики

Какая доля объектов, предсказанных положительными, действительно положительна.

Recallактуально

Полнота · Метрики

Какая доля реально положительных объектов найдена моделью.

F1актуально

F1-мера · Метрики

Гармоническое среднее точности и полноты — компромисс между ними одним числом.

ROC-AUCактуально

ROC-AUC · Метрики

Вероятность, что случайный положительный объект получит больший скор, чем случайный отрицательный.

PR-AUCактуально

PR-AUC · Метрики

Площадь под кривой precision–recall; честнее ROC-AUC при редком положительном классе.

Log Lossактуально

Логарифмические потери · Метрики

Оценивает качество самих вероятностей, а не только меток: уверенная ошибка штрафуется очень сильно.

MCCактуально

Коэффициент Мэтьюса · Метрики

Корреляция между предсказаниями и истиной, учитывающая все четыре ячейки матрицы ошибок.

MAEактуально

Средняя абсолютная ошибка · Метрики

Среднее абсолютных отклонений — метрика в единицах целевой переменной, устойчивая к выбросам.

MSEактуально

Среднеквадратичная ошибка · Метрики

Среднее квадратов ошибок: сильно штрафует большие отклонения.

RMSEактуально

Корень из среднеквадратичной ошибки · Метрики

Корень из MSE — возвращает метрику в исходные единицы, сохраняя штраф за большие ошибки.

MAPEклассика

Средняя абсолютная процентная ошибка · Метрики

Относительная ошибка в процентах — удобна для сравнения рядов разного масштаба.

SMAPEклассика

Симметричная MAPE · Метрики

Вариант MAPE с нормировкой на сумму факта и прогноза — частично лечит асимметрию.

R²актуально

Коэффициент детерминации · Метрики

Доля дисперсии целевой переменной, объяснённая моделью, относительно константного прогноза.

Adjusted R²актуально

Скорректированный R² · Метрики

R² со штрафом за число признаков — падает, если новый признак не приносит пользы.

Precision@Kактуально

Точность@K · Метрики

Доля релевантных объектов среди первых K позиций выдачи.

Recall@Kактуально

Полнота@K · Метрики

Какая доля всех релевантных объектов попала в топ-K.

MAPактуально

Средняя усреднённая точность · Метрики

Среднее по запросам от average precision — учитывает и релевантность, и позиции.

MRRактуально

Средний обратный ранг · Метрики

Среднее значение 1/rank первого релевантного результата.

NDCGактуально

NDCG · Метрики

Нормированный дисконтированный кумулятивный выигрыш: учитывает градации релевантности и позиции с логарифмическим дисконтом.

Silhouette Scoreактуально

Силуэт · Метрики

Сравнивает среднее расстояние объекта до своего кластера и до ближайшего чужого.

Davies–Bouldinактуально

Индекс Дэвиса — Болдина · Метрики

Отношение внутрикластерного разброса к расстоянию между кластерами; чем меньше, тем лучше.

Calinski–Harabaszактуально

Индекс Калинского — Харабаша · Метрики

Отношение межкластерной дисперсии к внутрикластерной; чем больше, тем лучше разделение.

Brier Scoreактуально

Brier Score · Метрики

Среднеквадратичная ошибка предсказанных вероятностей: строгая правильная функция оценки, устойчивее log loss.

Cohen's Kappaактуально

Каппа Коэна · Метрики

Согласие двух разметчиков или модели с разметкой с поправкой на случайные совпадения.

Perplexityактуально

Перплексия · Метрики

Экспонента кросс-энтропии языковой модели: между сколькими равновероятными вариантами она в среднем выбирает.

IoUактуально

Intersection over Union · Метрики

Доля пересечения к объединению предсказанной и истинной области — базовая метрика детекции и сегментации.

Tracking Metricsактуально

Метрики трекинга · Метрики

MOTA, IDF1 и HOTA: качество трекинга — это не только найденные объекты, но и стабильность их идентификаторов.

Text Generation Metricsактуально

Метрики генерации текста · Метрики

BLEU, ROUGE и BERTScore: от совпадения n-грамм до сравнения смыслов через контекстные эмбеддинги.

FID and Generation Qualityактуально

FID и качество генерации · Метрики

Метрики визуальной генерации: расстояние между распределениями признаков реальных и сгенерированных изображений.

Cross-validationактуально

Кросс-валидация · Оценка моделей

Многократное разбиение выборки, дающее оценку качества вместе с её разбросом.

K-Foldактуально

K-Fold · Оценка моделей

Данные делятся на K частей; каждая по очереди становится валидационной.

Stratified K-Foldактуально

Стратифицированный K-Fold · Оценка моделей

K-Fold с сохранением пропорции классов в каждом фолде.

Leave-One-Outклассика

Leave-One-Out · Оценка моделей

Предельный случай: валидация состоит ровно из одного объекта, и так N раз.

Bootstrapактуально

Бутстрэп · Оценка моделей

Многократная выборка с возвращением: даёт распределение метрики и доверительные интервалы без предположений о нормальности.

Statistical significanceактуально

Статистическая значимость · Оценка моделей

Проверка, что разница между моделями не объясняется случайностью выборки.

Confidence intervalsактуально

Доверительные интервалы · Оценка моделей

Показывают точность оценки метрики; одно число без интервала мало о чём говорит.

Hypothesis testingактуально

Проверка гипотез · Оценка моделей

Формальная процедура принятия решения на основе данных: нулевая гипотеза, статистика, уровень значимости.

A/B testingактуально

A/B-тестирование · Оценка моделей

Онлайн-эксперимент, который единственный честно измеряет влияние модели на продуктовые метрики.

Calibrationактуально

Калибровка · Оценка моделей

Соответствие предсказанных вероятностей реальным частотам событий.

Error analysisактуально

Анализ ошибок · Оценка моделей

Ручной разбор случаев, где модель ошибается: почти всегда даёт больше, чем очередной перебор гиперпараметров.

Ablation studiesактуально

Абляционные исследования · Оценка моделей

Поочерёдное отключение компонентов, чтобы понять, что именно даёт прирост качества.

Feature importanceактуально

Важность признаков · Интерпретируемость моделей

Оценка вклада признаков в предсказания модели — первый шаг к пониманию её логики.

Permutation Importanceактуально

Перестановочная важность · Интерпретируемость моделей

Признак перемешивается, и измеряется падение качества модели — модельно-независимый и честный подход.

SHAPактуально

SHAP · Интерпретируемость моделей

Распределение вклада признаков на основе значений Шепли из теории игр — с гарантиями аддитивности и согласованности.

LIMEактуально

LIME · Интерпретируемость моделей

Локальная аппроксимация сложной модели простой линейной в окрестности конкретного объекта.

Partial Dependenceактуально

Partial Dependence Plot · Интерпретируемость моделей

Показывает средний эффект признака на предсказание при усреднении по остальным признакам.

ICEактуально

ICE-кривые · Интерпретируемость моделей

Individual Conditional Expectation: та же зависимость, но отдельной линией для каждого объекта.

Counterfactual explanationsактуально

Контрфактические объяснения · Интерпретируемость моделей

Минимальное изменение входа, которое меняет решение модели: «что нужно поменять, чтобы кредит одобрили».

Saliency Maps and Grad-CAMактуально

Карты значимости и Grad-CAM · Интерпретируемость моделей

Где именно на изображении модель нашла основание для своего ответа — тепловая карта поверх входа.

Gradient Descentактуально

Градиентный спуск · Оптимизация обучения

Итеративный шаг против градиента функции потерь — базовый алгоритм обучения.

SGDактуально

Стохастический градиентный спуск · Оптимизация обучения

Градиент оценивается по мини-батчу: быстрее, шумнее и, как оказалось, полезнее для обобщения.

Momentumактуально

Момент · Оптимизация обучения

Накопление экспоненциального среднего градиентов — движение по инерции сквозь колебания.

Adamактуально

Adam · Оптимизация обучения

Адаптивный метод: хранит средние градиента и его квадрата, подбирая шаг для каждого параметра.

AdamWактуально

AdamW · Оптимизация обучения

Adam с корректно отделённым weight decay — регуляризация применяется к весам, а не к градиенту.

RMSPropклассика

RMSProp · Оптимизация обучения

Нормирует шаг на скользящее среднее квадратов градиента, выравнивая масштаб обновлений.

Learning Rate Schedulingактуально

Расписание скорости обучения · Оптимизация обучения

Изменение шага по ходу обучения: большой в начале для исследования, малый в конце для точной настройки.

Batch sizeактуально

Размер батча · Оптимизация обучения

Число объектов на одно обновление весов: влияет на скорость, память и качество обобщения.

Regularizationактуально

Регуляризация · Оптимизация обучения

Любое ограничение сложности модели, снижающее переобучение.

Weight Decayактуально

Затухание весов · Оптимизация обучения

Постепенное сжатие весов к нулю на каждом шаге оптимизации.

Early Stoppingактуально

Ранняя остановка · Оптимизация обучения

Обучение останавливается, когда валидационная метрика перестала улучшаться.

Gradient Clippingактуально

Обрезка градиента · Оптимизация обучения

Ограничение нормы градиента перед шагом оптимизатора — простейшая защита от расходимости обучения.

Mixed Precisionактуально

Смешанная точность · Оптимизация обучения

Обучение в fp16 или bf16 при накоплении в fp32: двукратная экономия памяти и заметное ускорение.

Generative Modelsактуально

Генеративные модели · Генеративный ИИ

Модели, обучающие распределение данных и умеющие порождать новые объекты из него.

Autoregressive Modelsактуально

Авторегрессионные модели · Генеративный ИИ

Порождают объект по частям, каждый раз предсказывая следующий элемент по предыдущим.

VAEактуально

Вариационный автоэнкодер · Генеративный ИИ

Генерация через непрерывное вероятностное латентное пространство.

GANклассика

GAN · Генеративный ИИ

Состязательная пара сетей, дающая резкие и реалистичные изображения.

Diffusionновинка

Диффузия · Генеративный ИИ

Итеративное расшумление — текущий стандарт генерации изображений, видео и аудио.

LLMновинка

Большие языковые модели · Генеративный ИИ

Трансформеры-декодеры, обученные на огромных корпусах предсказывать следующий токен.

Multimodal Modelsновинка

Мультимодальные модели · Генеративный ИИ

Единая модель, принимающая и порождающая несколько модальностей: текст, изображения, звук.

Promptingновинка

Промптинг · Генеративный ИИ

Управление поведением модели через формулировку запроса, без изменения весов.

Fine-tuningактуально

Дообучение · Генеративный ИИ

Адаптация предобученной модели под домен или формат на собственных данных.

LoRAновинка

LoRA · Генеративный ИИ

Обучение низкоранговых добавок к весам вместо полного дообучения модели.

RLHFновинка

RLHF · Генеративный ИИ

Дообучение по человеческим предпочтениям: модель награды + оптимизация политики.

RAGновинка

RAG · Генеративный ИИ

Подмешивание найденных документов в контекст модели вместо хранения знаний в весах.

Agentsновинка

Агенты · Генеративный ИИ

LLM, которая планирует, вызывает инструменты и итеративно движется к цели.

Generative Lossesактуально

Функции потерь генеративных моделей · Генеративный ИИ

Чем измеряется ошибка, когда правильного ответа не существует: правдоподобие, состязательные потери, предсказание шума и контрастные цели.

LLM Evaluationновинка

Оценка языковых моделей · Генеративный ИИ

Как измерять качество генерации: бенчмарки, оценка моделью-судьёй и человеческие сравнения.

Distillationновинка

Дистилляция · Генеративный ИИ

Обучение маленькой модели воспроизводить поведение большой: кратное снижение стоимости при небольшой потере качества.

Latent Diffusionновинка

Латентная диффузия · Генеративный ИИ

Диффузия не в пикселях, а в сжатом пространстве автоэнкодера: та же модель на порядок дешевле.

ControlNetновинка

Управляемая генерация · Генеративный ИИ

Дополнительная сеть, которая задаёт генерации пространственную структуру: эскиз, позу, карту глубины, границы.

Diffusion Samplingактуально

Сэмплеры диффузии · Генеративный ИИ

Число шагов денойзинга — главный рычаг скорости; решает его не переобучение, а более точный численный метод.

Video Generationновинка

Генерация видео · Генеративный ИИ

К качеству каждого кадра добавляется временная согласованность: объекты не должны мерцать и менять форму между кадрами.

PEFT and Adaptersновинка

Экономное дообучение · Генеративный ИИ

Базовая модель заморожена, обучается лишь небольшой набор дополнительных параметров — адаптеры, LoRA, префиксы.

Structured Outputактуально

Структурированный вывод · Генеративный ИИ

Как получить от языковой модели JSON, который распарсится с первого раза, а не текст с комментариями вокруг.

Reasoning Modelsновинка

Рассуждающие модели · Генеративный ИИ

Модели, которые тратят вычисления на обдумывание до ответа: длинная внутренняя цепочка рассуждений вместо немедленной генерации. Отдельный класс со своей экономикой и своими задачами.

Model Context Protocolновинка

MCP: протокол подключения инструментов · Генеративный ИИ

Открытый протокол, которым языковая модель получает доступ к инструментам и данным: вместо своей интеграции под каждое приложение — один интерфейс, общий для всех.

Russian LLMsновинка

Российские языковые модели · Генеративный ИИ

GigaChat, YandexGPT и открытые модели с сильным русским: чем отличаются от глобальных, когда их выбирают и что спрашивают о них на собеседовании в российских компаниях.

Agent Patternsновинка

Шаблоны агентов · Генеративный ИИ

Из чего складывается работающий агент: цикл «рассуждение — действие — наблюдение», планирование, память, проверка результата и, главное, ограничения на всё перечисленное.

ML Pipelinesактуально

ML-пайплайны · MLOps

Оформление обучения как воспроизводимой последовательности шагов вместо разрозненных ноутбуков.

Experiment Trackingактуально

Трекинг экспериментов · MLOps

Фиксация параметров, метрик, артефактов и версии кода для каждого запуска.

MLflowактуально

MLflow · MLOps

Открытая платформа для трекинга, упаковки и регистрации моделей.

Data Versioningактуально

Версионирование данных · MLOps

Данные меняются чаще кода — без их версий эксперимент не воспроизвести.

Model Versioningактуально

Версионирование моделей · MLOps

Каждая обученная модель — артефакт с версией, метриками и происхождением.

Feature Storesновинка

Хранилища признаков · MLOps

Централизованное хранилище признаков, единое для обучения и онлайн-инференса.

Model Deploymentактуально

Деплой моделей · MLOps

Доставка модели пользователю: онлайн-сервис, батч-скоринг или встраивание в приложение.

Monitoringактуально

Мониторинг · MLOps

Наблюдение за инфраструктурой, данными и качеством предсказаний после релиза.

Drift Detectionновинка

Детекция дрейфа · MLOps

Обнаружение расхождения между данными обучения и данными прода.

Retrainingактуально

Переобучение моделей · MLOps

Регулярное обновление модели на свежих данных по расписанию или по триггеру.

Dockerактуально

Docker · MLOps

Контейнеризация фиксирует окружение целиком: код, зависимости, системные библиотеки.

Kubernetesактуально

Kubernetes · MLOps

Оркестрация контейнеров: масштабирование, самовосстановление, обновления без простоя.

Experiment Configurationактуально

Конфигурация экспериментов · MLOps

Параметры обучения, вынесенные из кода в структурированные файлы. Простой шаг, после которого перестают плодиться ветки «эксперимент с lr=3e-4».

Testing ML Codeактуально

Тестирование ML-кода · MLOps

Обычные тесты для необычного кода: форма тензора, поведение на краевых входах, воспроизводимость. Проверяют не качество модели, а то, что пайплайн делает то, что написано.

Inference Optimizationактуально

Ускорение инференса · MLOps

Обученная модель считает медленно и занимает много памяти. Квантизация, компиляция графа и батчинг сокращают и то и другое, обычно почти без потери качества.

CI/CD for MLактуально

CI/CD для ML · MLOps

Автоматизация проверок и выката: тесты кода, тесты данных, обучение и релиз модели по одной кнопке.

MLOps Maturityактуально

Уровни зрелости MLOps · MLOps

Шкала от ручных ноутбуков до полностью автоматического цикла обучения и выката — способ понять, где команда сейчас.

Problem formulationактуально

Постановка задачи · Практика ML

Перевод бизнес-вопроса в ML-задачу с целевой переменной, метрикой и ограничениями.

Baselinesактуально

Бейзлайны · Практика ML

Простейшее решение, с которым сравнивается всё остальное: константа, правило, логистическая регрессия.

Feature engineeringактуально

Работа с признаками · Практика ML

На табличных данных грамотные признаки дают больший прирост, чем смена модели.

Hyperparameter tuningактуально

Настройка гиперпараметров · Практика ML

Поиск конфигурации модели по валидационной метрике — последний, а не первый шаг работы.

Grid Searchактуально

Поиск по сетке · Практика ML

Полный перебор всех комбинаций заданных значений гиперпараметров.

Random Searchактуально

Случайный поиск · Практика ML

Случайная выборка конфигураций из заданных распределений.

Bayesian Optimizationактуально

Байесовская оптимизация · Практика ML

Строит модель зависимости метрики от гиперпараметров и выбирает следующую точку осознанно.

Debugging modelsактуально

Отладка моделей · Практика ML

Систематический поиск причины, почему модель не учится или ведёт себя странно.

Overfittingактуально

Переобучение · Практика ML

Модель запомнила обучающую выборку вместе с шумом: train-метрика отличная, val — плохая.

Underfittingактуально

Недообучение · Практика ML

Модель слишком проста или недоучена: ошибка велика и на train, и на валидации.

Data leakageактуально

Утечка данных · Практика ML

Самая дорогая ошибка в ML: модель отлично работает офлайн и разваливается в проде.

Production MLактуально

ML в продакшене · Практика ML

Модель в проде — это сервис с SLA, мониторингом, версионированием и планом отката.

Active Learningактуально

Активное обучение · Практика ML

Размечать в первую очередь те объекты, которые дадут наибольший прирост качества.

Weak Supervisionновинка

Слабая разметка · Практика ML

Программная разметка эвристиками и правилами вместо ручной: быстро, шумно и часто достаточно.

Time and Space Complexityактуально

Асимптотическая сложность · Алгоритмы и структуры данных

Способ сравнить алгоритмы, не запуская их: как растёт время работы с ростом входа. Отбрасывает константы и оставляет то, что решает на больших данных.

Problem Pattern Recognitionактуально

Как распознать паттерн задачи · Алгоритмы и структуры данных

Уровень над алгоритмами: по формулировке условия понять, какой приём здесь работает. «Отсортированный массив», «подряд идущие элементы», «ближайший больший справа» — каждая такая фраза указывает на конкретное семейство решений.

Binary Searchактуально

Бинарный поиск · Алгоритмы и структуры данных

Половинное деление на отсортированных данных: за логарифм шагов вместо линейного перебора. Приём шире поиска — им ищут ответ в любой монотонной задаче.

Prefix Sumsактуально

Префиксные суммы · Алгоритмы и структуры данных

Один предварительный проход превращает сумму на любом отрезке в одно вычитание. Тот же приём вместе с хеш-таблицей находит подотрезок с заданной суммой за линейное время.

Sorting Algorithmsактуально

Сортировки · Алгоритмы и структуры данных

Быстрая, слиянием, пирамидальная — три способа упорядочить данные за O(n log n) с разными свойствами по памяти, устойчивости и худшему случаю.

Recursion and Divide and Conquerактуально

Рекурсия и разделяй-и-властвуй · Алгоритмы и структуры данных

Задача сводится к таким же задачам меньшего размера. Основа сортировки слиянием, быстрой сортировки, обхода деревьев и почти всей динамики.

Dynamic Programmingактуально

Динамическое программирование · Алгоритмы и структуры данных

Перебор, в котором каждое подсостояние считается ровно один раз. Превращает экспоненциальный перебор в полиномиальный, если подзадачи перекрываются.

Hash Tablesактуально

Хеш-таблицы · Алгоритмы и структуры данных

Доступ по ключу за константу в среднем. Основа словарей и множеств — и структура, на которой держится большая часть повседневного кода.

Arrays, Lists, Stacks and Queuesактуально

Массивы, списки, стеки и очереди · Алгоритмы и структуры данных

Четыре базовых способа хранить последовательность. Отличаются не тем, что умеют, а тем, что у них дёшево, а что дорого.

Monotonic Stack and Dequeактуально

Монотонный стек и дек · Алгоритмы и структуры данных

Приём поверх стека: хранить только тех, для кого ответ ещё не найден. Даёт ближайший больший элемент для всех позиций сразу и максимум в скользящем окне — за один проход.

Trees and Heapsактуально

Деревья и кучи · Алгоритмы и структуры данных

Иерархические структуры, дающие логарифмические операции: двоичное дерево поиска для упорядоченных запросов, куча — для быстрого минимума.

Graph Traversalактуально

Обходы графа: семейство · Алгоритмы и структуры данных

Зонтичная тема: что общего у обоих обходов, как увидеть граф в задаче, где он не назван, и по каким двум вопросам выбирается обход. Сами обходы разобраны отдельно.

Breadth-First Searchактуально

Поиск в ширину · Алгоритмы и структуры данных

Обход слоями: сначала всё, до чего один шаг, потом — два. Первое посещение вершины оказывается кратчайшим путём, если все переходы равноценны.

Depth-First Searchактуально

Поиск в глубину · Алгоритмы и структуры данных

Идти вглубь до упора и возвращаться. Порядок завершения вершин даёт топологическую сортировку, три цвета — обнаружение циклов, откат состояния — перебор с возвратом.

Shortest Pathsактуально

Кратчайшие пути · Алгоритмы и структуры данных

Дейкстра для неотрицательных весов, Беллман — Форд для отрицательных, A* — когда есть оценка расстояния до цели.

Greedy Algorithmsактуально

Жадные алгоритмы · Алгоритмы и структуры данных

На каждом шаге берём локально лучший вариант и не пересматриваем решение. Работает не всегда — но когда работает, проще и быстрее динамики.

String Algorithmsактуально

Алгоритмы на строках · Алгоритмы и структуры данных

Поиск подстроки, сравнение и индексация текста за линейное время вместо квадратичного перебора.

Two Pointers and Sliding Windowактуально

Два указателя: семейство приёмов · Алгоритмы и структуры данных

Зонтичная тема: что общего у четырёх приёмов с двумя индексами и как выбрать нужный. Сами приёмы разобраны каждый на своей странице.

Opposite-Direction Pointersактуально

Встречные указатели · Алгоритмы и структуры данных

Два индекса сходятся с концов отсортированного массива. На каждом шаге отбрасывается конец, который заведомо не даст лучшего ответа, — и вместе с ним целая полоса пар.

Sliding Windowактуально

Скользящее окно · Алгоритмы и структуры данных

Окно между двумя границами: правая расширяет, левая чинит. Состояние не пересчитывается, а обновляется инкрементально — отсюда линейное время на задачах о подотрезках.

Fast and Slow Pointersактуально

Быстрый и медленный указатель · Алгоритмы и структуры данных

Два указателя идут в одну сторону с разной скоростью. Если структура зациклена, быстрый догоняет медленного — цикл находится без журнала посещённых узлов.

Same-Direction Pointersактуально

Два указателя в одну сторону · Алгоритмы и структуры данных

Слияние, пересечение и запись на месте: каждому источнику свой указатель, ни один не откатывается назад. Основа сортировки слиянием и merge join в базах данных.

Order Statisticsактуально

Порядковые статистики · Алгоритмы и структуры данных

Найти k-й по величине элемент, не сортируя весь массив. Quickselect делает это в среднем за линию.

Vectorактуально

Вектор · Математический справочник

Упорядоченный набор чисел; в ML — представление объекта в пространстве признаков.

Matrixактуально

Матрица · Математический справочник

Прямоугольная таблица чисел, задающая линейное преобразование или набор объектов.

Eigenvalueактуально

Собственное значение · Математический справочник

Коэффициент растяжения вдоль направления, которое преобразование не поворачивает.

Eigenvectorактуально

Собственный вектор · Математический справочник

Направление, сохраняющееся при линейном преобразовании с точностью до масштаба.

Normактуально

Норма · Математический справочник

Мера длины вектора; выбор нормы определяет геометрию задачи.

Distanceактуально

Расстояние · Математический справочник

Мера непохожести объектов — основа кластеризации, k-NN и поиска.

Gradientактуально

Градиент · Математический справочник

Вектор частных производных, указывающий направление наибыстрейшего роста функции.

Hessianактуально

Гессиан · Математический справочник

Матрица вторых производных, описывающая локальную кривизну функции.

Probability Distributionактуально

Распределение вероятностей · Математический справочник

Закон, задающий вероятности значений случайной величины.

Expectationактуально

Математическое ожидание · Математический справочник

Среднее значение случайной величины по её распределению.

Varianceактуально

Дисперсия · Математический справочник

Мера разброса значений вокруг среднего.

Covarianceактуально

Ковариация · Математический справочник

Мера совместной изменчивости двух величин; корреляция — её нормированная версия.

Entropyактуально

Энтропия · Математический справочник

Мера неопределённости распределения: максимальна при равномерном, нулевая при детерминированном.

KL Divergenceактуально

KL-дивергенция · Математический справочник

Насколько распределение q плохо описывает распределение p; несимметрична и не является метрикой.

Cross-Entropyактуально

Кросс-энтропия · Математический справочник

Ожидаемая длина кода при использовании q для данных из p: энтропия p плюс KL(p‖q).

Bayes Theoremактуально

Теорема Байеса · Математический справочник

Правило пересчёта вероятности гипотезы после получения новых данных.

Correlationактуально

Корреляция · Математический справочник

Нормированная мера связи двух величин: ковариация, поделённая на разброс каждой из них.

Limits and Continuityактуально

Пределы и непрерывность · Математический анализ

Предел описывает, к чему стремится функция вблизи точки. На этом понятии держатся производная, интеграл и вся теория сходимости алгоритмов.

Derivativeактуально

Производная · Математический анализ

Скорость изменения функции: предел отношения приращения функции к приращению аргумента. Геометрически — наклон касательной.

Differentiation Rulesактуально

Правила дифференцирования · Математический анализ

Сумма, произведение, частное и композиция — четыре правила, которых достаточно, чтобы продифференцировать почти любую функцию потерь вручную.

Integralактуально

Интеграл · Математический анализ

Определённый интеграл — площадь под кривой, неопределённый — обратная операция к дифференцированию. В ML интеграл почти всегда означает математическое ожидание.

Taylor Seriesактуально

Ряд Тейлора · Математический анализ

Приближение функции многочленом по производным в точке. Инструмент, которым обосновывают почти все методы оптимизации.

Series and Convergenceактуально

Ряды и сходимость · Математический анализ

Когда бесконечная сумма имеет конечное значение и с какой скоростью алгоритм приближается к ответу.

Numerical Differentiationактуально

Численное дифференцирование · Математический анализ

Приближение производной конечными разностями: медленно и неточно, но незаменимо для проверки аналитических градиентов.

Multivariable Calculusактуально

Многомерный анализ · Математический анализ

Функции многих переменных: частные производные, градиент, производная по направлению и линии уровня.

Jacobianактуально

Якобиан · Математический анализ

Матрица частных производных векторной функции. Описывает, как преобразование растягивает пространство локально.

Lagrange Multipliersактуально

Множители Лагранжа · Математический анализ

Метод условной оптимизации: минимизировать функцию при ограничениях, не решая их подстановкой.

Convexityактуально

Выпуклость · Математический анализ

Свойство функции, гарантирующее единственность минимума и сходимость градиентных методов.

Differential Equationsновинка

Дифференциальные уравнения · Математический анализ

Уравнения, связывающие функцию с её производными. Описывают динамику — от роста популяций до обратного процесса в диффузионных моделях.

Probability Axiomsактуально

Аксиомы вероятности · Теория вероятностей и распределения

Три аксиомы Колмогорова, из которых выводится вся теория: неотрицательность, нормировка и аддитивность.

Random Variablesактуально

Случайные величины · Теория вероятностей и распределения

Отображение исходов в числа. Дискретные описываются функцией вероятности, непрерывные — плотностью.

Conditional Independenceактуально

Условная независимость · Теория вероятностей и распределения

Две величины независимы при известной третьей. Понятие, на котором стоят байесовские сети и наивный классификатор.

Law of Large Numbersактуально

Закон больших чисел · Теория вероятностей и распределения

Среднее по выборке сходится к математическому ожиданию при росте числа наблюдений.

Central Limit Theoremактуально

Центральная предельная теорема · Теория вероятностей и распределения

Сумма большого числа независимых слагаемых со сравнимым вкладом распределена приближённо нормально.

Normal Distributionактуально

Нормальное распределение · Теория вероятностей и распределения

Колоколообразное распределение с двумя параметрами. Максимально энтропийное при заданных среднем и дисперсии — поэтому его берут «по умолчанию».

Log-normal Distributionактуально

Логнормальное распределение · Теория вероятностей и распределения

Величина, логарифм которой нормален. Возникает там, где эффекты перемножаются, а не складываются.

Power Lawактуально

Степенное распределение · Теория вероятностей и распределения

Плотность убывает как степень: редкие события встречаются намного чаще, чем предсказывает нормальный закон. Распределения Парето и Ципфа — его классические формы.

Poisson Distributionактуально

Распределение Пуассона · Теория вероятностей и распределения

Число редких независимых событий за фиксированный интервал: заказы за час, отказы за сутки, клики за сессию.

Exponential Distributionактуально

Экспоненциальное распределение · Теория вероятностей и распределения

Время между пуассоновскими событиями. Единственное непрерывное распределение без памяти.

Binomial & Bernoulliактуально

Бернулли и биномиальное · Теория вероятностей и распределения

Один успех или число успехов в серии независимых испытаний — базовая модель конверсии и кликов.

Beta Distributionактуально

Бета-распределение · Теория вероятностей и распределения

Распределение вероятности на отрезке [0,1] — естественный априор для конверсии и для многоруких бандитов.

Heavy Tailsактуально

Тяжёлые хвосты · Теория вероятностей и распределения

Распределения, у которых экстремальные значения не являются пренебрежимо редкими. Именно они ломают привычные оценки и метрики.

Extreme Value Theoryактуально

Теория экстремальных значений · Теория вероятностей и распределения

Аппарат для моделирования максимумов и хвостов: как оценить вероятность события, которого ещё не случалось.

Markov Chainsактуально

Марковские цепи · Теория вероятностей и распределения

Процесс, в котором будущее зависит только от текущего состояния. База для MDP, MCMC и моделей поведения пользователя.

Bayesian Inferenceактуально

Байесовский вывод · Теория вероятностей и распределения

Параметры модели рассматриваются как случайные величины; данные обновляют априорное распределение в апостериорное.

Maximum Likelihoodактуально

Метод максимального правдоподобия · Теория вероятностей и распределения

Подобрать параметры так, чтобы наблюдаемые данные были при них наиболее вероятны.

MCMCактуально

Марковские цепи Монте-Карло · Теория вероятностей и распределения

Сэмплирование из апостериорного распределения, когда его нельзя выписать: цепь строится так, чтобы её стационарное распределение совпадало с целевым.

Variational Inferenceактуально

Вариационный вывод · Теория вероятностей и распределения

Апостериорное распределение не сэмплируют, а приближают простым семейством: вывод превращается в задачу оптимизации.

Logistic Mapактуально

Логистическое отображение · Динамические системы и фракталы

Простейшая формула, порождающая хаос: следующее значение равно r·x·(1−x). Модель роста популяции с ограниченным ресурсом.

Bifurcationsактуально

Бифуркации · Динамические системы и фракталы

Качественная перестройка поведения системы при плавном изменении параметра: одно равновесие сменяется двумя, цикл удваивает период.

Feigenbaum Constantактуально

Постоянная Фейгенбаума · Динамические системы и фракталы

Универсальное число δ ≈ 4.669, описывающее скорость каскада удвоений периода. Одинаково для огромного класса совершенно разных систем.

Chaosактуально

Детерминированный хаос · Динамические системы и фракталы

Полностью детерминированная система, поведение которой невозможно предсказать надолго из-за чувствительности к начальным условиям.

Lyapunov Exponentактуально

Показатель Ляпунова · Динамические системы и фракталы

Мера скорости разбегания близких траекторий. Положительное значение — признак хаоса.

Attractorsактуально

Аттракторы · Динамические системы и фракталы

Множество, к которому стремятся траектории системы: точка, цикл, тор или странный аттрактор фрактальной структуры.

Fractalsактуально

Фракталы · Динамические системы и фракталы

Объекты, устроенные одинаково на разных масштабах. Их размерность дробна, а длина зависит от линейки измерения.

Mandelbrot Setактуально

Множество Мандельброта · Динамические системы и фракталы

Множество параметров c, при которых итерации z → z² + c не уходят в бесконечность. Простейшее правило, дающее бесконечно сложную границу.

Fractal Dimensionактуально

Фрактальная размерность · Динамические системы и фракталы

Число, показывающее, как растёт «объём» объекта при уменьшении масштаба. Для фракталов оно дробное.

Self-similarityактуально

Самоподобие · Динамические системы и фракталы

Свойство структуры повторять себя на разных масштабах — точно или статистически.

1/f Noiseактуально

Розовый шум 1/f · Динамические системы и фракталы

Сигнал, спектральная плотность которого убывает обратно пропорционально частоте. Встречается в электронике, музыке, трафике и нейронной активности.

Takens' Theoremактуально

Теорема Такенса · Динамические системы и фракталы

Мост между рядом и динамикой: по одному наблюдаемому сигналу можно восстановить топологию аттрактора системы.

Complex Systemsактуально

Сложные системы · Динамические системы и фракталы

Системы из множества взаимодействующих элементов, где коллективное поведение не сводится к сумме частей.

Graph Basicsактуально

Основы графов · Графы и сети

Вершины, рёбра, веса и направления. Матрица смежности и список рёбер — два способа хранить одно и то же.

Centralityактуально

Центральности · Графы и сети

Меры важности вершины: по числу связей, по посредничеству, по близости и по влиянию соседей.

PageRankактуально

PageRank · Графы и сети

Стационарное распределение случайного блуждания по графу с телепортацией. Классический алгоритм ранжирования, который до сих пор используется как признак.

Community Detectionактуально

Поиск сообществ · Графы и сети

Разбиение графа на плотно связанные группы: клиенты одного круга, связанные аккаунты, тематические кластеры документов.

Scale-free Networksактуально

Безмасштабные сети · Графы и сети

Сети, в которых распределение степеней вершин подчиняется степенному закону: немного «хабов» и очень много слабо связанных вершин.

Small Worldактуально

Феномен малого мира · Графы и сети

Короткие пути между любыми двумя вершинами при высокой локальной кластеризации.

Network Motifsактуально

Мотивы и триады · Графы и сети

Маленькие повторяющиеся подграфы, встречающиеся чаще, чем в случайной сети. Хорошие признаки для классификации вершин.

Graph Embeddingsактуально

Графовые эмбеддинги · Графы и сети

Векторные представления вершин, в которых близость отражает связанность в графе.

Graph Neural Networksновинка

Графовые нейросети · Графы и сети

Нейросети, работающие прямо на структуре графа: представление вершины обновляется по представлениям соседей.

Message Passingактуально

Передача сообщений · Графы и сети

Единая схема, к которой сводятся почти все архитектуры GNN: собрать сообщения от соседей, агрегировать, обновить состояние.

Link Predictionактуально

Предсказание связей · Графы и сети

Задача «появится ли ребро между вершинами»: рекомендации друзей и товаров, достройка графов знаний.

Knowledge Graphsновинка

Графы знаний · Графы и сети

Факты в виде троек «субъект — предикат — объект». Структурированная память, которую всё чаще подключают к языковым моделям.

Warehouse, Lake, Lakehouseактуально

Хранилище, озеро, lakehouse · Инженерия данных

Три способа хранить аналитические данные: строгая схема, сырые файлы или гибрид с транзакциями поверх объектного хранилища.

File Formatsактуально

Форматы хранения · Инженерия данных

Колоночные форматы против строковых: почему Parquet почти всегда лучше CSV для аналитики.

Partitioningактуально

Партиционирование · Инженерия данных

Разделение данных по ключу (обычно по дате), чтобы запрос читал минимум файлов.

Analytical SQLактуально

Аналитический SQL · Инженерия данных

Оконные функции, агрегации и CTE — основной инструмент подготовки признаков на больших данных.

ETL vs ELTактуально

ETL и ELT · Инженерия данных

Преобразовывать данные до загрузки или уже внутри хранилища — и почему индустрия сместилась ко второму.

Batch and Streamingактуально

Батч и стриминг · Инженерия данных

Обработка по расписанию против непрерывной обработки событий. Разные задержки, разные гарантии, разная стоимость.

Change Data Captureактуально

Захват изменений (CDC) · Инженерия данных

Чтение журнала изменений базы вместо периодических полных выгрузок.

Orchestrationактуально

Оркестрация пайплайнов · Инженерия данных

Планировщик, который знает зависимости между задачами, повторяет упавшие и не даёт запускать одно и то же дважды.

Data Qualityактуально

Качество данных · Инженерия данных

Автоматические проверки, которые ловят поломку источника раньше, чем она попадёт в модель.

Data Contractsновинка

Контракты данных · Инженерия данных

Явная договорённость между источником и потребителем: какие поля, каких типов и с какими гарантиями.

Idempotency & Exactly-onceактуально

Идемпотентность и гарантии доставки · Инженерия данных

Что происходит при повторной обработке события и как не задвоить данные.

Sparkактуально

Spark · Инженерия данных

Распределённая обработка больших объёмов данных: тот случай, когда данные не помещаются на одну машину.

Kafkaактуально

Kafka · Инженерия данных

Распределённый журнал событий: основа потоковой архитектуры и источник данных для онлайн-признаков.

HDFS and Hadoopклассика

HDFS и экосистема Hadoop · Инженерия данных

Распределённая файловая система, придуманная под дешёвое железо, которое ломается. Файл режется на блоки, каждый лежит на нескольких узлах.

MapReduceклассика

MapReduce · Инженерия данных

Модель вычислений, в которой задача разбивается на независимую обработку кусков и последующую агрегацию. Основа, из которой вырос весь современный распределённый счёт.

NoSQL Data Modelsактуально

Модели NoSQL · Инженерия данных

Ключ-значение, широкие колонки, документы, графы: базы, где схему подчиняют запросам, а не наоборот.

Consistent Hashingактуально

Консистентное хеширование · Инженерия данных

Способ распределить ключи по узлам так, чтобы добавление или потеря узла двигали лишь малую долю данных, а не всё сразу.

Eventual Consistencyактуально

Согласованность в конечном счёте · Инженерия данных

Реплики расходятся на время и сходятся потом. Компромисс, на который идут ради доступности и скорости записи.

Distributed Coordinationактуально

Координация в распределённой системе · Инженерия данных

Кто сейчас лидер, кто жив, кому принадлежит блокировка. Вопросы, на которые в кластере не отвечает никто, пока не заведён отдельный сервис.

Open Table Formatsновинка

Табличные форматы озера · Инженерия данных

Iceberg, Delta Lake и Hudi добавляют к папке с Parquet-файлами то, чего ей не хватало: снапшоты, транзакции и эволюцию схемы.

Stateful Stream Processingактуально

Потоковая обработка с состоянием · Инженерия данных

Поток без памяти умеет фильтровать и преобразовывать. Как только нужны счётчики, окна и соединения, появляется состояние — и все сложности вместе с ним.

Requirements and SLAактуально

Требования и SLA · Системный дизайн ML-сервисов

Числа, которые нужно зафиксировать до архитектуры: задержка, пропускная способность, доступность, стоимость запроса.

Serving Architectureактуально

Архитектура инференса · Системный дизайн ML-сервисов

Модель внутри приложения, отдельный сервис или платформа инференса — три уровня связанности.

Online and Offline Featuresактуально

Онлайн- и офлайн-признаки · Системный дизайн ML-сервисов

Часть признаков считается заранее, часть — в момент запроса. Расхождение между ними — главный источник инцидентов.

Cost Modelактуально

Экономика сервиса · Системный дизайн ML-сервисов

Стоимость одного предсказания и точка, где модель перестаёт окупаться.

Cachingактуально

Кеширование · Системный дизайн ML-сервисов

Не считать то, что уже посчитано: кеш предсказаний, признаков и эмбеддингов.

Batching and Queuesактуально

Батчинг и очереди · Системный дизайн ML-сервисов

Собирать запросы в пачки, чтобы загрузить GPU, и сглаживать всплески нагрузки очередью.

Scalingактуально

Масштабирование · Системный дизайн ML-сервисов

Горизонтальное и вертикальное масштабирование инференса и правильные метрики автоскейлинга.

GPU Inferenceновинка

GPU-инференс · Системный дизайн ML-сервисов

Как выжать из видеокарты пропускную способность и не переплачивать.

Reliabilityактуально

Отказоустойчивость · Системный дизайн ML-сервисов

Что происходит, когда модель недоступна, отвечает медленно или выдаёт мусор.

Observabilityактуально

Наблюдаемость · Системный дизайн ML-сервисов

Логи, метрики и трассировки, по которым можно восстановить, что произошло с конкретным запросом.

Experiment Infrastructureактуально

Инфраструктура экспериментов · Системный дизайн ML-сервисов

Механика раскатки: разделение трафика, стабильные группы, метрики и автоматический откат.

Privacy and Securityновинка

Приватность и безопасность · Системный дизайн ML-сервисов

Персональные данные, доступы и специфические для ML риски.

LLM Servingновинка

Обслуживание LLM · Системный дизайн ML-сервисов

Отдельная инженерная дисциплина: KV-кеш, непрерывный батчинг, потоковая отдача и контроль стоимости.

Adversarial Examplesновинка

Состязательные примеры · Безопасность ИИ

Незаметное человеку возмущение входа, которое уверенно переключает ответ модели на неверный класс.

Data Poisoning and Backdoorsновинка

Отравление данных и бэкдоры · Безопасность ИИ

Атака на этапе обучения: в данные подмешивается триггер, и при его появлении на входе модель выдаёт заранее заданный ответ.

Model Privacy Attacksактуально

Атаки на приватность модели · Безопасность ИИ

Модель — сжатая копия обучающих данных: по её ответам можно узнать, кто в них был, и восстановить сами данные.

Differential Privacyновинка

Дифференциальная приватность · Безопасность ИИ

Математическая гарантия: по результату обучения нельзя определить, был ли в выборке конкретный человек.

Federated Learningновинка

Федеративное обучение · Безопасность ИИ

Обучение на данных, которые нельзя собрать в одном месте: на сервер уезжают обновления весов, а не сами данные.

Secure Inferenceактуально

Защита инференса · Безопасность ИИ

Периметр вокруг работающей модели: что происходит с запросом до того, как он дойдёт до весов, и после того, как ответ получен.

Prompt Injectionновинка

Промпт-инъекции · Безопасность ИИ

Инструкции, спрятанные во входных данных LLM: модель не отличает данные от команд и выполняет чужое указание.

Red Teamingновинка

Красная команда · Безопасность ИИ

Систематический поиск способов заставить модель сделать то, чего она делать не должна, — до релиза, а не после.

AI Governanceактуально

Управление рисками ИИ · Безопасность ИИ

Процесс вокруг модели: классификация риска, документация, контроль изменений и ответственность за решения.

Agent Securityновинка

Безопасность агентов · Безопасность ИИ

Что меняется, когда модель получает право действовать: чтение внешнего контента становится каналом атаки, а ошибка перестаёт быть просто неверным текстом.

GPU Architectureактуально

Архитектура GPU · Вычислительная инфраструктура

Тысячи простых ядер, сгруппированных в мультипроцессоры, и иерархия памяти, в которую упирается почти любое ускорение.

AI Acceleratorsновинка

Ускорители: GPU, TPU, NPU · Вычислительная инфраструктура

Чем специализированный чип отличается от универсальной видеокарты и когда эта разница окупается.

GPU in PyTorchактуально

GPU в PyTorch · Вычислительная инфраструктура

Как проверить доступность ускорителя, разложить тензоры по устройствам и понять, куда ушла видеопамять.

Distributed Trainingновинка

Распределённое обучение · Вычислительная инфраструктура

Как разложить обучение на несколько GPU: копиями модели по данным, шардами состояния или разрезанием самой модели.

Collective Operationsактуально

Коллективные операции · Вычислительная инфраструктура

AllReduce, Broadcast, AllGather — примитивы, которыми процессы обучения обмениваются тензорами.

Cluster Networkingактуально

Сеть кластера · Вычислительная инфраструктура

Топология соединений и скорость обмена, которые определяют, доедет ли обучение до линейного ускорения.

Training Throughputактуально

Ускорение обучения · Вычислительная инфраструктура

Что делать, когда число GPU фиксировано: снизить точность, накопить градиент, пересчитать активации, разгрузить загрузчик данных.

Distributed Hyperparameter Searchактуально

Распределённый подбор гиперпараметров · Вычислительная инфраструктура

Десятки обучений на кластере вместо одного: пространство поиска, параллельные trials, ранняя остановка безнадёжных.

Capacity Planningактуально

Планирование инфраструктуры · Вычислительная инфраструктура

Облако, свой сервер или аренда — выбор, который делают до первой строчки кода и переигрывают дорого. Считается не ценой железа, а полной стоимостью владения.

Infrastructure as Codeактуально

Инфраструктура как код · Вычислительная инфраструктура

Конфигурация серверов и кластера описывается файлами в репозитории, а не последовательностью команд в чужой памяти. Разница видна, когда кластер надо поднять второй раз.

Backups and Redundancyактуально

Резервирование и бэкапы · Вычислительная инфраструктура

RAID защищает от отказа диска, бэкап — от ошибки человека. Это разные задачи, и подмена одного другим обнаруживается в худший момент.