Простейший нейрон: взвешенная сумма входов и пороговая функция. Исторический старт всей области.
Ключевые тезисы
- Обучается правилом коррекции ошибки и сходится только на линейно разделимых данных.
- Неспособность решить XOR стала причиной первой «зимы ИИ».
- Ограничение снимается добавлением скрытого слоя.
Подробный разбор
2 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.
1Модель нейрона
Взвешенная сумма входов и порог — минимальная обучаемая единица.
- истинное значение целевой переменной
- объект: вектор признаков
- веса модели — то, что подбирается при обучении
- транспонирование: строка вместо столбца
Перцептрон Розенблатта (1958) обучался простым правилом: если объект классифицирован неверно, веса сдвигаются в его сторону: . Для линейно разделимой выборки алгоритм гарантированно сходится за конечное число шагов.
2Проблема XOR
Почему одного слоя принципиально недостаточно.
| XOR | ||
|---|---|---|
| 0 | 0 | 0 |
| 0 | 1 | 1 |
| 1 | 0 | 1 |
| 1 | 1 | 0 |
Ни одна прямая не отделит пары от . Минский и Пейперт показали это в 1969-м, и интерес к нейросетям упал на десятилетие.
Решение — скрытый слой: два нейрона строят новые признаки (например, «хотя бы один» и «оба»), в которых задача становится линейно разделимой. Это ровно та же идея, что и ядровой трюк в SVM.
Связанные темы
Нейросеть по кирпичикам
MLP80%
Многослойный перцептрон · Глубокое обучениеНесколько полносвязных слоёв с нелинейностями — универсальный аппроксиматор функций.
Activation functions80%
Функции активации · Глубокое обучениеНелинейности между слоями, без которых сеть не сложнее линейной модели.
Loss functions80%
Функции потерь · Глубокое обучениеФормализуют цель обучения. Выбор потерь важнее выбора архитектуры чаще, чем кажется.
Backpropagation80%
Обратное распространение ошибки · Глубокое обучениеЭффективное вычисление градиентов по всем параметрам сети за один обратный проход с помощью правила цепочки.
Optimizers80%
Оптимизаторы · Глубокое обучениеПравила обновления весов по градиенту: от чистого SGD до адаптивных методов.
Logistic Regression80%
Логистическая регрессия · Классическое машинное обучениеЛинейная модель классификации: сигмоида переводит линейную комбинацию признаков в вероятность класса.