Как на самом деле работает нейросеть: без магии
Слово «нейросеть» обросло таким количеством смыслов, что иногда кажется, будто внутри происходит что-то непостижимое. На самом деле базовая идея проста до обиды, и её можно объяснить без единой формулы.
Это большая функция
Нейросеть — это функция. Ей на вход подают числа, она возвращает числа. Всё. Разница с обычной функцией из школы в том, что у неё очень много внутренних параметров, которые заранее неизвестны.
Например, на вход подаётся картинка, разложенная в список чисел (яркость каждого пикселя), а на выходе — вероятность, что на картинке кошка. Между входом и выходом — миллионы промежуточных вычислений.
Веса — это просто числа
Параметры сети называют «весами». Это числа, которые умножаются на входные данные на каждом шаге. Изначально они случайны — то есть сеть в начале своей жизни выдаёт полную чушь.
Обучение — это процесс подбора таких чисел, при которых на обучающих примерах ответы становятся правильными. Ничего мистического: берём пример, смотрим, насколько ответ отличается от правильного, и чуть-чуть сдвигаем все веса в ту сторону, где ошибка меньше. Повторить несколько миллионов раз.
Почему это работает
Потому что правильные ответы на множестве примеров нельзя получить случайными числами. Если сеть ошибается редко на тысячах разных картинок, значит внутри неё сформировались какие-то обобщённые признаки: контуры, текстуры, соотношения частей. Не потому что кто-то их туда заложил, а потому что без них нужную статистику не получить.
Откуда уверенные ошибки
Главный источник неверных, но очень уверенных ответов — данные, на которых сеть училась. Если в обучающем наборе не было похожего случая, сеть всё равно выдаст какой-то ответ: у неё нет встроенного механизма сказать «я не знаю». Она всегда возвращает число.
Второй источник — подсказки в вопросе. Сеть продолжает то, что ей дали, и если формулировка намекает на определённый ответ, она с большой вероятностью его и выдаст.
Что из этого следует на практике
- Модель хороша ровно настолько, насколько похожи её обучающие данные на вашу задачу.
- Уверенный тон ответа ничего не говорит о его правильности.
- Проверяемые вещи лучше проверять, а не спрашивать.
- Формулировка вопроса влияет на ответ сильнее, чем кажется.
Всё остальное — инженерия: сколько слоёв, как считать, как не перегреть видеокарту. Но база именно такая.