Одна из ключевых мыслей, которую Илья Суцкевер несколько раз аккуратно проводит в интервью, — проблема современных LLM не столько в данных, сколько в обобщении.
Модели умеют решать очень сложные задачи, если они хорошо описаны и похожи на то, что уже было в обучении. Но стоит немного изменить формулировку, контекст или порядок шагов — и качество резко падает.
В корпоративных системах это особенно заметно.
Мы регулярно видим одну и ту же картину: модель отлично справляется с задачей А, затем с задачей B, которые логически почти идентичны, но внезапно начинает «вести себя иначе». Не потому, что задача сложнее, а потому что перенос опыта между похожими сценариями у неё слабый.
Для длинных процессов это критично. Корпоративные сценарии — это не отдельные запросы, а цепочки действий: данные → проверки → условия → исключения → возвраты. Человек в таких цепочках довольно быстро понимает общий принцип и дальше действует по аналогии. LLM — нет. Она каждый раз решает задачу как новую, даже если различия минимальны.
Суцкевер прямо говорит об этом разрыве: модели показывают впечатляющие результаты в конкретных задачах, но плохо переносят знания между ними. И это не лечится простым добавлением данных или увеличением модели.
В практике это выглядит так:
- модель уверенно рассуждает;
- логика на уровне отдельных шагов корректна;
- но в целом решение «разваливается» при первом нетиповом ответвлении процесса.
Именно поэтому в корпоративных системах ИИ нельзя рассматривать как универсальный интеллект. Его ценность — в локальном ускорении, а не в глобальном понимании процесса.
Пока у моделей есть этот потолок по обобщению, архитектура и границы применения важнее, чем «умность» самой модели. И это, пожалуй, один из самых трезвых выводов из интервью Суцкевера, который полностью подтверждается практикой.
В следующем посте разберу ещё одну связанную ловушку — почему подгонка под тесты делает модели красивыми, но опасными в реальной разработке.