Современные исследования в области разработки и применения ИИ-моделей обнаружили, что те из них, которые обучались преимущественно на контенте, созданном ими самими или другими ИИ-моделями, постепенно теряли точность и осмысленность результатов, и в конечном итоге становились бесполезными. Этот эффект получил название «коллапс моделей машинного обучения». В статье рассматриваются причины и последствия данного явления, а также способы борьбы с ним.
В сообществе разработчиков и пользователей систем искусственного интеллекта (ИИ) распространено мнение, что ИИ-модель хороша настолько, насколько хороши данные, на которых она обучалась. Однако многие из них столкнулись с тем, что генеративные модели, прекрасно работавшие сразу после развертывания, со временем начинают деградировать с различной интенсивностью.
Выдаваемые ими результаты становились все более повторяющимися, ошибочными и бессмысленными. Как показали исследования, опубликованные в работе Shumailov, I., Shumaylov, Z., Zhao, Y. et al. AI models collapse when trained on recursively generated data. Nature 631, 755–759 (2024)., зачастую это приводило к полной потере работоспособности модели и могло происходить по разным причинам и в разных моделях. Но чаще всего наблюдалось на этапе обучения генеративных моделей ИИ.
Это явление получило название «коллапс моделей машинного обучения» и в настоящее время рассматривается как фундаментальная проблема ИИ, способная оказать негативное влияние на его глобальное развитие. Схема процесса возникновения коллапса модели представлена на рисунке.
Схема коллапса модели
Причины данного явления заключаются в том, что в интернете и других источниках информации, которые используются для обучения генеративных моделей, становится все больше так называемых «синтетических данных», т.е. таких, которые сами были сгенерированы ИИ. В результате ошибки, допущенные одной моделью, воспроизводятся следующей моделью, обученной на ее результатах, а затем дополняются новыми ошибками.
Изначально генеративный ИИ и, в частности, LLM обучались преимущественно на данных и контенте, созданных людьми (книги, статьи, контент сайтов, комментарии в социальных сетях, изображения, видео) или информационными системами, не использующими ИИ. В отличие от синтетических данных, генерируемых моделями искусственного интеллекта, такие данные далее будем называть естественными данными. Однако по мере распространения синтетического контента, все больше моделей ИИ используют его для обучения, что приближает их к коллапсу.
В целом, механизм коллапса достаточно прост и понятен. ИИ-модель первого поколения обучается на естественных данных. Но любой процесс машинного обучения порождает ошибки, которые переходят в синтетический контент, сгенерированный данной моделью. Затем на этих результатах обучается следующая модель и тоже вносит свои ошибки. В итоге, спустя какое-то число таких итераций, очередная модель окажется обученной на одних, или почти одних, ошибках и полностью утратит работоспособность.
Феномен коллапса модели имеет серьезные последствия для развития ИИ, что побудило исследователей искать пути для его предотвращения и снижения негативных последствий. К таким решениям относятся отслеживание происхождения данных, сохранение доступа к их исходным источникам и «разбавление» синтетических данных реальными при обучении моделей ИИ. Следует отметить, что Общий регламент по защите данных ЕС (General Data Protection Regulation — GDPR) напрямую требует от организаций документировать все действия с данными, начиная от их происхождения и заканчивая выводом из использования, чтобы подтвердить законность обработки и соблюдение прав субъектов данных.
Иногда популярные модели генеративного ИИ даже попадают в заголовки новостей из-за выдачи ими неточных или бессмысленных результатов, также называемых «галлюцинациями» ИИ. Хотя эти галлюцинации порой выглядят забавными, негативные последствия коллапса ИИ-модели могут оказаться весьма затратными и даже трагическими:
Следует отметить, что для различных типов моделей генеративного ИИ явление коллапса проявляется по-разному. Так, для LLM характерно формирование бессмысленных, незначимых и даже противоречащих здравому смыслу результатов. Для моделей распознавания текста типично то, что для различных рукописных образов букв и цифр она начинает выдавать одни и те же символы. Модели генерации изображений, например лиц, обученные на своих предыдущих генерациях, начинают выдавать все более похожие лица. Модели, используемые для кластеризации данных, в процессе их коллапса строят все менее различимые кластеры.
Пример коллапса модели при обучении на синтетических данных или частично синтетических данных, представлен на рисунке ниже. Несложно увидеть, что с каждым поколением качество картинки снижается.
Коллапс модели, обученной на синтетических данных
По мере того, как коллапс моделей ИИ становился все большей проблемой, активизировались исследования, направленные на разработку методов борьбы с этим явлением. В настоящее время можно выделить следующие стратегии противодействия коллапсу моделей.
Сохранение источников данных, не связанных с ИИ. Предпочтительно использовать источники данных, сформированные естественным образом людьми или информационными системами, не использующими ИИ (например, OLTP-системами). Обучение моделей ИИ на таких данных позволяет избежать потери информации, связанной с редкими событиями, такими как предпочтение потребителем необычного продукта или использование учеными информации из редко цитируемого исследования. При этом полученный результат может не быть распространенным, но при этом оставаться релевантным и точным. Сохранение оригинальных источников данных позволяет периодически переобучать на них деградировавшую модель, восстанавливая ее работоспособность.
Отслеживание происхождения данных. Применение механизмов, позволяющих разделить естественные и синтетические данные, чтобы минимизировать использование последних для обучения ИИ-моделей.
Использование при обучении одновременно естественных и синтетических данных. Если в процессе обучения ИИ модели совместно использовать синтетические и естественные данные, это позволяет снизить вероятность ее коллапса и минимизировать его проявления.
Использование более качественных синтетических данных. Предобработка синтетических наборов данных с целью сделать их безопасными с точки зрения возможного коллапса обученных на них моделей.
Применение инструментов управления ИИ. Инструменты управления ИИ могут помочь снизить вероятность коллапса за счет обеспечения мониторинга и контроля как обучающих данных, так и результатов работы модели. При возникновении проблем это позволит внести соответствующие коррективы до того, как они приведут к значимым потерям. Для этого можно:
Если сделать мониторинг частью процесса обучения, можно будет заранее выявлять потенциальные признаки коллапса модели и своевременно активизировать механизмы борьбы с ними.
Интеграция обратной связи от пользователя на всех этапах обучения. Добавление данных, созданных людьми, позволяет привести модели в соответствие с реальным распределением данных и уменьшить количество ошибок. Возможны несколько типов такой связи:
При эффективном использовании обратной связи от человека, модели ИИ становятся более устойчивыми, сохраняют соответствие исходному распределению и снижают вероятность ухудшения производительности в последующих поколениях. Эта стратегия гарантирует, что коллапс модели будет происходить медленнее или его можно будет предотвратить.
Дополнение синтетических данных. Хотя использование синтетических данных считается основной причиной коллапса, при правильном использовании они могут помочь предотвратить его путем добавления их к естественным данным, созданным человеком, а не заменой их. При этом можно выделить следующие подходы:
Такой подход позволяет создавать надежные базовые модели, предотвращать необратимые ошибки и обеспечивать надежность ИИ-моделей на протяжении нескольких поколений.
Основными механизмами коллапса моделей ИИ являются следующие.
Потеря редких событий. С точки зрения статистики этот эффект ещё называют «потеря хвостов распределения». Дело в том, что поскольку ни одна модель не обладает абсолютной точностью, выдаваемые ею после обучения синтетические данные всегда будут иметь статистическое распределение несколько отличающееся от распределения обучающих данных. Поэтому после нескольких итераций обучения на синтетических данных модель может просто «забыть» исходное распределение.
При этом в первую очередь «забываются» редкие события, имеющие низкую вероятность появления и образующие так называемые «хвосты» распределения вероятностей. Иными словами, модель будет тяготеть к наиболее вероятным и общеизвестным данным при поиске ответа. Т.е. она будет выдавать не то, что правильно или важно, а то, что наиболее популярно и востребовано.
Потеря хвостов распределения
Коллапс моделей ИИ, связанный с потерей хвостов распределения, обычно называют ранним коллапсом, поскольку он происходит на первых стадиях процесса. Поздний коллапс имеет место, когда распределение выходных данных модели уже совершенно не похоже на исходное и обычно имеет значительно меньшую вариативность. В результате в данных происходит размывание четких закономерностей и результаты становятся совсем непохожими на обучающие данные.
При коллапсе модель начинает преувеличивать значимость вероятных событий и недооценивать значимость маловероятных. Со временем в синтетических данных начинают преобладать вероятные события, а менее распространенные, но все же важные части данных, «хвосты», становятся менее значимыми. Эти «хвосты» необходимы для поддержания точности и разнообразия результатов работы модели. С каждым новым поколением в данные проникают ошибки, и модель все чаще интерпретирует их неверно.
Ошибка функциональной аппроксимации. Этот тип ошибок возникает на этапе обучения модели и обусловлен ограничениями используемых для этого алгоритмов. Примером может быть неудачный выбор целевой функции, что приводит к тому, что модель не может достаточно точно аппроксимировать функцию в обучающих данных.
Проще говоря, каждая генеративная модель пытается научиться воспроизводить математическую функцию, которая преобразует входные данные (например, текстовое описание или шаблон изображения) в выходные, имитирующие интеллектуальную деятельность человека. На начальном этапе обучения модели ИИ эта функция хорошо аппроксимирует реальность, поскольку основана на высококачественных данных из различных источников. Однако по мере того, как модели начинают обучаться на синтетических данных, аппроксимация начинает ухудшаться.
Поначалу это ухудшение практически незаметно, и результаты работы модели по-прежнему кажутся логичными и точными, но со временем функциональная ошибка накапливается. Вместо того чтобы изучать сложную непрерывную функцию, представляющую исходное распределение данных, модель начинает изучать приближенное распределение, центрированное вокруг ее собственных результатов. По сути, модель начинает оптимизировать упрощенные шаблоны, которые она сгенерировала ранее, а не более богатые и сложные данные, на основе которых была создана базовая модель.
С математической точки зрения это можно представить как превращение модели из сложной детализированной кривой в узкий пик, почти как дельта-функцию, в которой сохраняются только наиболее типичные результаты.
Потеря моделью исходного распределения
Это происходит, когда маловероятные события и редкие примеры исчезают из обучающих наборов данных, из-за чего модель теряет информацию. В итоге происходит коллапс модели, и, хотя она по-прежнему генерирует связный текст, она уже не отражает реальное распределение данных.
Ошибка функциональной аппроксимации особенно опасна тем, что она маскируется за внешне стабильными показателями эффективности. Модель может хорошо справляться со стандартными тестами, но не справляться с новыми или сложными задачами. Без повторного введения естественных и синтетических данных в сбалансированных пропорциях или без участия человека, который мог бы скорректировать ошибку, она накапливается в течение нескольких поколений, что приводит к снижению эффективности и необратимому краху модели.
Ошибка функциональной выразительности. Этот тип ошибки возникает из-за ограниченной выразительности аппроксиматора. Иными словами, у модели не хватает возможностей, чтобы представить все возможные функции. В частности, нейронные сети являются универсальными аппроксиматорами только при условии, что их размер стремится к бесконечности.
Ошибка статистической аппроксимации. Это основной тип ошибки, который возникает из-за конечного количества выборок при обучении модели. Она исчезает, если количество выборок стремится к бесконечности, но на практике возникает из-за ненулевой вероятности потери информации на каждом шаге повторной выборки.
Усиление смещения модели. Одной из наиболее недооцененных и важных причин коллапса моделей ИИ является усиление смещения в ходе последовательных процессов обучения. Когда модели ИИ многократно обучаются на синтетических данных, начинают накапливаться небольшие погрешности относительно исходного распределения данных. С каждым новым поколением данных эти ошибки приводят к масштабным искажениям в том, как модель интерпретирует и воспроизводит информацию.
На ранних этапах обучения базовая модель обычно обучается на разнообразных данных, полученных от людей, которые отражают вариативность реального мира, включая язык, контекст, интонацию и т.д. Однако по мере того, как обучающие наборы данных постепенно смещаются в сторону синтетических данных распределение данных сужается. Модель начинает обучаться на уже предвзятом представлении реальности. Когда этот процесс повторяется в последующих поколениях, модель экспоненциально усиливает эти смещения.
Данное явление особенно опасно тем, что создает иллюзию последовательности и улучшения. Результаты могут казаться логичными и точными, но на самом деле понимание модели становится все более поверхностным и однообразным. Без корректирующих мер, таких как переобучение на высококачественных данных, полученных от людей, организации обратной связи от пользователей или восстановление баланса между реальными и синтетическими данными, модель будет давать все более плохие результаты. Усиление смещения превращает небольшие неточности в большие ошибки, снижая соответствие модели реальности и ускоряя ее деградацию.
Проблема коллапса ИИ-моделей вызывает серьезную обеспокоенность с точки зрения дальнейшего развития ИИ по мере того, как естественный контент в мире заменяется синтетическим. Существует мнение, что компании, занимающиеся разработкой ИИ, исчерпали доступные естественные данные для обучения своих моделей, что привело к необходимости перехода на синтетические данные. Действительно, генеративные системы ИИ сегодня создают контент в огромных масштабах, поэтому их коллапс — это не просто теоретическая концепция, а глобальная проблема, от успешного решения которой зависит будущее технологий ИИ и всего, что с ними связано.
Другие материалы по теме:
