ВЕКТОР ИНТЕЛЛЕКТА

Михаил Бахтерев (лаборатория анализа сложных систем ИММ УрО РАН, на фото справа) назвал свой доклад «GPT и призраки интеллекта». В последнее время много говорят о многослойной нейросетевой большой языковой модели — GPT (GenerativePre-trainedTransformer, т.е. генерирующем предобученном преобразователе). Этой нейросети приписывают необычайные интеллектуальные возможности, в том числе способность сдавать разнообразные экзамены. Как же устроена эта нейросеть, какие технологические горизонты она открывает перед человечеством и какие угрозы таит для него?

Искусственные многослойные нейросети — один из методов машинного обучения,   способ численного решения обратных задач. Обратная задача заключается в поиске параметров некоторой математической модели так, чтобы эта модель наиболее правдоподобным образом описывала массив данных.

Фрэнк Розенблат, создатель первой широко известной нейросети — персептрона (1957), опирался на грубую абстрактную модель живого нейрона. Для построения современных нейросетей используют все ту же, но несколько обобщенную модель. Поэтому о нейросети уместнее говорить не в биологических терминах, а в терминах математических преобразований многомерных пространств.

Основным строительным блоком нейросетей является слой нейронов, отображающий входной вектор в выходной. «Сердце» слоя — матрица параметров, на которую умножается входной вектор перед преобразованием его в выходной некоторой предопределенной для слоя нелинейной функцией. Современную нейросеть строят из множества слоев так, чтобы выходные значения предыдущих слоев были входами для следующих. Так получается вычислимая многомерная функция, которую задает гигантское выражение, записанное в память компьютера специальным образом и содержащее огромное количество параметров, которые настраиваются в процессе обучения.

GPT оперирует токенами — грубыми аналогами слогов, из которых состоят слова в письменной речи. Параметры GPT подбираются так, что позволяют ей наиболее точно описывать функцию условного распределения следующего по тексту токена в зависимости от контекста из нескольких десятков тысяч предыдущих токенов, встретившихся в нем.

GPT обучают в три этапа. Первый этап предобучения самый длительный. На этом этапе параметры модели подбирают так, чтобы она могла генерировать текст, похожий на тот, что представлен в гигантском корпусе текстов, собранных из различных источников в интернете, в том числе из научных журналов и архивов препринтов. Второй этап — тонкая настройка. В ответ на вопросы во входном контексте GPT может генерировать разное, ведь не все тексты в интернете одинаково адекватны. Поэтому несколько десятков экспертов составляют эталонный набор вопросов, ответов GPT и эталонных ответов. На основе этого корпуса данных учат более простую нейросеть-рецензента оценивать отличие предсказанного GPT следующего токена от желаемого: чем меньше отличие, тем лучше. Эта нейросеть-рецензент является критерием для настройки параметров на втором этапе обучения GPT. Третий этап обучения основан на реакциях пользователей на ответы на их запросы в уже действующей системе. GPT версии 3.5 содержит 700 гигабайтов параметров, обучена на корпусе текста размером в 420 гигабайтов, система ответов на запросы пользователей ежедневно собирает информацию о сотне миллионов диалогов и реакций пользователей в них. Эти данные используются для обучения следующей версии GPT. Изюминкой нейросетей-преобразователей, обеспечивающих их эффектность, являются слои внимания. Такой слой внимания обучается выделять в текущем контексте токены, наиболее важные для определения следующего токена, и уже по их значениям строит предсказание.

Можно ли считать, что у такой системы есть зачатки разума? На мой взгляд, нет, и для этого есть два основания. Во-первых, эксперименты. СМИ наполнены восторженными отзывами о возможностях GPT: и экзамены медицинские она сдает, и эссе пишет, и задачки решает. Однако в использованном для обучения GPT корпусе текстов встречались и все эти экзамены, и все эти задачи, и эссе великих писателей, причем не по одному разу. GPT воспроизводит то, что сохранилось в параметрах во время обучения, с некоторыми вариациями. Кроме того, в СМИ в основном описывают только удачные и интересные сессии общения с GPT. Стоит задать чуть более широкий вопрос вслед за стандартным, и модель «уносит в галлюцинации» на волнах вероятности. Логическую несостоятельность она обнаруживает прежде всего в научно-технических вопросах, требующих высокой строгости рассуждений.

Во-вторых, разум человека действует в физической реальности, которую современная наука описывает на языке математики. Язык, ограниченный лишь вычислимыми функциями, качественно отличается от математики физической реальности — вычислимые функции формируют менее красочный математический пейзаж. Нейросеть, полученная с текстового слепка «коллективного» человеческого разума, так же похожа на прообраз, как компьютерная игра на реальность. Как ни парадоксально это звучит, если бы GPT была разумной, это было бы лучше, это бы стало интеллектуальным вызовом человечеству. Но разума она не демонстрирует.

Она хорошо генерирует тексты. Благодаря этому эффективность труда людей, профессия которых — производить тексты, возрастет на порядок. Однако многие из них работают в областях, связанных с манипуляцией общественным сознанием, — это разработка различных сайтов, продвижение товаров, вообще самый разнообразный пиар, создание ферм ботов, порождающих ощущение в социальных сетях, что множество людей разделяет то или иное мнение. Уже сейчас эффект таких приложений GPT заметен — в сети стало гораздо труднее найти достоверную информацию.

Другая опасность заключается в снижении интеллектуального уровня населения. Пользуясь «услугами» нейросети, человек привыкает только потреблять информацию и отучается думать сам, а между тем мозгу, чтобы развиваться, необходима работа в так называемом дефолт-режиме, когда человек обдумывает собственные мысли. Как показали недавние исследования психиатров, даже бред шизофреников стал нынче менее содержательным, чем в прошлые времена. Возможности GPT активно используют в компьютерных играх для создания бесконечных сценариев развития событий, все глубже погружая людей в виртуальные сгенерированные пространства. Впрочем, об этой опасности уже сказано немало.

GPT пытаются продвинуть в медицину, в юридическую практику, в политическую сферу. Обладая огромным объемом представлений о связи между словами, нейросеть тем не менее в силу своей архитектуры неспособна делать логические выводы. Решения принимает тот, кто ею управляет (вспомните о второй стадии тонкой настройки), и это гораздо опаснее, чем если бы GPT была настоящим сверхинтеллектом.

Зав. лабораторией технологической термодинамики Института механики сплошных сред Пермского ФИЦ УрО РАН кандидат физико-математических наук Илья Колесниченко (фото на с. 7 вверху) рассказал об актуальных исследованиях в области магнитной гидродинамики и теплофизики электропроводных сред и о магнитогидродинамических технологиях, которые находят применение в энергетике и металлургии. Эти работы сотрудники молодежной лаборатории технологической гидродинамики ведут совместно с коллегами из лаборатории физической гидродинамики ИМСС ПФИЦ УрО РАН, которую возглавляет доктор физико-математических наук, профессор Петр Готлобович Фрик.

Результаты исследования электровихревых течений актуальны для создания жидкометаллических батарей. Это накопители электроэнергии большого объема. Умная система контроля, разработанная на основе исследований гидродинамических процессов, позволит блокировать развитие нежелательных магнитогидродинамических и теплофизических процессов, например, компенсировать колебания нагрузки станций АЭС (тепловых и на быстрых нейтронах) и термоядерных станций, стабилизировать выработку электроэнергии от восполняемых источников. А в будущем гидроаккумулирующие электростанции могут быть заменены на площадки с батареями, что предпочтительнее с экологической точки зрения. К тому же, удельная стоимость хранения энергии в жидкометаллических батареях самая низкая.

Разработаны электромагнитный перемешиватель и портативная установка «Топаз» на его основе. Система управления позволяет обеспечить наилучшее перемешивание, «конструировать» магнитные поля заданной топологии, встраивать устройство в существующие технологии благодаря разборной конструкции. Совместно с Институтом высокотемпературной электрохимии УрО РАН изучается возможность применения установки для задач атомной промышленности.

Созданный пермскими специалистами металлургический стенд может использоваться для различных задач: в переработке отходов металлорежущего производства, горнодобывающей и металлургической промышленности, в исследовании и изготовлении различных сплавов, для раздельной утилизации бытовых отходов из цветного металла.

Пермские ученые разработали целую линейку электромагнитных насосов, расходомеров, измерителей чистоты для реакторов на быстрых нейтронах, обладающих существенными преимуществами по сравнению с существующими аналогами. Так, электромагнитный индукционный корреляционный бесконтактный расходомер для высокотемпературных металлов не требует калибровки, подстраивается под разные диапазоны измерения расхода. Его можно устанавливать на действующий металлопровод с теплоносителем без остановки процесса (поскольку он разборный), использовать при высоких температурах теплоносителя, он легко масштабируется на разные диаметры металлопровода.

Партия электромагнитных насосов бегущего поля, разработанных в ИМСС ПФИЦ УрО РАН и изготовленных ООО «КБ АрмСпецМаш», прошла полный цикл приемо-сдаточных испытаний и сдана заказчику — Белоярской АЭС (7 насосов трех типов). Испытательный стенд для работы с жидким натрием, запущенный в институте в 2019 г., в 2023-м получил аккредитацию в Росатоме. Сейчас проводятся приемо-сдаточные испытания электромагнитных насосов для исследовательского реактора МБИР (10 насосов двух типов).

Вторая научная сессия ОУС по математике, механике и информатике пройдет в ИММ УрО РАН в конце мая.