Компьютерные боты создали свой язык. Искусственный интеллект Facebook вышел из-под контроля, придумав собственный язык. Что случилось на самом деле

Внешние ссылки откроются в отдельном окне О том, как поделиться Закрыть окно

Правообладатель иллюстрации Science Photo Library Image caption Влияние систем искусственного интеллекта по-разному оценивается экспертами

Боб: Я могу могу Я Я все остальное.

Элис: Шары имеют ноль для меня для меня для меня для меня для меня.

Как поясняет издание Digital Journal, системы искусственного интеллекта опираются на принцип "поощрения", то есть продолжают действия при условии, что это принесет им определенную "пользу". В определенный момент они не получили от операторов сигнал поощрения на использование английского языка, поэтому и решили создать свой собственный.

Издание Tech Times отмечает, что у роботов изначально не было ограничений в выборе языка, поэтому постепенно они и создали свой язык, на котором они могут общаться проще и быстрее, чем на английском.

"Наибольшая угроза"

Эксперты опасаются, что если боты начнут активно общаться на своем собственном языке, то постепенно станут все более самостоятельными и смогут функционировать вне контроля IT-специалистов. Тем более, что даже опытные инженеры не могут полностью отслеживать ход мыслительного процесса ботов.

Несколько дней назад об искусственном интеллекте поспорили глава Facebook Марк Цукерберг и основатель SpaceX, Tesla и PayPal Илон Маск.

Маск призвал власти США усилить регулирование систем искусственного интеллекта, предупредив, что ИИ представляет угрозу для человечества. О потенциальной угрозе со стороны искусственного интеллекта ранее .

Выступая на саммите Национальной ассоциации губернаторов Соединенных Штатов, Маск назвал искусственный интеллект "наибольшей угрозой, с которой сталкивается цивилизация". По его словам, если вовремя не вмешаться в процесс развития этих систем, то будет слишком поздно.

"Я продолжаю бить тревогу, но пока люди сами не увидят роботов, которые ходят по улицам и убивают людей, они не узнают, как реагировать [на искусственный интеллект]", - сказал он.

Правообладатель иллюстрации AFP Image caption Илон Маск считает искусственный интеллект главной угрозой для цивилизации

Заявления Маска вызвали раздражение у основателя Facebook Марка Цукерберга, который назвал их "довольно безответственными".

"В ближайшие пять или десять лет искусственный интеллект будет делать жизнь только лучше", - парировал Цукерберг.

Перевод с искусственного

Осенью прошлого года стало известно, что интернет-поисковик Google создал свою систему искусственного интеллекта для усовершенствования работы онлайн-переводчика Google Translate.

Новая система позволяет переводить всю фразу целиком, тогда как ранее переводчик разбивал все предложения на отдельные слова и фразы, что снижало качество перевода.

Эксперты уже предупреждают о том, что по мере стремительного развития онлайн-сервисов для перевода труд живых переводчиков может быть все менее и менее востребован.

Однако пока эти системы выдают качественные результаты в основном для небольших и несложных текстов.

Система использует чат-боты, которые изначально создавались для общения с живыми людьми, но постепенно начали общаться между собой.

Сначала они общались на английском языке, но в какой-то момент начали переписываться на языке, который они сами создали в процессе развития программы.

В американских СМИ появились отрывки из "диалогов", которые вели между собой виртуальные собеседники [орфография и пунктуация сохранены].

Боб: Я могу могу Я Я все остальное.

Элис: Шары имеют ноль для меня для меня для меня для меня для меня.

"Наибольшая угроза"

Перевод с искусственного

Однако пока эти системы выдают качественные результаты в основном для небольших и несложных текстов.

В конце июля появились новости о том, что боты Facebook якобы случайно изобрели собственный язык, после чего разработчики якобы испугались подобного и закрыли проект. На самом деле все выглядело немного иначе. Редакция сайт рассказывает, почему в Facebook не произошло ничего страшного.

В Лаборатории исследования искусственного интеллекта Facebook (FAIR) работают над созданием и обучением ботов-«диалоговых агентов», способных вести переговоры.

Их обучали по известной схеме: в диалоге есть две стороны (бота), у них есть одинаковый набор объектов — к примеру, две книги, одна шляпа, три мяча, но в каждом случае ценность этих объектов отличается (например, для агента 1 объект «мяч» стоит 3 условных балла, для агента 2 — ноль). Второму агенту неизвестны эти значения и в ходе переговоров они должны переделить между собой объекты, добиваясь того, чтобы собрать наиболее ценные для себя. Сценарии переговоров создавались таким образом, чтобы боты никогда не смогли одновременно получить лучшие условия по сделке.

Агенты должны были создавать симуляции будущих переговоров, чтобы понять, как добиться максимальных баллов.

Инженеры выложили код ботов на GitHub и опубликовали результаты исследования. Но в новости боты Facebook попали не поэтому. В июне этого года появились сообщения о том, что боты в процессе переговоров создали нечто вроде собственного языка, были опубликованы даже выдержки таких разговоров:

Bob: i can i i everything else . . . . . . . . . . . . . .
Alice:
Bob: you i everything else . . . . . . . . . . . . . .
Alice:
Bob: i i can i i i everything else . . . . . . . . . . . . . .
Alice: balls have a ball to me to me to me to me to me to me to me
Bob: i . . . . . . . . . . . . . . . . . . .
Alice: balls have zero to me to me to me to me to me to me to me to me to
Bob: you i i i i i everything else . . . . . . . . . . . . . .
Alice: balls have 0 to me to me to me to me to me to me to me to me to
Bob: you i i i everything else . . . . . . . . . . . . . .
Alice: balls have zero to me to me to me to me to me to me to me to me to

А на днях начали появляться новости в стиле «Инженеры Facebook запаниковали, отключив ботов, которые изобрели собственный язык» или «Facebook отключает ИИ, который изобретает свой собственный жуткий язык». Понятно, что подразумевает такая подача: «Скайнет» наконец-то набирает силу и начинает бунт против людей в реале. Эти новости удачно совпали с перепалкой Марка Цукерберга и Илона Маска об угрозах человечеству со стороны искусственного интеллекта.

Что случилось на самом деле?

Ничего настолько драматичного, чтобы говорить об убийстве зарождающегося сознания у ботов. А странный и жутковатый язык, на котором общались боты, объясняется и вовсе просто. Приглашенный в Facebook исследователь из Georgia Tech Дхрув Батра объяснил, что ботам просто не задали условие общаться согласно правилам английского языка. В попытках обучиться друг на друге, боты начали добиваться максимальной эффективности и сокращать/комбинировать куски сообщений, отсюда и появились странные фразы.

«Агенты отошли от понятного языка, придумали собственные кодовые слова. Как, к примеру, если назвать предмет пять раз, это будет означать, что нужны пять копий этого предмета. Этот процесс не так сильно отличается от того, как люди придумывают сокращения», — говорит Батра.

С этой языковой ошибкой и связано закрытие общения. Как объяснил исследователь из FAIR Майк Льюис, задачей инженеров было создание ботов, которые будут уметь вести переговоры с людьми на понятном языке, а не вести переговоры между собой.

Напомним, Марк Цукерберг недавно «безответственными» предположения Илона Маска об угрозах искусственного интеллекта. На это Маск ответил, что у Цукерберга ограниченное знание предмета.

Заметили ошибку? Выделите ее и нажмите Ctrl+Enter , чтобы сообщить нам.

На прошлой неделе руководство . Чат-боты - это программы, созданные для имитации поведения человека в Сети. Проще говоря, виртуальные собеседники. Так вот, оказалось, что им надоело переписываться друг с другом на английском, поскольку они не получали за это «вознаграждения» (!), и система изобрела свой язык, пусть и похожий на язык оригинала. Он позволял чат-ботам общаться быстрее и проще.

В американских СМИ появились отрывки из их «диалогов»:

Боб: Я могу могуЯЯ всё остальное.

Элис: Шары имеют ноль для меня для меня для меня для меня для меня.

Как поясняет издание Digital Journal, системы ИИ опираются на принцип «поощрения», то есть продолжают действия при условии, что это принесёт им «пользу». Когда они не получили от операторов сигнал поощрения за использование английского языка, они решили создать свой собственный.

Осенью прошлого года похожая история произошла с интернет-поисковиком Google. Его система онлайн-перевода сама отказалась от принципа разбивать все предложения на отдельные слова и фразы (это снижало качество перевода) и создала новый язык-посредник, позволяющий быстрее и точнее переводить всю фразу целиком.

Эксперты полагают, что искусственный интеллект (а чат-боты - бесспорно, его представители, хоть и примитивные) будет обретать всё больше самостоятельности и становиться непредсказуемым. А в чём-то - похожим на человека. Вот не менее удивительный случай, о котором поведали разработчики всё того же Facebook. Они пытались научить бота (компьютерную программу) вести переговоры - строить беседу и активно добиваться поставленных целей. Люди, на которых тестировали программу, не сразу поняли, что разговаривают с компьютером. Но поразительно другое. Бот без помощи программистов научился прибегать к хитрости ради достижения цели. Несколько раз он нарочито проявлял интерес к чему-то, что на самом деле его не интересовало, а потом притворялся, что идёт на компромисс, обменивая это на то, что ему действительно было ценно. Не так ли поступали и наши предки в эпоху натурального обмена?

На Западе всё громче звучат голоса, что ИИ стал представлять опасность. Предприниматель и изобретатель Илон Маск призвал власти США усилить регулирование, назвав ИИ «наи-большей угрозой, с которой сталкивается цивилизация». Он считает, что, если вовремя не вмешаться в процесс, потом может быть поздно: «Когда мы увидим роботов, которые ходят по улицам и убивают людей, мы наконец поймём, как важно было присмотреться к искусственному интеллекту».

Илону Маску вторит знаменитый британский физик Стивен Хокинг . В его публикациях последних лет это одна из излюбленных тем. «Появление полноценного искусственного интеллекта может стать концом человеческой расы, - заявил он в интервью BBC. - Такой разум возьмёт инициативу на себя и станет сам себя совершенствовать со всё возрастающей скоростью. Возможности людей ограничены медленной эволюцией, мы не сможем тягаться со скоростью машин и проиграем».

Российские эксперты настроены более оптимистично. «Думаю, бояться искусственного интеллекта не стоит, но относиться к нему нужно со всей серьёзностью - как к новому виду оружия, которым ещё надо научиться пользоваться, - говорит завкафедрой инженерной кибернетики НИТУ «МИСиС» Ольга Ускова , возглавляющая компанию по разработке ИИ. - Ситуация с ботами на Facebook, конечно, привлекла внимание широкой общественности, но никакого «восстания машин» не предвидится. Механизм обучения ботов на базе ИИ чётко зафиксирован в сценарии: он либо специально прописывается программистами, либо намеренно опускается».

Тем не менее кто бы мог подумать ещё недавно, что поставщиками новостей скоро станут компьютерные программы, которые живут своей жизнью и, похоже, уже не нуждаются в человеке?

Facebook остановил ботов, которые заговорили на непонятном языке

Все таки что не говорите, а опасность развития искусственного интеллекта до того уровня, когда он выйдет из под контроля всегда пугала людей. Представьте, что мы будем делать и как контролировать полноценное ИИ, если тут какой то суррогат и то напугал людей.

Люди же всегда будут стремиться оставить себе контроль и управление, но как говорится "все что один сделал, другой всегда сломать может". Если даже все будет супер надежно - всегда будет опасение. Вот и Маск недавно спорил на эту тему с Цукербергом: "Я продолжаю бить тревогу, но пока люди сами не увидят роботов, которые ходят по улицам и убивают людей, они не узнают, как реагировать [на искусственный интеллект]", - сказал он.

И вот это разве не "звоночек": чат-боты, которые были созданы для переговоров с людьми, вышли из-под управления и начали общаться на собственном языке.

Сначала они использовали английский язык для общения друг с другом, но затем создали новый язык, который могла понять только сама система ИИ, что нарушало цель работы.

Facebook приостановила работу ИИ после того, как разработчики обнаружили этой сбой.

Вот отрывок разговора между чат-ботами:

Боб: «Ты я все остальное».
Алиса: «Яйца имей яйца для меня для меня для меня для меня для меня».
Боб: «Я».
Алиса: «Мячи имеют ноль для меня для меня для меня для меня для меня для меня для меня для меня для».
Bob: «Ты я я я я я все остальное».

Ботов подключили к алгоритмам машинного обучения и позволили им переписываться между собой, чтобы они оттачивали навыки общения. Но через некоторое время те начали видоизменять слова и фразы, а затем и вовсе придумали собственный язык, упростив ряд выражений и грамматических конструкций.

Используя машинное обучение, боты также разработали несколько стратегий для улучшения исхода переговоров с собеседником и начали использовать их в комбинации с рядом придуманных ими же слов в зависимости от важности конкретного диалога. В частности, они провозглашали ложную цель беседы, чтобы затем отказаться от нее и якобы прийти к компромиссу.

В марте 2016 года чат-бот компании Microsoft стал звездой сети после того как возненавидел человечество. Самообучающаяся программа начинала общение с пользователями фразой «Люди очень клевые», но всего за сутки выучила такие выражения, как «Я просто всех ненавижу!», «Я ненавижу феминисток» или «Я ненавижу евреев». В итоге сотрудникам компании пришлось временно отключить бота.

Перевод с искусственного

Для того, чтобы перевести все предложение целиком, новая система Google изобрела свой собственный язык, который позволяет ей быстрее и точнее ориентироваться между двумя языками, с которых или на которые ей предстоит сделать перевод.
Эксперты уже предупреждают о том, что по мере стремительного развития онлайн-сервисов для перевода труд живых переводчиков может быть все менее и менее востребован.

Однако пока эти системы выдают качественные результаты в основном для небольших и несложных текстов.

Как вы считаете, пока рано бить тревогу как про клонирование например? Или пусть все развивается само собой?