Нейронная сеть учится человеческих языков, имитируя то, как их учат сами люди
Інтерлінґва — это язык, на котором думает компьютер. Самые частые выражения, которые переводит Google Translate — это «как поживаешь»? и «я тебя люблю».
Потому что чаще всего через интернет люди пытаются выразить любовь.
— Вы управляет проектом, который охватывает переводом почти все языки мира. Или при этой оказии что-то Вам открылось о человеческой природе?
— Да. И даже с радостью этим поделюсь. Чаще всего переводят выражения «как поживаешь»? и «я тебя люблю.» Если взглянуть на то, о чем разговаривают между собой люди на неведомых ими языках, то чаще всего пытаются признаться в любви.
— Вы мне возвращаете веру в человечество. Точно любовь, а не ненависть?
— Точно, и это независимо от того, как мы считаем. Для каждого языка мира выражение «я тебя люблю» будет в первой тройке. Далее, если возьмем первую сотню, то увидим романтические фразы, например «твои глаза прекрасны».
— А существуют ли языки, в которых нет аналогов таким основополагающим словам, как любовь или ненависть?
— Мне об этом ничего не известно. А если так, то видимо, нет, потому что отсутствие слова «любовь» мы наверняка заметили бы.
Мы обслуживаем 103 языка, которыми пользуется 99% населения интернета. Предполагаю, что если вообще существует какая-то речь, в которой нет слова «любовь», то ней разговаривает определенная изолированная община, которая не пользуется интернетом. Относительно человеческой природы, то недавно я читал книгу Тала Харари «Homo sapiens. Краткая история человечества». Ее тезис кажется мне убедительной. Язык не является чем-то исключительно человеческим — шимпанзе также ее имеют. Но только люди используют столь развернутую язык, что ею можно обсуждать вопрос так абстрактны, как религия. Поэтому если можно разговаривать на такие темы, то можно разговаривать обо всем. Поэтому только люди способны кооперироваться в большом масштабе. Это нас отличает от других видов — мы умеем сотрудничать в бесконечно сложных проектах. Но эта мысль не моя, сам я не чувствую себя здесь компетентным.
— Как это, Вы же имеете доступ к тому, о чем говорят 99% населения! Вы знаете о нас столько же, как сам Господь Бог!
— Ха! На основании статистики нашей системы я могу повторить то, что говорил в начале. Люди чаще всего пытаются сказать друг другу что-то приятное. По этой статистике я имею в целом хорошее впечатление о человечестве.
— Языка часто создают на заказ политиков — различия между урду и хинди или на чешском и словацком часто искусственно придуманы, чтобы подчеркнуть политическую независимость народа. Или Вы встречаетесь с политическим давлением, чтобы добавить или удалить какой-нибудь язык из сервиса?
— Постоянно, но мы этим не занимаемся. Есть ли какая-то речь в нашем сервисе, зависит от двух вещей. Во-первых, ее включения в сервис вообще является технически возможным, иногда мы просто имеем для этого очень мало данных; а во-вторых, на эту услугу есть заказ.
— А не удалось ли Вам ненароком доказать, что какие-то языки есть более сходны между собой, чем этого хотели политики? — Вообще все языки между собой немного похожи. Если мы згодуємо системе данные двух совершенно не связанных между собой языков — другие континенты, другие культуры, ноль совместной истории — то побочным следствием будет также и улучшение качества перевода на другие языки. Иногда эти связи удивляют. Например, мы увидели скачкообразный рост качества турецкого перевода — когда скормили системе новые данные о китайскую, японскую и корейскую.
— Это мне напоминает гипотезу Хомского о первичную универсальную грамматику…
— Я не являюсь лингвистом, в нашем коллективе нет ни одного лингвиста. Мы берем на работу преимущественно инженеров и ученых, специализирующихся на статистике и искусственном интеллекте.
— Как можно заниматься языком без участия лингвистов? — Чтобы ответить, я должен объяснить Вам историю машинного перевода. Мы разделяем ее на три поколения. Первым был перевод на основе правил («rule based»). Его начали развивать в США еще во времена холодной войны, чтобы быстро переводить на английский русские или китайские документы. Тогда действительно лингвисты были необходимыми. Готовили корпус знаний о данном языке, то есть словарь и общие принципы грамматики, а программисты это все переводили на компьютерную программу. Второе поколение, в значительной степени основано Ґуґлем, базируется на статистическом анализе. Мы просматриваем интернет в поисках одинаковых текстов на разных языках — например, смотрим, как переводят документы ООН, и замечаем статистические закономерности. При таком подходе лучшим переводом считается тот, который имеет наибольшие статистические шансы быть метким. Проблема в том, что языки драматически отличаются между собой с точки зрения доступности материалов в интернете. Больше всего будет, очевидно, материалов на английском, неплохо также с испанском или португальском, а даже японском. Драма начинается с такими языками, как арабский, пенджабский или бенгальский. Ними разговаривают миллионы людей, но в интернете хватает материалов, поэтому качество переводов является низкой. Недостатком переводов второго поколения является необходимость разбивать предложение на фрагменты. Самый большой фрагмент, который эта система может анализировать, — это пять слов вместе. Этого часто недостаточно даже на одно предложение! А между тем одно слово может полностью изменить значение других слов в нем. И, наконец, третье поколение использует нейронные сети и машинное обучение. Нейронная сеть учит человеческие языки, имитируя то, как их учат сами люди. Строит внутреннюю модель данного языка и анализирует предложения как целое. Здесь снова мы имеем ту проблему, что следующее предложение может изменить уже контекст абзаца, но и так прогресс огромный.
— Я читал, что эту модель речи вы описываете как інтерліґва — словно это язык, на котором думает компьютер. Это как средневековые поиски языка, на котором Бог разговаривает с ангелами…
— Ха. В общем, мы употребляем понятие «interlingua», но всегда в кавычках. Что-то такое мы должны были применить по трем причинам. Первой является то, что мы называем «transfer learning»(трансфертное обучение). Мы стараемся использовать сходство между языками. Подобно учатся люди: если ты овладел одним славянским языком, то со следующим уже будет легче. Таким образом, частично мы можем справляться с проблемой нехватки материалов и, например, совершенствования переводов на языке хинди переносить на улучшение качества переводов на урду. Но прежде всего нам говорилось о другую причину, чисто техническую. Пока мы стосуємо традиционные методы, то добавление 104-й языка означает увеличение загрузки наших серверов в 103 раза.
— Это растет экспоненциально?
— Да. Отсюда поиск универсальной модели, по которой мы переводим уже не непосредственно с английского на японский, только сначала мы возводим исследуемый текст к определенной модели, а затем перекладываем с этой модели на японский, китайский или любой другой язык, которого нет в системе.
— Универсальная модель человеческойречи — это звучит как за пределами нынешних знаний…
— Мы сами были поражены, как нам легко пошло. Запланировали мы себе это задание на три года. Вступительные разговоры состоялись в 2015 г., серьезно мы начали работать в начале 2016-го — и после девяти месяцев имели прототип, который действовал шокирующее хорошо. Не идеально, но человеческие переводы также не идеальны. Если мы возьмем пять самых выдающихся переводчиков, окажется, что тот самый текст они переведут по-разному, а к тому же будут друг другу витикати ошибки. Итак, мы уже знали, что это надлежащий путь достичь те упоминавшиеся уже три преимущества. Но я еще раз предупреждаю, что не надо представлять себе «інтерлінґву» как отдельный язык. Человек не может ее изучить. Представим себе это просто как новое умение машин. Дело в том, что если мы научим машину переводить с английского на хинди и с хинди на пенджабский, то они на этой основе сами будут уметь переводить с английского на пенджабский.
— Можете ли Вы мне объяснить, как дилетанту, насколько меткие сравнения такого искусственного интеллекта с человеческим мозгом? Или «нейронные сети» действительно напоминают наш мозг?
— До некоторой степени так. Их архитектура имитирует определенную черту нашего мозга. В нем нет одного центрального процессора, лишь миллиарды узлов, которые обрабатывают информацию параллельно. Инженеры из Гугла развили специальный вид компьютера, называется TPU — Tensor Processing Unit (модуль тензорної обработки), который функционирует подобно.
— Не боитесь этого?
— Нечего. Я как раз в особой ситуации, потому что с одной стороны наблюдаю, как учится нейронная сеть, а с другой — вижу развитие своего трехлетнего сына. Мы воспитываем его двомовно — по-английски и по-русски. Он часто делает ошибки. Но хватит ли ему один раз объяснить, где он ошибся — и уже больше он этого не сделает. С искусственным интеллектом так не является. Он учится невероятно медленно и функционирует тоже медленно. Наш первый прототип был в сто раз медленнее того, что имеем сейчас — но и в дальнейшем быстродействие является нашей основной проблемой. Моя работа значительно облегчилась бы, если бы искусственный интеллект был таким же быстрым, как трехлетний ребенок! Человеческий мозг имеет преимущество над искусственным интеллектом в одной сфере. Человек, даже трехлетняя, сразу охватывает всю картину, а компьютер, даже если это самая современная нейронная сеть, должен его разобрать на фрагменты. Легче всего это объяснить на примере из медицины. Радиолог, глядя на снимок, сразу заметит аномалию. Машина так не умеет — она должна анализировать сфотографировать кусок за куском. Это, в конце концов, иногда приводит к тому, что человек ошибается, потому что раз на несколько случаев пропустит какую-то деталь. Машина не упустит деталей, но зато не всегда видит общую картину.
— Однако оговорка насчет искусственного интеллекта звучат от таких уважаемых людей, как Билл Гейтс, Стивен Гокінґ… — Понимаю, откуда берутся эти тревоги. Нейронные сети действуют как черный ящик. Порой мы знаем, почему система что-то сделала, а иногда не имеем об этом никакого понятия. Но с точки зрения кого-то, кто работает с этими черными ящиками, они не выглядят как мощная сила, которой надо опасаться, а совсем наоборот — производят впечатление машин, не умных за трехлетнего ребенка. Ну, и так же, как традиционную компьютерную систему в случае аварии можно перезагрузить, так и нейронную сеть можно вычистить и начать обучение заново.
— Так Вы говорите, что ваша система анализирует предложения как целое, с полным контекстом, то это должно бы означать, что она понимает эмоции. Знает, когда кто-то хочет быть дерзким или ироничным. Это шаг к машине, которая может изображать человека…
— Я только говорю, что нынешняя система понимает контекст лучше предыдущей. Пока что мы боремся с гораздо более простыми проблемами. Вот Вам пример: в испанском языке пол субъекта основном очерчена только в одном предложении, а в других — уже нет. Как с ними быть? Поскольку компьютер руководствуется статистикой, то задает себе вопрос: какова вероятность того, что речь идет о мужчине? И если ему получится, что из 51% вероятности речь идет о мужчине, он так и переводит. Это очень рациональное решение с точки зрения компьютера, но, очевидно, в 49% случаев приведет к ошибке. Или искусственный интеллект сможет убедительно изображать человека — этого не знаю. Это вопрос не ко мне. Этим занимаются такие футурологи, как Рэй Курцвейл, в конце концов, работает в этом же доме. Я же только руковожу коллективом инженеров, который старается создать наилучший продукт. Мы достигли большого успеха, переходя от перевода единичных слов до перевода предложений — теперь следующей задачей является перевод целого абзаца.
— Как журналист я обычно пугаю злыми последствиями технологий, но именно для вашего проекта подходит эта чрезмерно применяемая в Кремниевой Долине фраза об «изменении мира к лучшему».
— Спасибо, я тоже так считаю. Около 50% контента в интернете является по-английски, а только 20% населения говорит на английском. То есть для 80% населения интернет есть скорее неприветливым местом. Для них наверное мы меняем его к лучшему. Барак Туровский — окончил Университет в Тель-Авиве и Беркли. Начиная с 2014 года, руководитель проекта GoogleTranslate. В прошлом году он руководил специальным проектом изменения автоматического перевода с статистического на с использованием искусственного интеллекта.
