Перейти к основному содержанию

Консалтинговые услуги

Казань:+7(843)528-22-18, +7(8552) 25-01-99
+7 (917) 272-13-90, +7(843) 278-19-00

цикл статей про рынок Natural Language Processing успешных российских разработчиках и их продуктах отечественные команды в сфере NLP_часть 2

ИИ и Natural Language Processing: большой обзор рынка. Часть 2

https://www.rvc.ru/press-service/media-review/rvk/153082/

Мы продолжаем цикл статей о том, как выглядит рынок Natural Language Processing. Сегодня в нашем обзоре — список самых влиятельных игроков и технологий мирового рынка NLP. Тем временем российские разработчики NLP-решений по-прежнему могут подать заявку на профильный конкурс Up Great и побороться за приз в 200 млн руб.

Amazon Echo https://new.qq.com/ 1. Google (США)

NLP-подразделение: Группы NLP и Speech в Google AI, Google Brain, DeepMind

Ключевые исследователи: Hugo Larochelle, Ilya Sutskever, Tomas Mikolov, Oriol Vinyals, Greg Corrado, Geffrey Dean

Количество патентов: 266

Продукты и проекты:

Google Ассистент позволяет общаться с Google как с живым человеком. Технология NLP анализирует предложения целиком, чтобы понять контекст и дать подходящий ответ на запрос пользователя.

Google Переводчик — бесплатный инструмент для перевода текста с одного языка на другой. Сервисом ежемесячно пользуются более 500 млн людей по всему миру, а в день Переводчик обрабатывает больше 100 млрд слов. Во время телефонного разговора технология распознавания речи превращает звуки в слова, а обработка естественных языков помогает компьютеру понять смысл речи.

Автоматическое создание субтитров для YouTube — с помощью машинного обучения YouTube автоматически создал субтитры более чем для 1 млрд видео на 10 языках.

Google Cloud ML APIs — набор уже обученных моделей для машинного обучения в виде готовых к использованию облачных сервисов, которые могут быть интегрированы с продуктами. Среди них есть и сервисы для NLP: Google Cloud Natural Language — сервис для глубокого анализа текстов. Позволяет делать синтаксический анализ, вычленять образы, анализировать эмоции и т.д.

Google Cloud AutoML Natural Language — позволяет создавать специализированные модели для категоризации текстовых данных на основе данных, не требуя при этом глубоких знаний в области NLP.

Dialogflow — комплексный пакет разработки для создания диалоговых интерфейсов для веб-сайтов, мобильных приложений, популярных платформ обмена сообщениями. Может быть использован для создания интерфейсов (таких как чат-боты и разговорный IVR, голосовые ассистенты), которые обеспечивают естественное и насыщенное взаимодействие между пользователями и бизнесом.

Intro to Dialogflow. Dialogflow 2. Microsoft (США)

NLP-подразделение: Microsoft Natural Language Processing Group

Ключевые исследователи: Scott Guthrie (исполнительный вице-президент, руководитель Microsoft Cloud + AI Group), Harry Shum (исполнительный вице-президент, руководитель Microsoft Artificial Intelligence and Research Group), Eric Horvitz, Christopher Bishop, Bill Dolan (лидер Microsoft Natural Language Processing Group), Chris Brockett, Michel Galley, Jianfeng Gao, Matthew Richardson

Количество патентов: 574

Продукты и проекты:

Cortana — голосовой помощник, работающий на Windows Phone 8.1, Microsoft Band, Windows 10, Android, Xbox One и iOS. На основе персональных данных предугадывает потребности пользователя, строит индивидуальные рекомендации, осуществляет поиск необходимой информации в интернете.

Luis (Language Understanding) — сервис обработки естественного языка на основе машинного обучения, встраиваемый в различные приложения, боты и устройства IoT. Может применяться как обычными, так и индустриальными пользователями.

What’s New with Language Understanding Service (LUIS). Microsoft Developer

Microsoft анализ текста — API для извлечения информации из текста, анализа тональности, определения языка текста, выделения ключевых слов и именованных сущностей.

3. Amazon (США)

NLP-подразделение: NLP-группа Amazon AI Labs, Amazon Alexa

Ключевые исследователи: Rohit Prasad (главный научный сотрудник Amazon Alexa), Ruhi Sarikaya, Yaser Al-Onaizan, Edleno Thomas Drugman, Thomas Merritt, Young-Bum Kim

Количество патентов: 59

Продукты и проекты:

Alexa — виртуальный помощник с алгоритмами обработки естественного языка.

What Is Alexa? An Introduction to Amazon's Alexa Voice Service. Alexa Developers

Twinword — API для оценки сходства двух слов, предложений или абзацев, определения расстояния между частями текста и классификации текстов.

Amazon Comprehend — сервис обработки естественного языка (NLP), в котором для поиска закономерностей и взаимосвязей в тексте применяются технологии машинного обучения. Опыт в сфере машинного обучения не требуется.

4. IBM (США)

NLP-подразделение: IBM Research China, IBM Research Israel, IBM Research Ireland, IBM Research Almanden, IBM Research Austin, IBM Research Cambridge

Ключевые исследователи: Rob High (вице-президент и CTO IBM Watson), Dario Gil (директор IBM Research), Jeffrey Welser, Oded Cohn, Kevin Nowka, Rakesh Agrawal, Prabhakar Raghavan, Philip S. Yu, Brian Kingsbury, Andrew W. Senior

Количество патентов: 932

Продукты и проекты:

Watson Natural Language Understanding — модели на основе IBM Watson, позволяющие выделять из текста понятия, сущности, ключевые слова, категории, настроения, эмоции, отношения и семантические роли.

Watson Speech-to-Text — система, позволяющая конвертировать аудиозаписи в написанный текст.

Watson Discovery — облачная технология, позволяющая при помощи комбинации алгоритмов машинного обучения и обработки естественного языка анализировать данные в рамках конкретной индустрии и выделять тенденции и тренды.

IBM Watson Explorer — набор моделей для поиска информации в тексте, выделения сущностей и отношений.

Watson Explorer Overview. IBM Watson

Watson Neural Machine Translation — технология машинного перевода на основе алгоритмов глубокого обучения, позволяющая осуществлять автоматический перевод с ряда европейских языков.

Project Debater — разговорный ИИ, который может общаться на различные темы, «понимает» вопросы и самостоятельно конструирует развернутые ответы на базе поиска вариантов ответов в Интернете.

Watson Beat — нейронная сеть, способная создавать оригинальные музыкальные композиции с использованием различных инструментов.

5. Baidu (Китай)

NLP-подразделение: Baidu Institute of Deep Learning, NLP-платформа

Ключевые исследователи: Andrew Ng (до марта 2017 г. — ведущий специалист лаборатории искусственного интеллекта), Yuanqing Lin (директор Baidu Institute of Deep Learning), Liang Huang, Kenneth Ward, Church, Yanjun Ma, Mark Liberman, Hao Tian

Количество патентов: 29

Продукты и проекты:

DuerOS — Разговорная ИИ-платформа, установлена более, чем на 100 миллионах устройств.

Baidu DuerOS -Powered: From In-Home to In-Car. Baidu Inc.

Raven H, Aladdin — голосовые помощники.

ERNIE 2.0 — фреймворк для понимания естественного языка, работает на английском и китайском языках, поддерживает логический вывод, определение семантического сходства, распознавание именованных сущностей, анализ тональности и сопоставление вопросов и ответов

6. Apple (США)

NLP-подразделение: исследования Apple в сфере NLP направлены на создание инфраструктуры на базе iOS, включающей умных виртуальных ассистентов и ПО с возможностью распознавания и синтеза речи, а также продвинутого поиска информации по запросу пользователя

Ключевые исследователи: John Giannandrea (старший вице-президент по машинному обучению и стратегии ИИ Apple, ранее работал в Microsoft и ИИ-подразделении Google), Ian Goodfellow (директор направления «машинное обучение» в Группе Специальных Проектов Apple, ранее работал в Google Brain и OpenAI)

Количество патентов: 73

Продукты и проекты:

Siri — виртуальный помощник и вопросно-ответная система с встроенной технологией обработки естественного языка, работающая на базе всех устройств Apple.

Платформа для обработки естественного языка — фреймворк для идентификации языка, токенизации, лемматизации, тегирования частей речи и распознавания именованных объектов.

Speech framework — фреймворк для распознавания произнесенных или записанных в аудиофайле слов. Алгоритмы распознавания речи используются для перевода аудиоконтента в текст.

SoundAnalysis — фреймворк для анализа и классификации аудиозаписей.

Speech Manager — встроенный в Mac OS алгоритм, который позволяет приложениям генерировать речь.

7. Nuance (США)

NLP-подразделение: Nuance Research. Направления исследований: распознавание речи, биометрия, улучшение качества речи, NLP, синтез речи

Ключевые исследователи: Joe Petro, Markus Buck, Gerhard Schmidt, Tim Haulick, Brian Roundtree, William Ganong, David Kay

Количество патентов: 920

Продукты и проекты:

Cerence — новый спин-офф компании Nuance, специализирующийся на внедрении разговорных ИИ-платформ в транспортные средства.

Engagement of things — решение на основе разговорного ИИ и интернета вещей, объединяющее все электронные устройства пользователя в рамках единой платформы.

Nuance Healthcare Solutions — виртуальные ассистенты, системы распознавания речи и программное обеспечение для обработки документации, применяемые в медицинских учреждениях.

Dragon Drive — виртуальный помощник для автомобиля с функциями разговорного ИИ, биометрии, распознавания голоса и дополненной реальности.

Siri — система распознавания голоса, используемая в голосовом помощнике Siri (Apple, Inc.), была разработана Nuance.

Inside Nuance: the art and science of how Siri speaks. The Verge

Project Pathfinder — проект по машинному обучению, запущенный Nuance в начале 2019 г., направлен на усовершенствование алгоритмов, используемых в виртуальных агентах и чат-ботах. На основе логов чатов и транскриптов диалогов между агентами и пользователями Project Pathfinder строит более эффективные разговорные модели.

Nina — виртуальный помощник, интегрируемый в мобильные приложения на операционных системах iOS и Android, объединяет в себе технологии распознавания речи, преобразование текста в речь, систему голосовой биометрии. На базе Nina разработчики программного обеспечения могут создавать собственные системы распознавания голоса.

8. Facebook (США)

NLP-подразделение: Facebook AI Research Lab (FAIR)

Ключевые исследователи: Jérôme Pesenti (VP по искусственному интеллекту в Facebook), Yann LeCun, Tomas Mikolov, Devi Parikh, Antoine Bordes

Количество патентов: 44

Продукты и проекты:

CommAI — разработка виртуальных агентов общего назначения, полезных для человека в повседневной жизни.

ParlAI — открытая платформа для обучения чат-ботов.

bAbI — платформа для автоматического понимания текстов, а также набор датасетов для тестирования алгоритмов понимания естественного языка.

FastText — фреймворк для классификации текста, выделения ключевых слов и именованных сущностей.

FastText Tutorial - How to Classify Text with FastText. Fullstack Academy 9. Tencent (Китай)

NLP-подразделение: группа NLP Tencent AI Lab

Ключевые исследователи: Zhengyou Zhang (директор Tencent AI Lab), Bo Chen, Xiang Zhang, Lou Li, Eryu Wang и Shuai Yue

Количество патентов: 13

Продукты и проекты:

TingTing, Xiaowei — голосовые помощники, работающие на базе мессенджера WeChat.

Ayla & Tencent Xiaowei demo video. Ayla Networks - Taiwan

Jingle — голосовой помощник, аналог Amazon Alexa.

Tencent NLP — открытая платформа с функциями семантического анализа, предоставляющая API для разработки NLP-систем и решения прикладных задач по обработке естественного языка.

10. DeepL (Германия)

NLP-подразделение: немецкая ИИ-компания, специализирующаяся в области глубокого обучения, которая разрабатывает системы искусственного интеллекта для решения задач, связанных с языками. Отмечена многими изданиями и экспертами как лидирующая система в области машинного перевода

Ключевые исследователи: Jaroslaw Kutylowski, Gereon Frahling

Количество патентов: н/д

Продукты и проекты:

DeepL Переводчик — бесплатная система машинного перевода. К середине 2019 г. доступны версии DeepL Переводчика на английском, немецком, французском, нидерландском, испанском, русском, итальянском, польском и португальском языках.

DeepL Pro — продукт, выпущенный в марте 2018 г., предлагает профессиональный API и расширенные возможности для онлайн-перевода. DeepL Pro представляет собой платформу, на основе которой разработчики могут создавать новые продукты: например, приложения для синхронного перевода видео и чартов, дополнения к браузеру и почтовым программам, а также переводчики в режиме дополненной реальности.

Linguee — глобальная система контекстуального поиска по переводам.

11. Alibaba (Китай)

NLP-подразделение: Лаборатория языковых технологий DAMO Academy

Ключевые исследователи: Yangqing Jia (директор по ИИ в Alibaba, ранее работал в Facebook)

Количество патентов: 10

Продукты и проекты:

Tmall Genie — голосовой помощник.

What is Tmall Genie? Alibaba Group

AliReader — технология анализа неструктурированного текста, интеллектуального поиска и извлечения информации из различных документов, использующаяся во многих продуктах Alibaba.

AliTranx — переводчик, применяемый в Alibaba International B2B, AliExpress и платформе Lazada, ежедневно его используют более 700 млн человек.

Judicial brain — NLP-платформа для юристов.

AliNLP — NLP-система, использующаяся в различных продуктах Alibaba, более 800 млрд. использований в день.

Технологический барьер конкурса Up Great по ИИ – создание системы, которая сможет за секунды в напечатанном человеком тексте найти фактические, логические и смысловые ошибки, а также объяснить, в чем суть ошибки, на понятном человеку языке. И сделать она должна это лучше, чем человек, у которого есть ограниченное время – несколько минут на страницу текста.

Тексты, которые будет ИИ анализировать – эссе, написанные студентами и школьниками по широкому набору тематик. Почему мы выбрали эссе?

Во-первых, для них существуют объективные критерии проверки. Другие актуальные задачи, например, выявление Fake News, очень сложно автоматизировать по причине неопределенности самого понятия. Эту проблему хорошо иллюстрирует кейс Facebook, который купил в 2018 году перспективную британскую команду Bloomsbury, но после первых экспериментов отказался от идеи заменить модераторов на алгоритм.

Во-вторых, такой барьер решает важную социальную задачу. Инструмент, который позволит миллионам обучающихся и преподавателей автоматизировать операции, связанные с работой со смыслом текста, нахождением фактических ошибок и разрывов в логике, будет крайне востребован в любого рода образовательных процессах. Такой ИИ будет использоваться как тренажер и позволит обучающимся независимо от места проживания получить доступ к качественной обратной связи.

Юрий Молодых Директор по развитию Up Great

Продолжение следует.

Текст подготовлен на основе исследования Frost&Sullivan в интересах Технологических конкурсов Up Great (организаторы — РВК, АСИ и Фонд "Сколково")

Сотрудники компании "Верное решение" оказывают услуги консультационного сопровождения для предпринимателей, консультируют по финансово-экономическим, правовым вопросам, маркетингу, иным вопросам развития бизнеса.

Мы предлагаем Вам воспользоваться комплексом услуг Компании:

  • консультационная и информационная поддержка и сопровождение участников федеральных и региональных мер государственной поддержки в том числе налоговых льгот, грантов и субсидий (мы помогли нашим клиентам привлечь более 11 миллиардов рублей государственных средств)
  • разработка бизнес-плана, технико-экономического обоснования (ТЭО), меморандума, презентации, паспорта проекта, концепции развития (стратегии), подготовка пакета документации по проекту (мы оказали уже 1 160 комплексов таких услуг),
  • проведение исследований рынков (маркетинговых) продукта, работ, услуг, поиск рыночных ниш, анализ конкурентной среды и перспектив развития,
  • помощь финансиста, экономиста, юриста, маркетолога - для использования льготных налоговых режимов, льготных ресурсов, привлечения льготных государственных инвестиций в проект, бизнес (мы провели более 11 400 консультаций для малого и среднего бизнеса),

Мы будем рады помочь Вам в решении Ваших задач. По любым возникающим вопросам, пожалуйста, обращайтесь.