Compreno - це технологія перекладу з природної мови на універсальну мову понять, розроблена російською ІТ-компанією ABBYY. Основу технології складає Універсальна семантична ієрархія (УСІ) - ядро мови понять, яке налічує сьогодні 60 тисяч елементів в універсальному розділі когнітивної моделі, 80 тисяч - у російській розділі, і 90 тисяч - в англійській.
Одне з основних застосувань Compreno - системи машинного перекладу якісно нового рівня. До цих пір застосовуються в основному дві моделі автоматизованого перекладу:
- переклад на основі правил (Rule-Based Translation Model, RBTM), використовуваний, наприклад, в перекладачі ПРОМТ;
- статистична модель перекладу, застосовувана, наприклад, в сервісі Google Translate.
Головний недолік RBTM полягає в тому, що вона не враховують семантику, тобто сенсу перекладаються текстів, а просто застосовує правила перетворення синтаксичних конструкцій однієї мови в синтаксичні конструкції іншого.
Статистична модель спирається на широку базу даних зразків перекладу, яка збирається по Інтернету. Однак якісний переклад при цьому виходить тільки для популярних мовних пар і тільки по широко поширеним тематиками.
Проект Compreno реалізує алгоритм машинного перекладу нового покоління, заснований на УСІ. Ось його основні етапи:
- лексичний аналіз тексту (виділення слів, розділових знаків, цифр та інших текстових одиниць);
- морфологічний аналіз (визначення граматичних характеристик лексем);
- синтаксичний аналіз (встановлення структури пропозиції);
- семантичний аналіз (виявлення виражається значення в системі мови);
- синтез з універсальної семантичної структури пропозиції на вихідному мовою.
В результаті підбір слів для перекладу здійснюється не безпосередньо з першої мови, а з понятійного набору, який, умовно кажучи, «висить» на тій же гілці універсального семантичного древа, але тільки вже з боку другої мови.
Використання технології Compreno не обмежується машинним перекладом. Ось деякі інші області її можливого застосування:
- повноцінний інтелектуальний пошук (пошук за змістом);
- витяг фактів і зв'язків між об'єктами пошуку / моніторингу;
- моніторинг компаній і персоналій;
- класифікація документів та пошуку схожих за змістом документів;
- реферування та анотування (складання короткого змісту) довгих документів;
- аналіз тональності у моніторингу;
- системи штучного інтелекту найрізноманітніших профілів і застосувань;
- автоматичне розпізнавання мови.
За словами президента ABBYY Сергія Андрєєва у створенні технології Compreno компанія інвестувала $ 50 млн власних коштів, над проектом працюють близько 300 фахівців, які вже витратили на проект тисячу человеколет. Комерційні продукти на основі нової технології повинні з'явиться в 2014-2015 роках.
На лютий 2012 світових аналогів у Compreno немає, хоча в деяких університетах і ведуться розробки в аналогічних напрямках. Однак фора в 15 років, задіяні величезні людські ресурси і матеріальні витрати дозволяють сподіватися, що ABBYY таки зуміє застовпити для себе ексклюзивне місце першопрохідника. На руку компанії грає і та обставина, що останні 10 років переважна маса досліджень у світі велася в руслі статистичної моделі машинного перекладу.
Найвужчим місцем для глобального застосування семантико-синтаксичного аналізу в масових пошукових системах виступають дуже високі вимоги до комп'ютерних потужностям, необхідним для індексації інформаційних масивів на понятійному рівні. Вимоги ці незрівнянно вище, ніж при існуючих формах традиційної індексації. Втім, вже сьогодні методика семантико-синтаксичного аналізу може ефективно застосовуватися для більш цілеспрямованого і вузького пошуку в закритих корпоративних системах.
Реагуючи на публіккаціі про систему Compreno в «Компьютерра» і в газеті «Коммерсант Наука», редакція сайту з інформаційних технологій «Роем.ру» зазначає: «Дивує, що в обох випадках ніхто не пише про те, як йому дали самостійно попереводити текст при допомоги Compreno ».
Джерела:
- - Сергій Голубицький, «Чудо Compreno», «Компьютерра онлайн», 28.02.2012.
- - Андрій Анненков, «Програмісти вважають, що навчили машину розуміти зміст тексту», «Коммарсант' Наука», 05.12.2011.
- - тег «Compreno» в блозі компанії ABBYY на сайті «Хабрахабр».
- - стаття «Compreno» на сайті Центру вибору технологій і постачальників TAdviser.