Что такое алгоритмы автоматического сопоставления, зачем алгоритм Matchflow нужен фармацевтической и ритейл отрасли, как искусственный интеллект победил Единый номенклатурный справочник лекарств.

Прежде чем перейти к разговору об алгоритме сопоставлений Matchflow, который будет интересен фармацевтической и ритейл отрасли, расскажу вам один неожиданный кейс. Речь пойдет об американском сервисе eHarmony – сайте онлайн знакомств, который первым стал работать на основе алгоритмов сопоставлений и Machine Learning (Машинного обучения). Появился в 2000-х году, в США. Важно отметить, что eHarmony изначально позиционировал себя не просто как сайт знакомств, а как площадка поиска постоянных спутников жизни. Свой успех компания измеряла количеством браков между людьми, встретившимися через Сервис.

Научных подход к сватовству и грамотный подход к анализу Больших данных оказался успешным. Уже через десять лет авторы Сервиса с гордостью сообщали о том, что eHarmony занимает 14% процентов доли рынка услуг онлайн-знакомств в США; их сервисом воспользовались 33 миллиона человек; каждый день, благодаря eHarmony, вступают в брак порядка 542 человек, а совокупный доход компании в 2010 году превысил 1,0 млрд долларов.

Как компании удалось достичь таких впечатляющих результатов? Все очень просто: секрет успеха в алгоритмах автоматического сопоставления, которые работают на основе Machine Learning (Машинного обучения) и которые умеют находить среди миллиона пользователей и сопоставить тех, кто подходит друг другу по жизненным ценностям, убеждениям, привычкам, здоровью, интересам, вероисповеданию, месту жительства, вкусовым предпочтениям, складу ума и многим другим характеристикам.

С первого взгляда, может показаться, что таким «сопоставлением анкет» возможно заниматься и без хитроумных алгоритмов. Но не все так просто. Дело в том, что алгоритмы по другому анализируют Большие данные – они, в отличии от человека, умеют замечать неочевидные закономерности, делать соответствующие выводы и автоматически создавать пары.

Например, алгоритм eHarmonу установил, что любителям фастфуда в 2 раза сложнее найти любовь, чем людям, выбирающим другие виды пищи. При этом автоматическое сопоставлением двух поклонников гамбургеров –дело вообще бесперспективное – такие пользователи будут испытывать взаимную неприязнь друг к другу и никогда не составят счастливую пару. А вот еще один пример неочевидной на первый взгляд статистики. Мы привыкли считать, что расстояние – преграда для отношений. Но алгоритм сопоставлений eHarmony установил, что после 60 км – расстояние не преграда для отношений. Может ли человек, даже специально обученный, заметить и учесть такие закономерности?

Но способность алгоритмов обрабатывать и сопоставлять большие массивы данных разной степени структурированности, поступающие из большого количества источников, в различных форматах позволяет проводить анализ, включающий выявлений в том числе неочевидных закономерностей, прогнозировать события и принимать решения на основе интеллектуального предсказания.

Кейс eHarmony очень хорошо показывает, что такое Большие данные и алгоритмы сопоставлений, которые, в действительности, давно стали частью нашей повседневной жизни. Мы не замечаем их присутствия, не всегда знаем как они называются, не задумываемся о них, но, по факту, пользуемся каждый день. А они делают нашу жизнь проще и комфортнее.

Многие из нас каждый день сталкиваются с Neural matching — алгоритмом сопоставлений поисковой системы Google, который умеет «догадываться» что имел ввиду пользователь. Например, алгоритм Neural matching понимает, что запрос «почему мой телевизор выглядит странно» относится к «эффекту мыльной оперы» и выдает определение термина в поисковике, хотя этой фразы даже не было в запросе.

По такому же принципу сопоставлений работает алгоритм Netflix, который анализирует большой объем данных и знает о своих подписчиках буквально всё: что смотрел, где смотрел и когда; что начал смотреть, но потом бросил; что смотрел много раз, а на какой фильм не обратил внимания; использует ли пользователь перемотку; на каком устройстве запускает сервис. Алгоритм Netflix также изучает цветовую гамму фильма, его продолжительность, актерский состав. На основании полученной информации, сервис сопоставляет фильмы cпользователями и предлагает последним актуальный контент.

Алгоритм Matсhflow, созданный специально для фармацевтической отрасли, умеет автоматически распознавать сырые данные всех дата-партнеров (розницы, маркировки, операторов фискальных данных, аналитических агентств, поставщиков), сопоставлять полученную информацию и сводить ее в единый формат, в sku производителя. Причина, по которой разработчики обратились к этой технологии:

• возможность разгрузить отделы аналитики фармацевтических компаний, которые до сих пор «сводят руками» разноформатные отчеты о продажах в таблицах Exel

• а также закрыть потребность в необходимости создания Единого номенклатурного справочника лекарств — Священного Грааля фармацевтической отрасли.

Важно понимать, что никакие международные стандарты, автоматизированные системы, кодификаторы данных, регламенты и требования для персонала не могут унифицировать — классифицировать информацию и привести ее к единому стандарту. При таком подходе всегда будут появляться типичные ошибки «дублирование» и «разрастание» позиций, которые, рано или поздно приводят к замораживанию значительной части капитала компании в виде неликвидных товарно-материальных ценностей, перезатариванию складских площадей и упущенной прибыли. Такой справочник придется обновлять всю жизнь.

Но у алгоритмов, работающих на основе Машинного обучения, подобных проблем не существует, потому что они работают по другому. Алгоритм Matchflow работает по принципу обучения с учителем и основан как на традиционных методах работы с естественными языками, широко используемых в Машинном обучении, так и на специфических для фармотрасли эвристиках работы с дозировками, формами выпуска, брендированными препаратами и их дженериками. Благодаря различным ноу-хау автоматического построения дерева рубрикации препарата, достигается максимальная полнота сопоставлений при минимизации ручного труда при выявлении потенциальных ошибок.

При этом в качестве основы для обучения моделей использованы максимально широкие выборки из десятков миллионов различных вариаций наименований одних и тех же препаратов, используемых аптеками в своей работе.

Именно по этому принципу работает большинство алгоритм сопоставлений, которые не только не боятся сырых, загрязненных, разрозненных данных из нескольких источников, но и сводят всю информацию в единый формат. Причем делают это с высокой точностью и скоростью, например, скорость сопоставлений Matchflow – 30 000 позиций в минуту – это номенклатура всей аптеки.

Алгоритмы сопоставлений обладают огромным потенциалом, и нам только предстоит узнать, на что они могут быть способны, и каким образом мы сможем в полной мере использовать их возможности не только в частной жизни, но и в бизнесе.

Правильнее будет сказать: алгоритмы вместе с нами. Нам постоянно говорят что Искусственный интеллект, Машинное обучение и алгоритмы заменят человека — это очень распространенное заблуждение. Безусловно, алгоритмы изменят подход к ведению бизнеса, автоматизируют все, что можно автоматизировать и тем самым избавят нас от рутинной работы. Но они же сделают нас супер героями на местах — в эпоху цифровизации у человека, который работает с технологиями, появится больше возможностей, в том числе для карьерного и личностного роста. Все ключевые решения по-прежнему останутся прерогативой человека. Задача цифровых помощников – упростить работу человека, снизить издержки и по максимуму уменьшить вероятность ошибки.