Прямо скажем, он взялся за неординарную задачу. Ведь язык жестов глухих людей включает в себя, помимо самих жестов, еще много лингвистических компонентов. Например, один и тот же жест может обозначать разные понятия в зависимости от места расположения кисти руки: находится ли она у подбородка, у щеки или рядом с другой ладонью. Дополняют жесты направление движений, их скорость и обязательно выражение лица.

В мире несколько компаний заявляют, что разработали электронный переводчик с жестового языка на письменный, однако, по словам Приходько, современные системы пока далеки от совершенства. Они не учитывают все компоненты жеста, и в первую очередь, лингвистические особенности национальных языка жестов.

— Как в русском языке существует алфавит, так и в русском жестовом языке каждый жест руки обозначает определенную букву. Но существует и такой способ общения, когда каждый жест обозначает целое понятие, — рассказал «РГ» Алексей Приходько. — Глухие при общении используют оба варианта. Например, признание в любви может состоять из трех жестов «я тебя люблю», а может из десяти конфигураций руки, по количеству букв.

Алексей решил сделать технологию перевода простой и доступной, применив для «снятия» жестов обычные видеокамеры. Ведь ими оснащен сегодня любой смартфон, а значит, в перспективе электронный переводчик можно сделать карманным. Как работает эта система? В компьютере создана скелетная модель человека. Камера улавливает жесты, система моментально их обрабатывает, переводит в буквы, и на мониторе появляется текст. «Если модель определяет, например, что пальцы раскрыты — это буква «В», если пальцы собраны — значит «О», — поясняет автор. Но это только первый этап в разработке переводчика. Дело в том, что глухие люди для общения используют не только жесты рук, в беседе задействованы и губы, и мимика, и движение головы, и даже тела. Только весь этот набор делает общение максимально насыщенным. Но как заложить все это в переводчик?

— Пока моя программа не распознает мимику и движения губ, но эти компоненты обязательно будут дорабатываться, — обещает Приходько. — Чтобы она улавливала такие тонкости, нужны нейросети и компьютер с мощной видеокартой. А потом надо адаптировать программу для использования на обычном ноутбуке или даже смартфоне. Тогда дополнительного оборудования, помимо обычной камеры, вообще не потребуется.

К разработке переводчика новосибирского программиста подтолкнула сама жизнь. Он глухой с рождения, уже в третьем поколении. Несмотря на это он не только успешно поступил в один из престижных вузов страны, выучил несколько языков программирования, но и окончил магистратуру и аспирантуру. Алексей стал одним из 300 лучших магистрантов страны. Он надеется, что его электронный переводчик поможет многим глухим студентам получить образование.