Не каждый день кто-то бросает работу в одной из самых успешных в мире полупроводниковых компаний — ARM — чтобы присоединиться к стартапу, но Ноэль Херли встретил стартап, который решал проблему в области периферийного искусственного интеллекта, которая преследовала сектор на протяжении десятилетий.

Когда он впервые столкнулся с Literal Labs летом 2023 года, она была выделена из Университета Ньюкасла в сотрудничестве с Центром исследований искусственного интеллекта в Норвегии. В течение пяти лет они работали над искусственным интеллектом на основе логики и тем, что называется машинами Цетлина — подробнее об этом чуть позже.

Проработав 30 лет в сфере процессоров и информатики, Херли был знаком с проблемами, связанными с внедрением ИИ, особенно на промышленных рынках. Он признает: «Были даны обещания относительно периферийного ИИ, но прогресс был ограничен».

«Нейронные сети требовали дорогого нового оборудования, потребляли много энергии и медленно развертывались».

Когда он увидел результаты исследований Literal Labs, у него был момент «ага!». Это была технология, которая решала многие из этих проблем и могла работать на существующем оборудовании.

«Это означало, что мы могли привлекать клиентов на ранней стадии и быстро развертывать развертывание. Для меня было ясно, что это не просто интересное исследование; Это была основа для компании», — поделился он.

Я встретился с Херли, чтобы узнать о Literal Labs.

Что такое автомат Цетлина?

Современные нейронные сети построены на умножении — умножении чисел. Умножение — дорогостоящая операция на чипе: она требует больших схем и сжигает много энергии. Вот почему наше энергопотребление резко возросло.

«Многие чипы теперь рекламируют «ускорители нейронных сетей», которые, по сути, представляют собой просто большие массивы схем умножения», — утверждает Херли, объясняя, что машина Цетлина работает по-другому.

«Вместо тяжелой математики он использует пропозициональную логику — утверждения «если/то» — объединенные с помощью алгоритма голосования.

Во время обучения модель решает, следует ли включить, исключить или игнорировать каждое из этих утверждений. В результате получается плотная сеть логики, которая может быть развернута на кремнии гораздо более эффективно».

Низкая стоимость при низком энергопотреблении

Модели искусственного интеллекта Literal Labs предназначены для работы на очень недорогом оборудовании с низким энергопотреблением, в частности, на устройствах по цене менее 5 долларов. Долларов.

Эти устройства обычно представляют собой скромные микроконтроллеры или системы на кристалле, а не сложные высокопроизводительные вычислительные платформы. Ключевым моментом является то, что для инференса не требуются графические процессоры или специализированные ускорители (такие как TPU или пользовательские чипы искусственного интеллекта).

Херли объясняет более низкие энергетические результаты Literal Labs логическими схемами, которые более энергоэффективны, чем схемы умножения.

«Наш подход заключается в том, чтобы подбирать алгоритмы в соответствии с сильными сторонами существующего кремния, а не заставлять кремний выполнять операции, для которых он не был оптимизирован».

По словам Херли, большая часть операций сводится к поиску или сравнению, с которыми микропроцессоры уже справляются чрезвычайно эффективно.

Заменив схемы с большим количеством умножения на логические схемы, вы можете достичь аналогичных результатов при меньших затратах и энергии.

На 54× быстрее, на 52× экологичнее

Если все это звучит немного сложно, что ж, результаты говорят сами за себя, когда речь идет о стандартах бенчмаркинга MLPerf — они обеспечивают справедливые, репрезентативные и воспроизводимые способы измерения того, насколько хорошо различные аппаратные и программные системы выполняют рабочие нагрузки ИИ.

Бенчмарки Literal Labs показывают впечатляющие результаты: в 54 раза более высокая производительность и в 52 раза меньшее энергопотребление по сравнению с аналогичными нейронными сетями.

По словам Херли, когда он присоединился к команде в октябре 2023 года, команда уже наблюдала ускорение в диапазоне от 5 до 250 раз по сравнению с традиционными алгоритмами.

«В прошлом году, когда мы опубликовали наши бенчмарки MLPerf, мы подтвердили в 54 раза более высокую производительность при в 52 раза меньшее энергопотребление.

Что было еще более обнадеживающим, так это то, что наборы данных, используемые в MLPerf, были значительно больше и сложнее — до 400 гигабайт по сравнению с наборами в один мегабайт, которые мы тестировали ранее.

Несмотря на такое усложнение, достижения сохранились. Это продемонстрировало надежность нашего подхода».

Кроме того, ИИ, основанный на логике, естественно объясним, что обеспечивает подотчетность за принятие решений моделью.

Literal Labs показывает более дешевый путь вперед в области периферийного ИИ

Literal Labs видит немедленную поддержку в промышленном и периферийном искусственном интеллекте. В целом, Literal Labs создает истинную коммерческую ценность, поскольку снижает затраты на систему за счет снижения сложности вычислений, затрат на вывод и т. д.Недостаток материалов:

«Подумайте об устройствах с питанием от батареек, продуктах, критически важных для безопасности, или жестко регулируемых рынках. В этих средах объяснимость, энергоэффективность и вычислительные ограничения имеют значение», — объясняет Херли.

Исторически сложилось так, что попытки применить ИИ на этих рынках либо не увенчались успехом, либо были сильно ограничены. Компании не могли позволить себе заменить оборудование, которое уже было в полевых условиях, поэтому они пытались наладить связь, отправлять данные в облако и обрабатывать их там. Это привело к дополнительным затратам, зависимостям и сложности цепочки поставок, не обеспечив четкой чистой прибыли.

«В отличие от этого, в нашем подходе клиентов восхищает возможность развертывания ИИ непосредственно на существующих устройствах без дорогостоящих обновлений. Мы можем довести разведку до предела в местах, которые ранее были недоступны», — поделился он.

Literal Labs позволяет инженерам обучать свои собственные модели

Часть видения Literal Labs заключается в том, чтобы позволить клиентам обучать свои собственные модели. Коммерческий продукт Literal Labs — это набор инструментов, который позволяет клиентам обучать модели на собственных наборах данных. Целевой пользователь — это компетентный инженер-программист, не обязательно специалист по машинному обучению.

По словам Херли, инструмент отличается высокой степенью автоматизации:

«Как правило, вы не просто обучаете одну модель — вы обучаете сотни, а затем обрезаете и отбираете лучшую. Мы встроили автоматизацию в этот процесс.

Клиенты могут запускать его локально, в своем частном облаке или непосредственно на периферии. Это имеет несколько преимуществ: это решает проблемы конфиденциальности данных для клиентов, не желающих отправлять наборы данных за пределы площадки, и упрощает внедрение, встраиваясь в существующую инфраструктуру».

Технический директор компании Леон Федден ранее возглавлял платформу глубокого обучения в AstraZeneca. Он привносит свой опыт в сочетание классических методов искусственного интеллекта с автоматизацией, чтобы обеспечить надежность и масштабируемость своей цепочки инструментов.

Компания сотрудничает с коммунальными службами для разработки интеллектуальных систем очистки сточных вод, где датчики могут определять, что представляет собой «нормальные» и «ненормальные» потоки, вызывая раннее предупреждение. То же самое относится к электрическим сетям или другим коммунальным сетям с большим количеством дистанционных датчиков.

Еще одной ключевой областью является состояние оборудования, которое включает в себя прогнозирование износа и проведение технического обслуживания до того, как машина выйдет из строя. Это очень ценно в промышленных условиях.

В настоящее время он сосредоточен на данных временных рядов, таких как датчики вибрации или звук, а также на табличных данных. Эти области полны возможностей для лучшего прогнозирования и принятия технологических решений.

«Мы также создаем возможности для обработки данных изображений, но в первую очередь мы сосредоточены на временных рядах и табличных данных», — объясняет Херли.

Избегая дорогостоящей замены оборудования, Literal Labs упрощает внедрение Edge AI

Многие стартапы в области периферийного ИИ испытывают трудности с коммерциализацией из-за проблемы, связанной с тем, что развертывание ИИ во многих случаях требует смены оборудования. Компании не хотели тратить деньги или прерывать установку нового оборудования. Херли объяснил:

«Наше преимущество в том, что нам не нужны специальные ускорители — достаточно стандартного микропроцессора, который уже есть в каждом промышленном IoT-устройстве.

Единственное фундаментальное ограничение заключается в том, достаточно ли памяти для дополнительной функции. Это большая разница с подходами, которые зависят от совершенно нового оборудования».

В настоящее время Literal Labs работает с клиентами над пятью проектами по проверке концепции и планирует запустить наш продукт во второй половине этого года.

Херли признает, что ИИ — это шумное пространство для стартапов:

«Дается много обещаний. Но мы считаем себя разрушителем. Наша стратегия заключается в том, чтобы оставаться сосредоточенными: находить сильные проблемные области, тесно сотрудничать с клиентами и предоставлять измеримую ценность. Это то, что я узнал еще в начале учебы в ARM.

Робин Саксби, первый генеральный директор ARM, всегда подчеркивал сосредоточенность.

Я пришел на работу в качестве сотрудника под номером 40 с чем-то, и этот урок актуален до сих пор».

В этом году Literal Labs сосредоточилась на реализации: расширении команды, предоставлении доказательств концепций и подготовке к запуску своего продукта. После этого компания расширит свои возможности работы с данными, выйдя за рамки временных рядов и табличных данных, и продолжит создавать инструменты, ориентированные на клиентов.

В долгосрочной перспективе видение состоит в том, чтобы сделать основанный на логике ИИ основной альтернативой нейронным сетям, особенно в средах с ограниченными энергетическими и вычислительными ресурсами.