Безопасность для ИИ
Сейчас О’Салливан и Венчел — соучредители стартапа Arthur, который помогает инженерам контролировать производительность систем машинного обучения. Их главная задача — выявлять ошибки в системах ИИ для принятия решений о выдаче кредитов и инвестиций. Иными словами, это одна из немногих компаний, которые зарабатывают на создании систем безопасности для искусственного интеллекта.
Последнее время специалисты и техногиганты всё чаще бьют тревогу, что с ИИ что-то не так — например, есть проблемы с распознаванием лиц чернокожих людей. Корпорации Microsoft и Google предупреждают инвесторов, что из-за использования разработанных ими систем ИИ можно столкнуться с этическими или юридическими проблемами.
По мнению О’Салливан (теперь она вице-президент по коммерции Arthur), технология ИИ захватывает новые отрасли, среди которых финансы, медицина и госуправление, и для них должны действовать новые методы защиты. «Люди только начинают понимать, какой мощью обладают системы искусственного интеллекта и что нужно использовать эти преимущества со всей ответственностью», — говорит она.
Чёрный ящик
Стартап Arthur занимается машинным обучением, из-за которого на IT-рынке произошёл настоящий бум. ИИ самообучается, и изменения в этом процессе отследить сложно. «Вы как бы заставляете машину писать свой собственный код. Но он не предназначен для того, чтобы люди его анализировали», — рассказывает Лукас Бивальд, гендиректор и основатель стартапа Weights & Biases. Эта компания предлагает инструменты, которые позволяют инженерам наладить ПО с алгоритмами машинного обучения.
Исследователи называют некоторые системы машинного обучения чёрными ящиками — даже их создатели не всегда могут точно описать, как работает ИИ или почему он принял такое решение. Стартапы ещё не решили эту проблему полностью. Но они хотя бы предлагают инструменты, которые помогают визуализировать и проконтролировать процесс работы ПО с алгоритмами машинного обучения.
Надсмотрщик за $20 млн
Технокорпорации, которые прилично вложились в ИИ, создали аналогичные инструменты под собственные нужды. Одну из разработок Facebook — Fairness Flow — используют, чтобы проанализировать, как алгоритмы рекомендации объявлений о работе выбирают людей из разных слоёв общества.
Бивальд отмечает, что у небольших компаний нет ресурсов для создания таких инструментов, поэтому они предпочитают обращаться к сторонним разработчикам. Среди клиентов Weights & Biases — лаборатория Toyota, занимающаяся системами автономного вождения. Она использует ПО для мониторинга и записи систем машинного обучения, пока они обрабатывают новые данные.
По словам Бивальда, эти инструменты помогают легко настраивать систему, делать её более надёжной и оперативно выявлять сбои, которые могут проявиться не сразу. Его стартап привлёк $20 млн.
Среди других клиентов — независимая исследовательская лаборатория OpenAI, которая занимается искусственным интеллектом. Здесь инструменты стартапа используют в программе для роботов — например, для роботизированной руки, которая (не всегда) может собрать кубик Рубика.
