Фермер замечает на листе незнакомое насекомое. Это опылитель? Или вредитель? Хорошие новости во время сбора урожая? Или плохо? Нужно контролировать? Или нет?

Этот фермер может сделать снимок, использовать смартфон или компьютер, чтобы загрузить фотографию в веб-приложение под названием InsectNet и, с помощью технологии машинного обучения, получить информацию в режиме реального времени.

«Приложение идентифицирует насекомое и возвращает прогноз его таксономической классификации и роли в экосистеме в качестве вредителя, хищника, опылителя, паразитоида, разлагателя, травоядного, индикаторного и инвазивного вида», — говорится в научной статье, описывающей InsectNet, недавно опубликованной в журнале ПНАС Нексус. Баскар Ганапатисубраманиан и Арти Сингх из Университета штата Айова являются авторами-корреспондентами.

InsectNet, который опирается на набор данных из 12 миллионов изображений насекомых, в том числе собранных гражданскими учеными, обеспечивает идентификацию и прогнозирование для более чем 2500 видов насекомых с точностью более 96 процентов. Когда приложение не уверено в насекомомом, оно говорит, что оно не уверено, что дает пользователям больше уверенности, когда оно дает ответы.

Кроме того, поскольку приложение было построено как глобальная локальная модель, его можно тонко настроить с помощью проверенных экспертами местных и региональных наборов данных. Это делает его полезным для фермеров во всем мире.

Итак, остерегайтесь, совки, совки, клопы-вонючки и все другие вредные насекомые. И, здравствуйте, бабочки, пчелы и все остальные опылители. Рад видеть вас, божьих коровок, богомолов и всех остальных хищников-вредителей.

«Мы предполагаем, что InsectNet дополнит существующие подходы и станет частью растущего набора технологий искусственного интеллекта для решения сельскохозяйственных проблем», — пишут авторы.

Деревня исследователей

Способность InsectNet быть тонко настроенным для конкретных регионов или стран делает его особенно полезным, сказал Сингх, доцент агрономии.

В Айове, например, по словам Сингха, насчитывается около 50 видов насекомых, особенно важных для сельскохозяйственного производства штата. По словам Сингха, чтобы идентифицировать этих насекомых и сделать прогнозы о них, в проекте использовалось около 500 000 изображений насекомых.

Это может произойти с фермерами по всему миру. И там, где нет достаточных данных (для этих сложных моделей часто требуются миллионы изображений) для локальной тонкой настройки, глобальный набор данных по-прежнему доступен для фермеров.

Однако InsectNet предназначен не только для фермеров. Сингх сказал, что это также может помочь агентам в портах или на пограничных переходах выявлять инвазивные виды. Или это может помочь исследователям, работающим над экологическими исследованиями.

Таким образом, приложение удобное и гибкое. Но доступно ли это?

«Вы пока не можете зайти в магазин приложений и загрузить версию», — сказал Ганапати Субраманиан, профессор инженерии Джозефа и Элизабет Андерлик и директор Института искусственного интеллекта для устойчивого сельского хозяйства в штате Айова. Но приложение работает на сервере в штате Айова. С помощью QR-кода (см. боковую панель) или этого URL-адреса пользователи могут загрузить фотографии насекомых и получить идентификацию и прогноз.

Это работает на всех этапах жизни насекомого: от яйца до личинки, от куколки до взрослой особи. Он работает с похожими видами. И он работает с различными качествами изображения и ориентацией.

В сухом остатке для любого пользователя лежит основная информация о насекомомом: «Это вредитель?». — сказал Сингх. — Или это друг?

Разработчики продемонстрировали приложение во время выставки Farm Progress Show в августе прошлого года в Буне, штат Айова. И теперь исследовательская работа знакомит ее с более широкой, научной аудиторией.

Но разве уже не существует приложений, которые помогают идентифицировать насекомых?

Да, сказал Ганапати Субраманиан, но они не соответствуют масштабам InsectNet и не способны к глобальному и локальному применению. Кроме того, это не приложения с открытым исходным кодом и технологией, которой можно делиться.

«Создание InsectNet с открытым исходным кодом может стимулировать более широкие научные усилия», — сказал он. «Научное сообщество может опираться на эти усилия, а не начинать с нуля».

По его словам, проект также ответил на множество технических вопросов, которые можно было бы применить к другим проектам.

Какого объема данных достаточно? Откуда мы можем взять столько данных? Что мы можем сделать с зашумленными данными? Сколько мощности компьютера необходимо? Как мы работаем с таким большим количеством данных?

«Наконец, чтобы добраться до этого момента, нужна целая деревня экспертов, верно?» — сказал Ганапатисубраманиан.

Агрономам, компьютерным инженерам, статистикам, специалистам по обработке данных и специалистам по искусственному интеллекту потребовалось около двух лет, чтобы собрать InsectNet воедино и заставить его работать.

«То, что мы узнали, работая с насекомыми, может быть расширено за счет включения сорняков и болезней растений или любой другой связанной с идентификацией и классификацией проблемы в сельском хозяйстве», — сказал Сингх. «Мы очень близки к единому окну для идентификации всех этих проблем».