Надежны ли генеративные детекторы искусственного интеллекта? С момента вторжения в Интернет контента, созданного генеративными искусственными интеллектами (в частности, ChatGPT), обнаружение этого типа контента стало приоритетом. В своем последнем обновлении поисковой системы Google объявил, что будет наказывать некачественный контент. Итак, я протестировал 11 бесплатных инструментов обнаружения генеративного ИИ, чтобы найти наиболее надежный. Как вы увидите в этой статье, результаты далеко не однородны и часто очень разочаровывают.

Свяжитесь с IntoTheMinds, Агентством маркетинговых исследований

Контент, написанный генеративными искусственными интеллектами, стал проклятием Интернета, что побудило некоторых заявить, что его контент на 100% создан человеком. Google оказался в ловушке своей собственной игры. Это требовало «свежего» контента, что и произошло, когда ChatGPT стал доступен широкой публике. Некоторые люди ухватились за возможность создавать контент, который был оригинальным только по названию. Как я показал в другом исследовании, уровень сходства текстов, создаваемых ChatGPT, чрезвычайно высок. Вероятно, у вас уже возникли подозрения относительно происхождения текста, публикации в социальных сетях или комментария, когда вы его прочитали. Когда это пишет генеративный ИИ, это видно.

Столкнувшись с проблемой контента, создаваемого генеративными искусственными интеллектами, появились инструменты для их обнаружения. Я выбрал 11 из них и протестировал их.

Методология

Чтобы проверить способность различных инструментов распознавать тексты, написанные генеративным ИИ, я подготовил корпус, состоящий из:

• 3 текста, полностью написанные Chat GPT4.0 на английском языке.
• 3 французских перевода текстов, написанных ChatGPT
• 3 текста из моего блога, полностью написанные мной на французском языке
• 3 английских перевода текстов, написанных мной

В итоге у меня получилось 12 текстов, распределенных следующим образом:

Затем я прогнал каждый текст с помощью инструментов, перечисленных в конце этой статьи.

Я использовал только бесплатные версии различных инструментов. В случае Scribbr и Copyleaks французские тексты проанализировать не удалось.

Результаты суммированы в следующей таблице. Тексты с 1 по 6 были созданы Chat GPT 4.0. Тексты с 7 по 12 были написаны мной на французском языке, а затем переведены на английский. За номером текста в скобках указан язык текста.

Результаты в таблицах ниже соответствуют процент текста, который был обнаружен как написанный генеративным ИИ.

Обнаружение текстов, написанных генеративным ИИ

В таблице ниже показаны результаты работы различных инструментов, используемых для обнаружения текстов, полностью написанных ChatGPT. Указанный процент соответствует доле текста, которую инструмент приписывает генеративному ИИ. В случае Neuralwriter процент соответствует уверенности инструмента в приписывании контента генеративному ИИ.

Для Copyleaks и Scribbr французский язык не может быть проанализирован в бесплатной версии.

Scribbr и Copyleaks лучше всего работают с английской версией: англоязычный контент, созданный ChatGPT, обнаруживается в 3 случаях из 3. Detecting-ai.com и Copyleaks работают почти так же хорошо с английской версией. Тем не менее, им нужна помощь в анализе контента, написанного на французском языке.

Если вы ищете детектор искусственного интеллекта, который работает на обоих языках, Quillbot предлагает лучший компромисс для этого теста.

С другой стороны, plagiarismdetector.net и freetextclassifier ничего не обнаруживают, и их следует избегать независимо от языка.

Другие детекторы искусственного интеллекта работают умеренно хорошо и допускают ошибки разной важности.

Обнаружение текстов, написанных людьми

Вторая часть теста направлена ​​на правильное обнаружение текстов, написанных человеком (в данном случае мной). Это не задача для генеративного ИИ. Таким образом, искомые значения в таблице ниже составляют 0% в каждом столбце.

Freeaitextclassifier возвратил ошибки и не смог быть протестирован.

Вот результаты.

Несколько инструментов генеративного обнаружения ИИ работают безупречно: Quillbot, Detecting-ai.com, contenscale, plagiarismdetector.net. Copyleaks, которая обрабатывает английский только в своей бесплатной версии, однажды ошиблась, приписав половину текста 8 генеративному ИИ.

---

Как правило, инструменты обнаружения генеративного искусственного интеллекта реже ошибаются в отношении контента, написанного человеком.

---

Окончательные результаты

Чтобы определить победителя(ов) этого теста, конечно, необходимо принять во внимание 2 теста. Недостаточно обнаружить текст, написанный ИИ. Также важно не приписывать ИИ текст, написанный человеком. Поскольку тест проводится на двух языках (французском и английском), бесплатная версия инструмента должна поддерживать оба языка.

Quillbot — явный победитель этого теста. Этот детектор AI выполняет безупречно на контенте, написанном человеком и почти безупречен в отношении контента, написанного ChatGPT. (в среднем 96% обнаружения по 6 предоставленным текстам).

Хочу отметить Copyleaks, который допустил всего одну ошибку, но правильно определил остальной англоязычный контент. Напоминаем, что платная версия Copyleaks поддерживает французский язык.

Все остальные инструменты допускают ошибки в большей или меньшей степени, но я заметил следующее: в целом, инструменты генеративного обнаружения ИИ реже ошибаются, когда дело касается контента, написанного человеком. Это весьма парадоксально.

Следует избегать двух сайтов, поскольку они систематически ошибочны: freeaitextclassifier (который тоже работает лишь иногда) и plagiarismdetector.net.

---

---

Опубликовано в Данные и ИТ.

---

---