Десять лет назад в небольшом гостиничном номере в Хельсинки, Финляндия, молодой технический предприниматель сидел за своим столом и подсчитывал ручкой и бумагой, что одно из его изобретений стоит жизни более миллиона человек каждый день. мое время делать это. Этот факт сделал его больным. Предпринимателя зовут Аза Раскин, изобретатель «бесконечной прокрутки», функции мобильного телефона, которая позволяет бесконечно прокручивать контент одним движением пальца.

В 2006 году Раскин попытался решить острую проблему кнопок «следующая страница», которые постоянно приходится нажимать интернет-пользователям. По иронии судьбы, цель состояла в том, чтобы не прерывать ход мыслей пользователя. «Мое намерение состояло в том, чтобы создать что-то, что позволило бы вам сосредоточиться и контролировать темп при использовании веб-сайтов и приложений», — объяснил Раскин в недавнем интервью для моего подкаста Rethink Moments. Бесконечная прокрутка решает эту проблему, автоматически загружая новый контент без щелчка.

Раскин не ожидал, как технологические гиганты будут использовать его принципы дизайна, выбрасывая контент за контентом, и пользователи не будут спрашивать или разрешать пользователям отказываться.Я никогда не думал, что создам приложение, которое будет автоматически обслуживаться. Как только я закончил смотреть YouTube, сразу же загрузилось следующее видео, и я думал, что увижу несколько фотографий в Instagram, только чтобы через 30 минут бездумно листать.

«Одним из моих самых больших сожалений, оглядываясь назад, является то, что я не определил это изобретение с философией и парадигмой, в которых оно должно использоваться», — говорит Раскин. «Это был своего рода наивный оптимизм, когда я думал, что мое изобретение будет существовать само по себе и не будет подвержено влиянию рыночных сил». Раскин глубоко сожалеет о непредвиденных последствиях своего изобретения — часах, а возможно, и целой жизни — серфинга и прокрутки.

Раскин и многие другие. На протяжении многих лет, консультируя успешных предпринимателей, я часто слышал, как они говорили, что не могут представить масштабных разветвлений своих идей. Основатели Airbnb, например, не предвидели негативного влияния краткосрочной аренды на местные сообщества, и когда Джастин Розенштейн изобрел «Нравится», я не думал о том, как это повлияет на самочувствие. уважение молодых людей, которые сделали — или не сделали.

Я не фанат Facebook (извините, Мета), но Марк Цукерберг не создавал гиганта социальных сетей как инструмент политического вмешательства. Но мы считаем, что платформой, призванной «дать людям возможность делиться и делать мир более открытым и связанным», как выразился Цукерберг, станет здание Капитолия 6 января 2021 года. Как и рейды, мы стали свидетелями непреднамеренных и разрушительных последствий.

Связанная статья: 6 января 2021 г., Я никогда не забуду, что произошло в тот день / В поисках пострейгановской Америки: № 06

Создатели и предприниматели хотят создавать продукты, которые «меняют мир». И часто они это делают, но не так, как они думали. Неспособность предвидеть непредвиденные последствия технологии — серьезный вопрос, и она создает сложную проблему. Должны ли предприниматели нести ответственность за пагубные последствия инноваций? И есть ли способ предотвратить эти непредвиденные последствия?

скорость враг доверия

В непреднамеренных последствиях инноваций, подпитываемых новыми технологиями, нет ничего нового в 21 веке. Микроволновые печи были созданы с учетом удобства, но изобретатель не думал о том, как они повлияют на семейные привычки в еде — будут ли все готовить еду в микроволновке. Карл Бенц, разработавший бензиновые автомобили, чтобы люди могли передвигаться быстрее и свободнее, не думал о проблемах пробок и загрязнения воздуха. Когда пластик был впервые изобретен как прочный и гибкий материал более 110 лет назад, было трудно представить, с каким разрушением окружающей среды мы сталкиваемся сегодня из-за массовой упаковки и добычи нефти.

В 1936 году социолог Роберт Мертон предложил структуру для понимания различных типов непреднамеренных последствий: препятствий, непреднамеренных препятствий, непреднамеренных выгод. Слова, выбранные Мертоном — «непредвиденный», а не «непреднамеренный», — используются неправильно. Однако со временем этот термин запутался.

«Неожиданный» подразумевает неспособность или нежелание предсказывать будущие неблагоприятные последствия, а «непреднамеренный» означает последствия, которые невозможно представить, как бы мы ни старались. Это различие не только семантическое. Последнее отдаляет предпринимателей и инвесторов от ответственности за непреднамеренные вредные последствия. Я предпочитаю «необдуманные последствия». Формулировка четко возлагает на инвесторов и предпринимателей ответственность за негативные последствия.

Мертон обобщил пять основных факторов, которые мешают людям предсказывать или даже думать о долгосрочных результатах. Невежество, краткосрочный подход, ценности, страх и неправильные представления — мышление, что привычки, которые работали в прошлом, применимы к текущей ситуации. Еще хочу добавить скорости как шестой.

Скорость — враг доверия. Информированные решения о том, какие продукты, услуги, люди и информация заслуживают доверия, требуют небольшого трения, чтобы замедлить ход событий, то есть бесконечных простых пролистываний и прокруток Нам нужно прямо противоположное. И скорость — это двусторонний вопрос.

Согласно «Нашему миру в данных», более чем 99% американских домохозяйств понадобилось более 50 лет, чтобы приобрести радио и слушать его дома и в машине. Точно так же потребовалось более 38 лет, чтобы цветное телевидение стало массовым. Напротив, Instagram, который был запущен в 2010 году, достиг 1 миллиона пользователей всего за три месяца. TikTok достиг своего миллиардного пользователя в 2021 году, всего через четыре года после его глобального запуска. Это вдвое меньше времени, которое потребовалось Facebook, YouTube и Instagram, чтобы охватить такое же количество пользователей, и на три года раньше, чем WhatsApp. По мере того, как временные рамки, принятые потребителями, сокращаются с десятилетий до месяцев, предпринимателям легко игнорировать более глубокие, часто незаметные поведенческие сдвиги, которые эти инновации приносят с ускоряющейся скоростью.

Предприниматели часто рассказывают себе истории о том, что они все еще находятся на стадии «новинок» или «песочницы», но реальность такова, что миллионы людей используют их продукты. Основополагающие принципы крупных технологических компаний — «Не будь злым» (Google) и «Дайте людям возможность создавать сообщества и сближать мир» (Facebook) — устарели, что отражает тот факт, что они используются далеко за пределами , в некоторых случаях спустя годы после того, как основатели были вынуждены признать не только серьезные недостатки в инновациях, но и серьезные последствия недостатков.

В то же время большинство предпринимателей нацелены на более быстрый рост. Я только однажды видел стратегию «низкого роста» на презентации. «Старая поговорка «Двигайся быстро и разрушай» — это принцип инженерного проектирования, а не принцип социального проектирования», — пишет Манто Танеха, управляющий партнер венчурной компании General Catalyst, соавтор книги «Предполагаемые последствия». Танеджа утверждает, что венчурные капиталисты (венчурные капиталисты) должны выбирать «минимально полезные продукты», а не просто выбирать «минимально жизнеспособные продукты». Вот несколько эффективных вопросов, которые нужно задавать себе со временем, чтобы определить, насколько хорош ваш продукт. Что бы вы подумали об этой идее, если бы родились в другую эпоху, в другой стране?

Куда ведет эта идея? Как он меняется, когда вы взрослеете? Иногда мы не знаем ответа. Изгибы и повороты человеческого поведения и технического прогресса могут затруднить понимание того, что ждет нас впереди. Даже сейчас, когда я пишу эту статью, я вижу, что многие предприниматели и инвесторы не решаются говорить о большом влиянии технологий. «Я не могу представить влияние в большом масштабе», — это распространенное утверждение, но, как указывает Раскин, «неспособность представить влияние в большом масштабе на самом деле является причиной, по которой нам не следует развертывать технологию в больших масштабах». масштаб. Если вы не можете определить влияние технологии, которую запускаете, это признак того, что ее не следует выпускать».

Например, если кто-то из фармацевтической компании сказал, что каждый человеческий организм настолько уникален и настолько сложен, что невозможно представить или предсказать, будут ли лекарства иметь неблагоприятные или опасные для жизни побочные эффекты, — и все же выпустить его на рынок. В настоящее время это немыслимо, поскольку лекарства должны пройти строгие протоколы испытаний и соответствовать стандартам эффективности и безопасности, установленным группой экспертов. Конечно, система не идеальна, в ней есть пробелы и лазейки, но пришло время ввести дополнительные стандарты защиты для высокотехнологичных продуктов. В конце концов, они гораздо более доступны, чем большинство фармацевтических препаратов.

Непреднамеренные последствия нельзя устранить, но их можно преднамеренно смягчить.

Механизмы смягчения негативных последствий

Ответственность за необдуманные последствия является сложным вопросом. Например социальные сети. В настоящее время изобретатели этих платформ — Цукерберг, Джек Дорси (Twitter), Чад Херли (YouTube) — не несут ответственности за то, что публикуют пользователи. Но они должны нести ответственность за любой контент, распространяемый алгоритмами, которые они создали и использовали. Регулирование не может заставить людей использовать продукты и услуги ответственно. Но предприниматели должны нести ответственность за структурные и дизайнерские решения, которые защищают или нарушают интересы пользователей и общества в целом.

В письме, выпущенном по случаю 30-летия Всемирной паутины, изобретатель Интернета Тим Бернерс-Ли написал, что многие технологические гиганты, включая Google и Facebook, внедрили «кликбейт и дезинформацию». дизайн, в том числе «непреднамеренные вознаграждения» бизнес-модели, основанной на рекламе, которая выигрывает от «распространения». Предприниматели должны внедрять, модернизировать или переосмысливать бизнес-модели и структурные механизмы для смягчения негативных последствий, когда становятся очевидными непредвиденные последствия.

Плохие результаты — это не то же самое, что нежелательные результаты. Нежелательным исходом являются железнодорожные и автомобильные аварии со смертельным исходом. Это отличается от последствий преднамеренной политики и целенаправленных действий (таких как бизнес-модели, основанные на рекламе), которые приводят к ряду вредных действий или негативных событий в будущем.

Как показывает история Раскина с бесконечной прокруткой, когда изобретением манипулируют на свободном рынке, создатель может легко потерять контроль. Функции, разработанные Раскином, чтобы люди оставались сосредоточенными, — которые вносят свой вклад в прибыль технологических гигантов, — использовались другими как инструмент для массового отдыха. Но за последнее десятилетие, как соучредители Центра гуманных технологий, Раскин и Тристан Харрис задумались о том, как включить эти принципы дизайна в сами изобретения и продукты. Раскин описывает три идеи, которые он вынашивал до сих пор:

Связанная статья: Мудрость самосознания — сейчас самое время вернуть «осмысленное время»: что Тристан Харрис говорил на «Мудрости 2.0 Япония»

Во-первых, Раскин надеется представить новую лицензию с открытым исходным кодом с клятвой Гиппократа. Это включает в себя «билль о правах и билль об ошибках», в котором излагаются конкретные обстоятельства и способы использования технологии, которые приводят к отзыву лицензии. Идея состоит в том, чтобы предотвратить безнаказанное злоупотребление навыками производителей.

Второе практическое решение для привлечения предпринимателей к ответственности — связать их с той властью, которой они заслуживают. «Если компания имеет менее 10 000 пользователей ее продукта или услуги, она должна быть связана другими правилами, чем если пользовательская база состоит из более чем одной страны», — говорит Раскин. Он говорит об идее, которую я называю лицензией на «массовое разрешение». Каждый раз, когда изобретение достигает определенного рубежа — 100 000 пользователей, 1 миллион пользователей, 1 миллиард пользователей и т. д., — предприниматели должны повторно подавать заявку на получение лицензии, основываясь на положительном и отрицательном влиянии изобретения.

Опять же, есть некоторые практические основы, которые можно позаимствовать у фармацевтической промышленности. Когда фармацевтические компании работают над лечением очень редких заболеваний, многие ограничения снимаются, потому что ситуация слишком напряженная. Однако существуют совсем другие правила, когда лекарство широко доступно. Раскин объясняет: «Прогрессирующая сфера ответственности означает, что многие новшества небольшие, но как только они начинают приносить вред, их сопровождает ответственность».

Наконец, Раскин рекомендует создать собственную «красную команду», независимую от совета директоров и инвесторов. Технологии можно использовать во благо или во зло, и задача красной команды — указать на все возможности. «Тогда те, кто будет злоупотреблять технологией, не смогут сказать «я не знал» и будут смущены», — говорит Раскин.

Связанная статья: Рецензирование научных работ должно иметь красную команду

Раскин запустил свой собственный «Клуб сомнений», форум для групп предпринимателей, работающих над неконкурентными идеями, для обмена вопросами о своих продуктах, миссии компании и показателях. Существует соглашение о том, что то, чем здесь делятся, никогда не будет раскрыто. Цель состоит в том, чтобы уменьшить невежество и поощрять то, что Раскин называет «эпистемологическим смирением». Для этого не бойтесь использовать следующие волшебные слова: я не знаю.

Известный физик-теоретик Ричард Фейнман сказал в своей книге «Удовольствие от выяснения вещей»: «Наша способность сомневаться определяет будущее цивилизации». Этот принцип непосредственно применим к инновациям. Предприниматели и инвесторы должны взять на себя ответственность за вопрос «Что произойдет, если _____________».

Что, если кто-то остался позади своего изобретения?
Что, если ваша система станет восприимчивой к предрассудкам?
・Что делать, если интересы вашей бизнес-модели не совпадают с интересами ваших клиентов?

Мы слишком глубоко верим, что наша интерпретация ясна. Выявление и смягчение непреднамеренных последствий требует большого смирения и принятия сомнений. А для этого нам нужно потратить время на изучение того, чего мы не знаем, и активно исследовать другие возможности. Когда дело доходит до предпринимателей и инвесторов, вам нужно иметь базовое доверие к себе и своим идеям, но подвергать сомнению свои текущие знания.

(WIRED США/перевод Эрико Катагири, LIBER/редактирование Митиаки Мацусима)