Пол Блум: У меня есть подстоп, вышедший сегодня утром, в котором рассказывается об этой статье и расширяется ее, и у нее еще более резкое название, на которое я готов купиться: «Мы не хотим морального ИИ».

Итак, вопрос в том, вернемся немного назад: многие люди обеспокоены ИИ. [artificial intelligence] убьет нас всех. Некоторые думают, что это смешно: научная фантастика сошла с ума. Но даже те, кто думает, что это смешно, считают, что у ИИ есть потенциал причинить некоторый вред — от массовой безработицы до распространения фейковых новостей и создания патогенов, которым его прикажут злые люди. Итак, это означает, что есть некоторое беспокойство по поводу ИИ. На доске есть разные решения, и одно решение такое: «Ну — и это было предложено Норбертом Винером, кибернетиком, кажется, 60 лет назад, — говорит: «Что, если мы приведем его ценности в соответствие с нашими?» Итак, точно так же, как мы Знай, что делаешь что-то неправильно, это узнает, но не сделает этого».

Это было известно Стюартом Расселом как «Проблема согласования»: создавать ИИ, обладающие нашей моралью. Или, если хотите, поставьте «мораль» в кавычки, потому что мы с вами, я думаю, испытываем схожий скептицизм в отношении того, что на самом деле знают эти машины, понимают ли они что-нибудь, кроме чего-то вроде морали.

И я считаю, что исследование выравнивания — в каком-то смысле моя статья похожа на любовное письмо к нему. Это та сфера, которой мне следовало бы заняться, если бы она существовала, когда я был моложе. У меня есть ученица Грейси Райнеке, которая работает в этой области и иногда дает мне несколько советов по этому поводу, и я ей завидую. Она говорит: «Собираюсь работать в уме и тусоваться с этими людьми» — и меня это интересует.

И еще меня интересуют пределы выравнивания. Насколько хорошо мы можем выровняться? Являются ли эти машины… что значит быть выровненными? Потому что я отмечаю одну вещь (я не первый): быть в согласии с моралью, которая, вероятно, есть у вас и у меня, означает, что она не соответствует морали. другой мораль. Итак, в каком-то смысле такого понятия, как выравнивание, не существует. Это примерно так: построить машину, которая хочет того же, что и люди. Ну люди хотят разного.

Пол Блум: Знаете, в Твиттере была шутка. Я не хочу высмеивать моего президента Йельского университета Питера Салови, который очень порядочный, дружелюбный и веселый парень, но он выступил перед первокурсниками со словами: «Мы хотим, чтобы вы выражали себя и выражали свои взгляды. и дайте свободу своему разуму». А потом, пошутила, пару месяцев спустя он говорит: «Ну, не так, как что .’

Я думаю, мы хотим, чтобы эти машины были достаточно умными, чтобы освободить нас от принятия решений. Что-то столь же простое, как беспилотный автомобиль. Я хочу, чтобы он отвез меня на работу; а я просто сижу сзади, читаю или дремлю. Я хочу жить, освободить его, но в то же время я хочу, чтобы он принимал только те решения, которые принял бы я. И это, возможно, достаточно просто в случае с беспилотным автомобилем, но что делать в тех случаях, когда я хочу, чтобы машина была в каком-то смысле умнее меня? Это делает создавать настоящие парадоксы.

Пол Блум: Вы поднимаете около 15 разных вопросов. Позвольте мне пройти через это[?] быстро. Я действительно думаю, что на самом деле существует связь между интеллектом и моралью. Я думаю, отчасти потому, что люди с более высоким интеллектом, как и более умные люди, могут видеть более широкий взгляд и немного более чувствительны к вещам, приносящим взаимную выгоду. Если я не такой умный, а у тебя есть что-то, чего я хочу, возможно, я мог бы только представить, как отниму это у тебя. Но по мере того, как я становлюсь умнее, я могу заниматься — я мог бы стать экономистом — и заниматься торговлей, взаимной выгодой и так далее. Может быть, не становясь лучше в более абстрактном смысле, но, по крайней мере, поведение в каком-то смысле это более оптимально. Итак, я думаю, что есть какая-то связь.

Но я согласен с вашей точкой зрения — и, возможно, мне не нужно возражать против этого — но определение интеллекта, которое всегда казалось мне лучшим, — это способность достигать своих целей — и вы хотите его оживить. и достигать своих целей в различных контекстах. Итак, если вы можете пойти и прочитать университетскую лекцию, а затем приготовить еду, а затем справиться с 14 шумными пятилетними детьми, а затем сделать то и это, вы умны. Вы умны. А если ты машина, то ты умная машина.

И я думаю, что между умом и безнравственностью существует связь, но я согласен с вашей основной мыслью. То, что ты умный, не делает тебя моральным. Мы оба знакомы с этим от Смита и от Юма, которые оба признали, что Юм, наиболее известный из них, что можно быть очень, очень, очень умным и совершенно не заботиться о людях, вообще не заботиться о добре, не не волнуйся, ты можешь быть блестящим садистом. Нет ничего противоречивого в том, чтобы обладать огромным интеллектом, и вы используете его с целью сделать жизнь людей невыносимой.

Это, конечно, часть проблемы с ИИ. Если мы сможем повысить его интеллект, что бы это ни значило, это не значит, что он будет становиться все лучше и лучше.

Итак, да: я принимаю это. Я думаю, что интеллект — это в каком-то смысле инструмент, позволяющий нам достичь наших целей. Каковы наши цели являются происходит из другого источника. И я думаю, что это часто исходит из сострадания, доброты, любви, чувств, но не сводится к интеллекту.

Пол Блум: Я думаю, что отчасти это врожденное. Я изучаю младенцев, чтобы зарабатывать на жизнь, и думаю, что есть некоторые свидетельства некоторой степени сострадания и доброты, а также некоторой способности использовать интеллект, чтобы рассуждать о них, если он заложен в костях. Но тогда, очевидно, культура, образование, родительство, воспитание формируют его. Появились всевозможные моральные идеи, уникальные для культуры.

Мол, мы с тобой считаем, что рабство — это неправильно. Но это довольно новое. Никто не рожденный знаю это. Тысячи лет назад никто в это не верил. Мы могли бы поверить, что расизм – это неправильно. И есть новые моральные идеи, идеи, которые необходимо развивать. И потом: не я сам это придумал; Мне пришлось этому научиться.

То же самое и с ИИ: их нужно каким-то образом инкультурировать. Общий интеллект не приведет нас туда.

Кстати, я скажу одну вещь — и мы не хотим слишком углубляться в другие темы — но я действительно думаю, что многие из самых худших поступков, которые делают люди, сами по себе мотивированы моралью.

Например, кто-то вроде Дэвида Ливингстона Смита говорит: «Нет. Нет, он отключается. Вы дегуманизируете людей. Вы не думаете о людях как о людях». Я думаю, что существует такая вещь, как чистый садизм, чистое желание причинить людям боль ради того, чтобы причинить им боль.

Но большинство вещей, на которые мы смотрим и которые полностью потрясены и шокированы, сделаны моими людьми, которые не считают себя злодеями. Но он скорее говорит: «Нет, я поступаю правильно. Я мучаю этих военнопленных, но я не монстр. Вы не понимаете. Ставки очень высоки. Это тяжело, но я это делаю». «Я собираюсь взорвать это здание. Я не хочу причинять людям боль, но у меня более высокие моральные ценности». Мораль – это огромный силу как для того, что мы рефлексивно считаем добром, так и рефлекторно считаем злом.

Пол Блум: Да все верно—

Пол Блум: Есть классическая работа Ли Росса – я думаю, это Ли Росс из Стэнфорда – где речь идет о переговорах; речь идет о том, чтобы собрать вместе людей, у которых есть серьезные проблемы. Палестинцы и израильтяне являются хорошим текущим примером. И этот своего рода здравый смысл, очень хороший способ думать об этом: как только эти люди начнут говорить, они начнут сходиться, начнут ценить другую сторону. Но на самом деле Росс обнаруживает, что часто бывает наоборот. Итак, вы разговариваете с кем-то и объясняете: «Послушайте. Это то, что ты сделал со мной. Это проблема. Это…