Введение. [Recording date: March 3, 2025.]
Расс Робертс: Сегодня 3 марта 2025 года, и прежде чем представить сегодняшнего гостя, я хочу поделиться результатами нашего ежегодного опроса ваших любимых эпизодов прошлого, 2024 года. Хочу поблагодарить всех, кто проголосовал.
Вот первая десятка:
- И разделили 1 место, два эпизода:
Еще раз хочу поблагодарить всех за голосование. У нас будут ссылки на все эпизоды, которые вошли в Топ-10, и я хотел бы напомнить слушателям, что у нас есть категория под названием «Избранное», где вы можете послушать любимые выпуски прошлых лет слушателей.
А теперь о сегодняшней гостье, авторе и консультанте по образованию Дейзи Христодулу. В последний раз она была здесь в феврале 2025 года, рассказывая о Коузе, правилах игры и цене совершенства. Ее сабстек называется «Больше никакой маркировки». И для слушателей не из Соединенного Королевства, «оценка» — это то, что мы называем «оценкой» в Соединенных Штатах, и я не знаю, как это называют где-либо еще. Но наша тема на сегодня — обратная связь в образовании и потенциал искусственного интеллекта [artificial intelligence] для предоставления обратной связи. Дейзи, добро пожаловать снова в EconTalk.
Дейзи Христодулу: Здорово быть здесь снова, Расс.
Расс Робертс: Мы собираемся основывать этот разговор на некоторых ваших недавних эссе в вашем сабстеке, No More Marking, и мы дадим ссылки на те, которые читатели могут проверить. Прав ли я, что есть то, что люди в Британии называют оценкой, верно?
Дейзи Христодулу: Да-да, вы правы. Таким образом, маркировка в техническом смысле в Соединенном Королевстве означает применение номера или номера или класса к части работы. Так что, да; хотя я скажу, что некоторые люди в Соединенном Королевстве тоже не думают, что это значит. Может быть, в этом смысле нас неправильно называют, но это отличное имя.
Расс Робертс: Давайте начнем с обратной связи. Вы пишете, что это может быть термометр или терморегулятор. Объясните эту фразу.
Дейзи Христодулу: Совершенно. Поэтому, когда речь заходит об образовании, я думаю, что любой, кто работает в сфере образования, скажет о важности обратной связи. Я думаю, что это очень популярная тема среди учителей и среди студентов — идея о том, что вам нужно получить некоторое представление о том, как вы работаете, чтобы стать лучше.
Но очевидно, что обратная связь — это очень, очень важная концепция, выходящая за рамки образования; И истоки этого — не тот термин, который сейчас используется часто, но, возможно, кибернетика — истоки такого рода систем управления, истоки информационных технологий — многие из истоков этих областей исследований лежат в концепции обратной связи: о том, как вы изменяете систему на основе входных данных.
Итак, действительно хороший способ думать об обратной связи в более общем смысле — это думать о термометре и термостате. Итак, термометр – это измерительный инструмент: он будет измерять температуру. Термостат будет изменять температуру в зависимости от показаний термометра.
И я применяю эту аналогию к обратной связи по образованию, говоря, что учитель может дать обратную связь, где он может просто измерить, прочитать оценку работы ученика. И это, возможно, было бы просто поставить оценку, сказать: «Это стандарт, на котором он находится». Но когда мы говорим об обратной связи, мы надеемся, что вы сможете дать студенту какую-то возможность. информация Это приблизит их к целевому состоянию.
Таким образом, цель обратной связи в техническом смысле в любом секторе заключается в том, чтобы придумать что-то, что приблизит вас к вашему целевому состоянию.
Итак, в случае с термометром у нас есть показания и термостат. Если показания термометра слишком низкие, то есть если столбик термометра показывает 18 градусов по Цельсию и у вас есть целевое состояние, которого вы хотите достичь, в 20 градусов, термостат включит нагрев, и он остановится, когда мы дойдем до 20. И точно так же, если ваш термометр показывает 22 градуса, а ваше целевое состояние равно 20, вы включите этот термостат и снизит температуру.
Цель образовательной обратной связи заключается в следующем: у нас есть целевое состояние. Я был учителем английского языка, какой будет наша цель? Наша цель состоит в том, чтобы мы хотели, чтобы наши ученики свободно читали, делали глубокие выводы, писали связно. Как мы можем переместить их из того состояния, в котором они находятся в данный момент, в это целевое состояние?
Мы также можем думать о целевом состоянии с точки зрения оценок. Если вы хотите сказать: «Ну, это оценка С, и мы хотим перевести их на оценку А», то нам нужно предоставить обратную связь, которая устранит разрыв между фактическим состоянием, в котором учащийся находится в данный момент и состояние цели. И, как я уже сказал, это то, что имеет решающее значение во многих областях информационных технологий во многих частях мира, но это также представляет большой интерес для учителей.
Расс Робертс: Конечно, в образовании, если я скажу вам: «Вы заработали тройку», некоторые люди скажут: «Отлично. О, это фантастика. Я не думал, что получу такую хорошую оценку», и они закончили. Но другие скажут: «О, мне нужно совершенствоваться».
И, как вы указываете, буквенная оценка или числовая оценка — 73 — не говорит вам как совершенствоваться. Он просто говорит: «Есть возможности для улучшения».
И, кроме того, он на самом деле сам по себе не говорит вам, где находятся отверстия. Могут быть вещи, которые вы делаете на хорошем уровне — на качественном уровне — и могут быть вещи, которые вы делаете неадекватно: но полный это буква С. В этом случае не очень полезно говорить вам, с чего начать, кроме как стараться усерднее. И, кстати, стараться усерднее обычно не очень полезный совет.
По мере продвижения вперед я хочу провести различие между двумя видами обратной связи, которые мы могли бы рассмотреть.
Один из них – писательство. И многое из того, о чем вы написали в своих эссе, связано с обратной связью по письменным эссе. И второе, что я бы сказал, мы бы назвали знанием контента, которое может включать в себя что-то простое, например: «Вы правильно понимаете факты?» Но это также может включать в себя вопрос: «Способны ли вы применить полученные знания в других вещах?» Что было бы самым высоким уровнем.
Мой любимый негативный отзыв, который я получил как преподаватель, это когда студент поставил мне 1 по шкале от 1 до 5 и сказал: «Этот курс несправедлив. Профессор Робертс ожидает, что мы применим этот материал к вещам, которые мы никогда раньше не видели». И, конечно, я читал это в начале каждого занятия, потому что это было целью курса.
Но эти два типа обратной связи — предложения, как мы могли бы их назвать, по эссе или оценка по эссе; и потом, содержание и применение — я думаю, это разные вещи. Вы согласны со мной?
Дейзи Христодулу: Да, я понимаю, о чем вы говорите. Вы имеете в виду, о чем вы говорите, что оба типа обратной связи могут быть в форме чего-то, что учитель написал в нижней части ответа ученика? да. да.
Так что, конечно, есть всевозможные различные категории, о которых можно сказать, что эти комментарии будут относиться. Так что сейчас я очень обеспокоен технической точностью письменных работ студентов. Поэтому я склонен много думать о том, что связано со структурой предложений, апострофами и временем. Итак, это одна категория.
Другая категория — это просто правильное изложение фактов с точки зрения того, о чем они пишут. Итак, я всегда привожу пример: была пьеса, которую я довольно часто преподавал, под названием «Инспектор звонит», когда я был учителем английского языка; И очень распространенной основной фактической ошибкой является то, что студенты путают два символа. Там был персонаж по имени Джеральд и персонаж по имени Эрик, и они смешивали их.
И это была не самая страшная ошибка в мире, и это не значит, что они не могли сделать еще несколько действительно замечательных выводов. Но это действительно сбивало с толку. И это сбило бы их с толку. И это было не очень хорошо. Так что это действительно хороший пример.
И затем… Я думаю, что еще одна часть, о которой вы говорите, это ваша способность, возможно, проводить анализ более высокого порядка и применять его к другим идеям, и, возможно, к тем вещам, которые действительно поднимают произведение на высшие уровни. Это те вещи, о которых вы думаете?
Расс Робертс: Ну, я думаю об истории комментариев, которые я обычно видел на работах моих детей и на моих собственных работах, и о том, что иногда, когда я давал обратную связь, я давал обратную связь на определенный вид ответа, и это было… Пример, который я приводил, был таким: «Я бы написал на полях… или я бы увидел на полях: «Неловко, или «Сбивающий с толку». Вы обводите абзац и говорите: «Сбивает с толку». И студент — мне потребовалось много времени, прежде чем я понял, и вы знаете это очень хорошо, вы пишете об этом — студент читает это и говорит: «Хорошо, что теперь?» И это не то же самое, что «Джеральд и Эрик — два разных персонажа», и вы говорите: «О да, я их перепутал. Ладно, теперь я понял. Возможно, мне придется перечитать пьесу и учиться».
Дейзи Христодулу: Да. Хотя… да. Продолжайте, продолжайте.
Расс Робертс: Нет, пожалуйста.
Дейзи Христодулу: Итак, я бы сказал, что на самом деле я понимаю различие, которое вы проводите между этими разными категориями, но на самом деле я бы сказал, что в все из нихЯ полагаю, что это моя немного еретическая мысль о ком-то вроде вас [?who?] потратил много времени на дачу и получение письменного отзыва, заключается в том, что: письменный отзыв не является оптимальным для любой этих категорий, и что письменный отзыв не является особенно эффективным способом получения обратной связи.
Расс Робертс: Хорошо. Итак, давайте возьмем эссе, как оценивание, так и образование. Вы участвуете в ряде проектов, которые я нахожу очень увлекательными. Мы углубимся в это немного подробнее. Мы затронули ваш предыдущий эпизод. Но вы участвуете в некоторых проектах, о которых вы думаете о том, как мы масштабируем грейдинг и обратная связь? Но я имею в виду, что студент пишет эссе, и оно посредственное. Есть много, много, много способов, которыми она может быть посредственной: она может быть написана в неправильном тоне, в ней могут быть фактические ошибки, ей может не хватать блеска — она может быть… так что мы бы назвали ее плоской.
И в итоге получает посредственную оценку, С+, В-, что угодно, в зависимости от системы. И студент получает эту оценку и думает: «Как мне сделать это лучше?»
Итак, следующий уровень — это сказать: «Ну, я уже говорил вам, где лучше. Когда я написал «Неловкость», это означало, что вы должны попытаться переписать это». Итак, мне любопытно, что, если это будет написано, я сразу же не соглашусь с вами по поводу письменного отзыва. Я думаю, что есть некоторые письменные отзывы, которые могли бы помочь. Но если я не дам этому ученику письменный обратная связь, что я для них делаю?
Дейзи Христодулу: Ладно, отличный вопрос. Итак, давайте также подумаем о том, что очень важно, прежде чем мы перейдем к сути, а это большой вопрос, который я хочу затронуть, но также и о возрастных группах.
Итак, я обучал студентов в возрасте от 11 до 18 лет. Вот в чем заключается большая часть моего опыта. Сейчас я много работаю с детьми от 11 до 18 лет, но также и младше, то есть от 5 до 11 лет. Но я также был рецензируемым автором академической статьи, где я получал письменные отзывы от рецензентов. И то, что я говорю, я думаю, верно, я бы сказал, во всех возрастных диапазонах. Итак, кое-что из того, что я говорю, я думаю, верно для всех пяти лет и до тех пор, пока вы пишете свои рецензируемые статьи. Кое-что из того, что я говорю, более верно для определенных возрастных групп, чем для других. Но здесь есть центральный момент, который, я думаю, верен для всех возрастных групп. Итак, как бы вы ни участвовали в предоставлении и получении письменных отзывов, я думаю, что здесь есть моменты, которые справедливы в этих диапазонах.
И центральный момент, который я хотел бы отметить, о котором мы говорили в прошлый раз, заключается в том, что проза не оптимизирована для действий. Проза не оптимизирована для того, чтобы перевести вас на следующий уровень.
И, опять же, центральная философская, теоретическая часть этого — это тот, о ком я говорил в последнем эпизоде, который я делал с вами, и о котором вы говорите с тех пор и о котором вы говорите много, это Майкл Поланьи.
Таким образом, вся теория неявного знания Майкла Поланьи заключается в том, что есть вещи, которые мы можем сделать, но не можем сказать. Есть целая куча вещей, которые у нас есть это интуитивное реальное понимание…
ЛУЧШИЙ 
Cтратегический карточный симулятор 