Томас Шало, Дэйв Тернер и Стивен Кассимон, экономический факультет ОЭСР.

Макроэкономические прогнозисты испытывают трудности с надежным определением точного времени переломных моментов бизнес-цикла и будущих рецессий. Осознавая эту внутреннюю сложность, растущее количество работ сместило фокус на вероятностные модели, с целью оценки Риск будущего спада, а не попытки точно предсказывать.

Исследователи из ведущих учреждений, включая МВФ, ЕЦБ и Банк Англии, высоко оценили случайные леса (RF), или тесно связанные методы, как наиболее эффективный метод машинного обучения для выявления кризисных эпизодов, часто считающийся превосходящим традиционное моделирование пробит/логит [Bluwstein et al. (2020), Hellwig (2021), IMF (2021), Jarmulska (2020)]. Однако Рабочий документ ОЭСР, «Использование мудрости толпы для оценки рисков рецессии в странах ОЭСР » (Chalaux и др., 2025), оспаривает это распространённое мнение, демонстрируя, что индивидуальный алгоритм на основе усовершенствованного моделирования пробитов может соответствовать, а в некоторых ключевых областях и превосходить результаты случайных лесов при прогнозировании эпизодов рецессии в 20 странах ОЭСР.

Ключ к обновлению моделирования проббитов заключается в принятии концепции ансамблевого прогнозирования, «мудрость толпы».

Алгоритм думбота и сила усреднения

В рабочей статье представлена последняя версия высоко настраиваемого алгоритма под названием Doombot. В то время как Random Forests достигает превосходной производительности, усредняя прогнозы по множеству деревьев решений, новейший алгоритм Doombot имитирует эту стратегию, усредняя предсказания из множества хорошо подходящих уравнений пробитов. Эта функция, называемая «мудростью толпы», повышает возможности алгоритма вне выборки предсказания. Преимущество усреднения широко признано в более широкой литературе по прогнозированию, где простые средние показатели часто превосходят более сложные схемы агрегирования.

Дизайн Doombot отличается значительной кастомизацией. Он использует метод «грубой силы» для проверки большого числа комбинаций объяснительных переменных. Чтобы гарантировать достоверность и понятность результативных прогнозов для внешней аудитории, алгоритм сохраняет только хорошо подходящие уравнения с статистически значимыми переменными и накладывает ограничения по знакам для поддержания согласованного и последовательного экономического нарратива между странами и прогнозными горизонтами.

Преимущество, отмеченное в статье, заключается в том, что Doombot построен на моделях, специфичных для каждой страны. Это отличается от случайных лесов, которые лучше всего работают при объединении стран для оценки единой общей модели. Авторы утверждают, что модели, ориентированные на конкретные страны, по своей природе создают более интуитивно привлекательные свойства, повышая доверие при общении с заинтересованными сторонами.

Предсказательные «скачки лошадей»

Исследование ОЭС сравнило работу пяти методов вне выборки: Пробит использует «Мудрость толпы» [hereafter “Probit (WoC)”], Пробит с одним уравнением, Случайные леса, оцениваемые для отдельных стран (IRF), Объединённые случайные леса (PRF) и LASSO.

Результаты показывают, что Probit (WoC) успешно соответствует эффективности методов случайного леса при внедрении квартальных прогнозов вне выборки на двухлетний горизонт, включая бурный период Глобального финансового кризиса (GFC) (Рисунок 1).  Все методы показывают значительно лучшие результаты в прогнозировании рецессии в следующих 4 кварталах по сравнению с последними четырьмя кварталами (сравнивая панели A и B на рисунке 1). Однако применение функции «Мудрость толпы» явно улучшило производительность модели пробита по сравнению с её предшественником с одним уравнением на всех горизонтах.

Недостатки пулирования

Хотя объединение случайных лесов (PRF) показывает превосходящие результаты по оценке случайных лесов с использованием моделей отдельных стран (IRF) по некоторым традиционным метрикам, таким как медианный балл площади под кривой (AUC), исследование выявляет некоторые недостатки, связанные с объединением данных по странам:

1. Потолок низкой вероятности: PRF редко создаёт высокие вероятности рецессии, превышающие 50%. Это затрудняет определение, когда рецессия — это «скорее всего, чем нет “. При тестировании с использованием более высокого порога F-балла — 50% вместо низкого порога в 15% — PRF снизился с одного из лучших показателей до последнего рейтингового метода (см. рисунок 2), что демонстрирует слабую способность различать случаи высокого риска.
2. Высокая корреляция: Прогнозы PRF обычно сильно коррелируют между странами. Этот подход может испытывать трудности с выявлением изолированных рисков рецессии для отдельных стран или отдельных групп, таких как концентрированный риск рецессии среди европейских стран, наблюдаемый в 2022 и 2023 годах. Более специфическая для страны модель Пробита (WoC) успешно выявила значительно более высокий дифференциальный риск для европейских стран в этот период.

Рисунок 1. Распределение результатов AUC вне выборки по 20 странам для 5 методов

Примечание: Таблица box and whiskers суммирует распределение баллов Area-Under-the-Curve (AUC) в вневыборочных тестах для 20 стран ОЭСР: рамка показывает межквартильный диапазон, горизонтальная линия — медиана; крест — это среднее; А усы — это экстремальные баллы. Балл AUC является распространённой мерой при оценке моделей машинного обучения, поскольку он показывает точность модели при прогнозировании бинарного результата при различных пороговых порогах вероятности того, было ли предсказано событие (здесь рецессия). Балл AUC варьируется от 0 до 1, при этом более высокое значение указывает на лучшую эффективность. AUC 0,5 означает, что модель не лучше шанса отличать рецессию от нерецессионных кварталов, что указывает на её неинформативность. Порядок методов по оси x отражает ранжирование их медианных показателей по странам.

Рисунок 2. Распределение F-баллов по 20 странам с разными порогами в перво-восьмом квартале

Примечание: Таблица box and whiskers суммирует распределение баллов F-баллов в тестах вне выборки для 20 стран ОЭСР: рамка показывает межквартильный диапазон, горизонтальная линия — медиана; крест — это среднее; А усы — это экстремальные баллы. Порог для теста F-балла (15% в панели A, 50% в панели B) отражает порог вероятностного прогноза как рецессия или нерецессия. Порядок методов по оси x отражает ранжирование их медианных показателей по странам.

Что вызывает рецессию? Переменные и горизонты

Надёжность этого исследования обусловлена применением той же концепции в 20 странах и восьми последовательных квартальных горизонтах. Это широкое применение подтверждает, что значение объяснительных переменных резко меняется в зависимости от прогнозного горизонта (см. рисунок 3).

• Короткие горизонты (Q1-Q2): Предикторами ближайших кварталов являются переменные активности, такие как использование мощностей, безработица и промышленное производство.
• Более долгие горизонты: Для дальнейших горизонтов доминируют переменные финансового цикла, особенно цены на кредит и жильё.
• Другие факторы: Процентные ставки и переменные инфляции также вносят значительный вклад. В соответствии с предыдущими работами ОЭСР, международные или глобальные индикаторы оказываются сильными предикторами риска рецессии.

Инновации в области данных в реальном времени

Ещё одной важной особенностью этой статьи является строгое использование данных по ВВП в реальном времени в вневыборочных упражнениях. Это означает, что оценка использует точный урожай данных, который был бы доступен В тот момент времени Прогнозы были сделаны, а не самые свежие, часто пересматриваемые данные (квази-реальное время).

Это различие важно, потому что изменения в данных ВВП могут быть существенными. Исследование показало, что хотя использование последних данных обычно приводит к небольшому совокупному росту производительности, оно может влиять (и, вероятно, улучшать) прогноз именно тогда, когда это наиболее важно, например, накануне глобального финансового кризиса. Например, используя последние данные за июнь 2008 года, прогнозы показали, что ещё семь стран уже зафиксировали отрицательный рост ВВП в первом квартале 2008 года по сравнению с доступными на тот момент. Только это изменение увеличило прогнозируемую общую вероятность рецессии для этих семи стран на 15–30 процентных пунктов (рисунок 4).

Заключительные инсайты

Результаты этого рабочего документа ставят под сомнение недавний консенсус относительно превосходства машинного обучения в прогнозировании кризисов. Используя «мудрость толпы», усредняя прогнозы из многих хорошо подходящих уравнений пробитов, индивидуальный алгоритм Probit (WoC) достигает вневыборочной производительности, сопоставимой с Random Forests.

Специфический характер Doombot по стране, в сочетании с его способностью создавать предсказания с высокой вероятностью (более 50%), даёт практические преимущества по сравнению с объединёнными методами. Кроме того, подробный многогоризонтальный анализ подтверждает критическую роль переменных финансового цикла (цены на кредит и жильё) в прогнозировании среднесрочных и долгосрочных рисков рецессии, предоставляя детали, которые могут помочь в формировании политики и прогнозирования. Использование данных в реальном реальном времени добавляет ещё один уровень строгости, гарантируя, что оценки прогнозов отражают информационную среду, реально доступную политикеВ то время это были Ymakers.

Ссылки

Bluwstein, K. и др. (2020), «Рост кредитования, кривая доходности и прогноз финансового кризиса: данные из подхода машинного обучения», Рабочий документ Банка Англии No 848, январь https://doi.org/10.1016/j.jinteco.2023.103773.

Шало, Т., Д. Тернер и С. Кассимон (2025), «Использование мудрости толпы для оценки рисков рецессии в странах ОЭСР», Рабочие документы Экономического департамента ОЭСР, No 1837, издательство ОЭСР, Париж, https://doi.org/10.1787/46880adc-en.

Хеллвиг, К.-. (2021), «Прогнозирование фискальных кризисов: подход машинного обучения», Рабочие документы МВФ , 150.  https://doi.org/10.5089/9781513573588.001.

МВФ (2021), «Как оценить риски стран: подход к упражнению по уязвимости с использованием машинного обучения», Technical Notes and Manual (Международный валютный фонд), TNM/21/03, Вашингтон, округ Колумбия, https://doi.org/10.5089/9781513574219.005.

Ярмульска, Б., (2020), «Модели случайного леса против логитов: что обеспечивает лучшее раннее предупреждение о фискальных стрессах?», Рабочий документ ЕЦБ No 2408, май, doi:10.2866/214327.

Связанное