Созданная модель, получившая название JoblessBERT, обучена для анализа сообщений в Twitter (X), где пользователи делятся информацией о потере работы. В отличие от традиционных методов, которые ищут конкретные фразы, нейросеть распознает разговорный язык, сленг и опечатки, что позволяет ей выявлять в 13 раз больше случаев потери работы при высокой точности.
Чтобы компенсировать несоответствие между аудиторией Twitter и общей структурой населения США, исследователи определили возраст, пол и место проживания пользователей по фотографиям профилей и скорректировали данные, основываясь на результатах переписи населения.
Модель была протестирована на данных за 2020-2022 годы, включая период пандемии COVID-19. Например, в марте 2020 года количество заявок на пособие по безработице выросло с 252 тысяч до 2,9 миллиона, тогда как традиционные прогнозы указывали на среднее значение около 327 тысяч. Однако JoblessBERT смогла предсказать 2,66 миллиона заявок всего за два дня до окончания отчетной недели.
В среднем, на двухнедельном горизонте прогнозирования, точность JoblessBERT превысила традиционные методы на 54% на национальном уровне и на 36% на уровне штатов. Кроме того, система может работать на уровне отдельных городов и заполнять пробелы в официальной статистике, где данные публикуются нерегулярно.
Исследователи также отметили ограничения своего подхода: их работа основывалась только на англоязычных публикациях, и с 2023 года доступ к данным Twitter стал значительно ограничен. Тем не менее, они полагают, что метод можно адаптировать для других языков и платформ, что особенно актуально для развивающихся стран с ограниченными возможностями по сбору данных о рынке труда.
