Автор: д-р Стефаан Верхулст
Подготовлено для информирования участников вебинара «Решение проблемы измерений» , организованного Постоянной технологической панелью NAPA, CODE и Bridge Alliance (30 июня 2026 г.).
Введение
Официальная статистика долгое время служила основой для принятия решений на основе фактических данных в Соединенных Штатах, но почва под ней меняется. Уровень отклика на опросы падает; затраты на сбор данных растут; опасения по поводу конфиденциальности усиливаются; а доверие общественности к государственной информации ослабевает как раз в тот момент, когда вопросы, на которые должны отвечать политики — о цифровой доступности, финансовой устойчивости, влиянии изменения климата, мобильности и экономических возможностях — становятся все более сложными и требующими оперативного решения. Статистические системы, созданные для более медленной и однородной экономики, никогда не были рассчитаны на то, чтобы идти в ногу с таким динамичным обществом.
Из этого напряжения возник тихий, но значимый сдвиг: рост повторного использования нетрадиционных данных (НТД). Эти данные, непрерывно генерируемые в результате коммерческих транзакций, цифровых платформ, подключенных устройств, спутников, финансовых учреждений, мобильных сервисов и онлайн-взаимодействий, никогда не собирались с расчетом на статистическое производство. Однако, когда ими ответственно управляют и объединяют с данными опросов, переписей населения и административной документации, они предоставляют статистическим агентствам то, чего они всегда хотели, но редко имели: практически непрерывное, детальное представление об экономической и социальной жизни. Обещание состоит не в том, что нетрадиционные данные заменят официальную статистику, а в том, что они сделают её быстрее, дешевле и актуальнее, при этом требуя меньшего от общественности.
Как и в других странах, Соединенные Штаты стали полигоном для испытания этого гибридного подхода. Федеральные статистические агентства — Бюро переписи населения , Бюро статистики труда и Бюро экономического анализа , среди прочих — все чаще сотрудничают с университетами, некоммерческими организациями, благотворительными фондами и частными компаниями, чтобы изучить, что могут предложить нетрадиционные данные. За пределами правительства такие организации, как Opportunity Insights, Институт JP MorganChase, Microsoft Research, Центр инклюзивного роста Mastercard и программа Meta Data for Good, показали, что частные, пассивно генерируемые данные могут давать важные для политики показатели, которые одни только официальные статистические данные не могут обеспечить.
Результатом этих усилий является не конкуренция между источниками данных, а их взаимодополняемость. Опросы по-прежнему обеспечивают репрезентативность («истинную картину») и богатый контекст; административные записи по-прежнему обеспечивают всесторонний охват населения; а нетрадиционные данные вносят вклад, который часто ограничен в обоих случаях: своевременность, детализация и возможность увидеть изменения по мере их возникновения, а не спустя месяцы.
Приведенные ниже примеры дают представление о текущих экспериментах в Соединенных Штатах. Они не претендуют на исчерпывающий перечень, а скорее призваны проиллюстрировать разнообразие подходов, с помощью которых нетрадиционные данные интегрируются с опросами, переписями населения и административными записями для укрепления официальной статистики и принятия решений в государственных органах.
Краткий обзор текущей практики
Измерение возможностей, связей и инклюзивности
Немногие примеры иллюстрируют эту гибридную модель лучше, чем работа Раджа Четти и Opportunity Insights . Проект, начавшийся с сопоставления анонимизированных налоговых записей IRS с данными переписи населения и образования, вырос в нечто гораздо более масштабное, включающее данные социальных сетей Meta, информацию о коммерческом жилье, геопространственные наборы данных и данные о потребительском кредите. Результат — такие инструменты, как Opportunity Atlas , Social Capital Atlas и Economic Tracker — предлагают показатели мобильности и взаимосвязи на уровне районов, которые просто невозможно получить только с помощью опросов, и которые позволили политикам практически в режиме реального времени оценить состояние экономики во время недавних потрясений.
Индекс социальной связанности Meta распространяет эту логику на область, которую официальная статистика всегда испытывала трудности с отражением: социальный капитал. Агрегируя анонимизированные дружеские связи в Facebook, индекс измеряет, насколько близки два сообщества не только географически, но и социально — этот показатель исследователи использовали для изучения восстановления после стихийных бедствий, мобильности рабочей силы и политической поляризации.
Анализ телеметрии, проведенный Microsoft на основе данных примерно 40 миллионов устройств Windows, делает нечто подобное и для проблемы цифрового неравенства, показывая, что значимая цифровая интеграция заключается в вовлеченности и навыках, а не просто в наличии у домохозяйства широкополосного доступа в интернет.
Показатель инклюзивного роста Mastercard использует аналогичный подход к оценке самих экономических возможностей. Объединяя анонимизированные данные о платежных транзакциях с открытыми данными о жилье, занятости, образовании и здравоохранении, он создает картину на уровне переписных участков, показывающую, действительно ли экономический рост распределяется между всеми — вопрос, на который сами по себе не могут ответить показатели ВВП и доходов домохозяйств.
Отслеживание рынков и рынка труда в режиме реального времени.
Рынок жилья и рынок труда меняются быстрее, чем большинство официальных статистических данных успевают за ними угнаться, и именно здесь нетрадиционные данные нашли наиболее очевидное применение. Индексы Zillow , основанные на миллионах объявлений о продаже недвижимости, оценках и сделках, обновляются ежемесячно вплоть до уровня почтового индекса и района и стали достаточно надежными, чтобы распространяться через Федеральный резервный банк Сент-Луиса наряду с государственными данными.
Данные ADP о заработной плате, охватывающие миллионы работников, позволяют экономистам получить предварительное представление об изменениях на рынке труда задолго до публикации официальных данных о занятости.
Собственные эксперименты Бюро переписи населения
Пожалуй, наиболее показательно то, что Бюро переписи населения само институционализировало этот эксперимент. В рамках программы «Экспериментальные данные» новые методы тестируются открыто, с полной методологической документацией, прежде чем принимать решение об их официальном внедрении. Один из примеров — использование спутниковых снимков высокого разрешения в сочетании с компьютерным зрением для оценки ежемесячного количества начатых строительных работ. Это не заменяет полевые исследования, но обеспечивает дополнительную информацию о динамике рынка жилья. Бюро применило ту же комбинированную логику к розничной торговле, объединив данные о транзакциях в пунктах продаж с традиционными опросами и данными о заработной плате, а также к условиям ведения бизнеса с помощью таких продуктов, как « Опрос тенденций и перспектив бизнеса» . Даже «Опрос домохозяйств» , разработанный и запущенный в течение нескольких недель во время пандемии COVID-19, показал, что официальная статистика может быть гибкой, когда этого требует ситуация.
Повышение уровня внедрения и надежности повторного использования тропических болезней.
Несмотря на все свои перспективы, повторное использование данных о тропических болезнях остается скорее дополнительным, чем основополагающим элементом — полезным дополнением, существующим наряду с официальной статистикой, а не являющимся несущей силой самой системы. Превращение нетрадиционных данных в действительно надежную опору национальной статистики потребует решения ряда сложных проблем, которые ни один из приведенных выше примеров не смог полностью решить.
Во-первых, это осведомленность и понимание. Хотя интерес к нетрадиционным данным значительно вырос, многие политики, руководители статистических служб и государственные служащие по-прежнему не знакомы ни с возможностями, ни с ограничениями этих новых источников данных. В некоторых случаях нетрадиционные источники данных рассматриваются как панацея, способная заменить опросы и официальную статистику; в других — отвергаются как изначально предвзятые или ненадежные. Ни одна из точек зрения не отражает всей картины. Поэтому повышение осведомленности о том, когда нетрадиционные типы данных подходят, а когда нет, является важным первым шагом. Это включает в себя повышение уровня грамотности в работе с данными среди лиц, принимающих решения, продвижение доказательств успешного использования , поощрение сотрудничества между статистическими агентствами и внешними поставщиками данных , а также содействие более тонкому пониманию того, как опросы, административные записи и нетрадиционные данные могут дополнять друг друга в рамках гибридной статистической экосистемы.
Вторая проблема — репрезентативность . Телеметрия Windows ничего не говорит о домохозяйствах, не имеющих ПК; данные о платежах и заработной плате мало что говорят о наличной экономике или людях, не имеющих банковских счетов; графики дружбы в Facebook ничего не говорят о людях, которые не зарегистрированы на этой платформе. Каждый источник несет в себе демографический отпечаток того, кто его создал, и эти отпечатки редко совпадают с населением, которое должна описывать национальная статистика. Прежде чем эти источники смогут существовать самостоятельно, а не заимствовать легитимность у опросов, с которыми они соотносятся, необходимо решить задачу создания надежных методов коррекции предвзятости — сопоставления коммерческих данных с общими показателями населения, которые по-прежнему уникальным образом предоставляют опросы и десятилетняя перепись населения.
Третий фактор — доступность и непрерывность . Многие из факторов, делающих эти источники данных ценными, одновременно делают их уязвимыми: они находятся в частной собственности, могут быть изъяты, переоценены или реструктурированы по усмотрению компании и никогда не создавались с учетом многолетней непрерывности, необходимой для национальных статистических данных. Поэтому долгосрочные соглашения об обмене данными и устойчивые партнерства являются необходимым условием для того, чтобы рассматривать эти источники как надежную общественную инфраструктуру, а не как временные договоренности.
Четвертый аспект — методологическая прозрачность . Официальная статистика завоевывает доверие общественности, поскольку ее методы опубликованы, воспроизводимы и открыты для проверки. Собственные алгоритмы и коммерческие конвейеры обработки данных часто являются полной противоположностью. Для устранения этого пробела потребуется достаточная прозрачность в отношении методологии, выборки, обработки и ограничений, чтобы обеспечить независимую проверку при одновременной защите законных коммерческих интересов.
Пятый фактор — это общественное доверие и социальная лицензия . Право на доступ к данным и их повторное использование не равнозначно общественной легитимности. Даже если обмен данными законен и обеспечивает конфиденциальность, люди все равно могут сомневаться в том, соответствуют ли конкретные способы использования их ожиданиям и ценностям. Для формирования социальной лицензии на повторное использование нетрадиционных данных необходимы прозрачность, содержательное участие общественности, четкое определение общественной ценности, надежная защита конфиденциальности и подотчетное управление. Без общественного доверия и легитимности технически обоснованные инициативы в области данных могут столкнуться с трудностями в достижении долгосрочной устойчивости.
Шестой аспект — это институциональный потенциал и управление данными . Статистическим агентствам, построенным на основе методологии опросов, теперь требуются дополнительные возможности в области проектирования данных, технологий повышения конфиденциальности, машинного обучения, юридических и договорных переговоров, а также управления партнерскими отношениями. Более того, им необходимо наращивать потенциал в области управления данными — способность ответственно идентифицировать, получать доступ, управлять, интегрировать и повторно использовать данные, полученные вне государственного аппарата, таким образом, чтобы максимизировать общественную ценность при минимизации рисков. Программа экспериментальных данных Бюро переписи населения демонстрирует, как эти возможности могут развиваться постепенно посредством экспериментов, тщательной оценки и взаимодействия с общественностью, но масштабирование этого подхода в рамках всей федеральной статистической системы остается значительной задачей.
Наконец, возникает вопрос управления и стандартов . Каждая из описанных выше инициатив в настоящее время функционирует в рамках собственных определений, условий доступа, рамок качества и механизмов управления. Для того чтобы нетрадиционные данные стали подлинным третьим столпом национальной статистики наряду с опросами и административными записями, в этой области потребуются общие стандарты качества , общие рамки оценки пригодности для использования по назначению, совместимые методы управления и более четкие федеральные указания относительно того, когда и как нетрадиционные данные могут надлежащим образом вносить вклад в официальную статистику, а не просто дополнять ее.
Короче говоря, задача состоит не просто в получении большего количества данных. Она заключается в формировании осведомленности, методов, институтов, системы управления и общественной легитимности, необходимых для того, чтобы нетрадиционные данные стали надежным и устойчивым компонентом национальной статистической инфраструктуры.
