Автор: Михал Земелка
Мониторинг, чат-боты, анализ документов и распознавание изображений – искусственный интеллект все чаще используется в государственном управлении. Однако наше исследование показывает, что многие учреждения не в состоянии ответить на основные вопросы об используемых ими системах, связанных с ними рисках и влиянии на права граждан.
В середине мая мы представили первую часть отчета об использовании искусственного интеллекта государственными учреждениями. В ней были представлены результаты нашего мониторинга, охватившего 5480 государственных учреждений. Исследование показало, что ИИ уже присутствует в государственном управлении — в том числе в транскрипции записей, анализе документов, чат-ботах, мониторинге, диагностике, кибербезопасности и инструментах поддержки принятия решений, — но определить полный масштаб и способы его использования сложно. Из ответивших учреждений 9% заявили об использовании ИИ, причем более высокие показатели наблюдались в городах с районными правами, центральных органах власти и районных управлениях. Проблемы включали в себя недостаточную прозрачность, размытое определение ИИ и почти полное отсутствие внутренних правил использования таких инструментов сотрудниками.
На втором этапе исследования мы изучили ответы отдельных государственных учреждений на подробные вопросы об используемых ими системах искусственного интеллекта. Для углубленного анализа мы отобрали 52 организации, которые ранее сообщали об использовании решений на основе ИИ или алгоритмов. Мы задавали вопросы о предполагаемом использовании систем, классификации рисков в соответствии с Законом об ИИ, оценках воздействия на защиту данных, оценках воздействия на основные права, руководствах пользователя, поставщиках, стоимости и использовании моделей общего назначения.
В итоге, ответы относительно своих систем ИИ предоставили лишь 28 учреждений, что составляет чуть более половины опрошенных — точнее, 54%. Во многих случаях приходилось уточнять и уточнять вопросы, а также сопоставлять заявления учреждений с их предыдущими утверждениями. Некоторые организации, которые несколько месяцев назад указывали на конкретные системы ИИ, заявили, что не будут их использовать на втором этапе исследования. Причины изменения позиции не всегда объяснялись.
Отчет об исследовании – Часть II
Чему мы научились?
Полученная информация указывает на то, что правительство использует ИИ в основном в трех областях: анализ изображений и мониторинг, включая распознавание номерных знаков, объектов, людей и необычных ситуаций; автоматизация взаимодействия с гражданами, например, с помощью чат-ботов, голосовых ботов и виртуальных помощников; и обработка текста, документов и речи, включая транскрипцию, анализ счетов-фактур, классификацию документов и поддержку работы с юридической информацией.
Во многих случаях учреждения не проводили оценку рисков, связанных с системами искусственного интеллекта. Из 37 описанных систем в 19 случаях было отмечено отсутствие такой оценки. Только одна система была признана высокорискованной — система идентификации растений на основе ИИ, используемая Агентством по реструктуризации и модернизации сельского хозяйства. Между тем, некоторые другие приложения, такие как мониторинг, анализ больничных листов, подбор персонала и системы, поддерживающие общественные блага, также могут иметь существенные последствия для прав граждан.
В отчете также выявлены серьезные пробелы в защите персональных данных. Оценки воздействия на защиту данных (DPIA) проводились лишь в меньшинстве случаев, а их содержание предоставлялось еще реже. Это означает, что граждане часто не осведомлены о том, какие данные обрабатываются системами искусственного интеллекта, какие риски были выявлены и какие меры защиты были приняты. Это особенно проблематично в случае систем видеонаблюдения, систем распознавания номерных знаков, чат-ботов и инструментов подбора персонала.
Аналогичная ситуация наблюдается и с оценкой воздействия на основные права человека (FRIA). Требование проводить такую оценку для систем высокого риска станет особенно важным с внедрением Закона об ИИ, но подобные оценки уже сейчас могут быть важным инструментом ответственного внедрения ИИ. Практически ни одно из учреждений, участвовавших в исследовании, не проводило их. В двух случаях такая оценка была проведена, несмотря на то, что система не была классифицирована как система высокого риска, что можно считать хорошей практикой, но один из этих документов не был предоставлен.
Ещё одна проблема — отсутствие чёткой маркировки использования ИИ. Граждане должны знать, участвовал ли ИИ в подготовке документа, письма, рекомендации, анализа или решения по их делу. Это относится не только к ситуациям, когда система принимает решение самостоятельно, но и к случаям, когда она оказывает поддержку должностному лицу, отбирает дела для рассмотрения, готовит проект письма или анализирует данные. Без такой информации сложно поставить под сомнение влияние ИИ, узнать о принципах работы системы или запросить дополнительную проверку человеком.
В отчете также подчеркивается использование моделей общего назначения, таких как модели от OpenAI и Microsoft. Это не было доминирующим явлением в исследовании, но там, где такие модели появлялись, они часто вызывали вопросы о безопасности данных, зависимости от крупных поставщиков и возможности контролировать, куда в конечном итоге попадает информация, передаваемая в систему. На этом фоне важной темой является разработка польского семейства моделей PLLuM, предназначенного для государственного управления и более безопасной обработки данных как в польском, так и в европейском контексте.
Наши рекомендации
Выводы исследования ясны: государственное управление начинает внедрять ИИ, но прозрачность этих усилий остается неравномерной, реактивной и слишком часто зависит от любознательности граждан или общественных организаций. Информация о системах фрагментирована, неполна, ее трудно сопоставить, и зачастую она доступна только по запросу на предоставление публичной информации.
Поэтому мы рекомендуем создать публичный реестр применения ИИ в государственном управлении. Этот реестр должен показывать не только то, какие системы были внедрены, но прежде всего: кем, с какой целью, в каком процессе, против кого и с каким потенциальным воздействием на права граждан. Реестр должен быть условием допустимости применения ИИ в вопросах, затрагивающих граждан.
Вторая ключевая рекомендация — ввести обязательную маркировку использования ИИ в административной деятельности. Если ИИ оказал существенное влияние на содержание документа, дела, рекомендации, анализа или решения, граждане должны быть четко проинформированы. Без этого отсутствует реальная подотчетность и эффективный контроль за тем, как государство использует новые технологии.
Данный текст создан в рамках проекта, финансируемого Европейским фондом искусственного интеллекта и общества.
Источник:
https://siecobywatelska.pl/jak-administracja-publiczna-korzysta-z-ai/
