Доступ к моделям генеративного ИИ — это простая часть; ценность заключается в превращении их в агентные решения. Мэтт Гиббс предлагает практические рекомендации для руководителей аналитических подразделений, оценивающих инструменты агентного ИИ.
Мы все чаще слышим вопрос: « Разве я не могу просто загрузить данные опроса в ChatGPT, Claude или Copilot? ». Краткий ответ: да, можете. Но вы столкнетесь с серьезными проблемами, связанными с безопасностью данных, точностью числовых показателей и согласованностью анализа.
Проведя последние несколько лет за разработкой агентных систем для маркетинговых исследований, я понял, что работает, а что нет. Вот шесть принципов, которыми следует руководствоваться при любой реализации.
Ключевое различие: генеративные модели ИИ — это языковые предикторы. Специально разработанные агентные решения используют эти модели для управления процессом, сохраняя при этом обработку данных отдельной. Когда вы спрашиваете: « Что влияет на восприятие бренда?» , генеративная модель выдает правдоподобно звучащий текст. Правильно спроектированная агентная система ищет существующие аналитические данные, проводит проверенные расчеты, применяет статистические тесты и представляет результаты с отслеживаемыми источниками. Одна система предоставляет вам контент. Другая — ответы, которые вы можете обосновать.
1) Не размещайте свои данные на общедоступных конечных устройствах.
Вставка данных в общедоступную конечную точку модели означает потерю контроля над тем, какие модели могут использоваться для обучения, кто имеет к ним доступ и где они хранятся. Это может привести к нарушению соглашений об обработке данных и отраслевых кодексов.
Грамотно управляемые корпоративные развертывания (например, Copilot в рамках клиента Microsoft 365) могут решить проблему управления данными, сохраняя их в пределах организационных границ. Однако проблемы с точностью и согласованностью численных данных остаются: модель по-прежнему обрабатывает ваши данные как токены, а не использует статистические инструменты. Безопасное размещение необходимо, но недостаточно.
2) Никогда не позволяйте модели видеть необработанные числовые данные.
Когда вы вставляете данные в генеративную модель, всё превращается в токены. Модель не вычисляет статистику, а предсказывает, какими могут быть правдоподобно выглядящие числа. Это приводит к процентам, которые не суммируются должным образом, к искусственно завышенным базовым размерам и выводам, противоречащим реальным данным. Вы не можете проверить, откуда взялось то или иное число.
Правильный подход: модель никогда не должна использовать необработанные данные в качестве токенов. Вместо этого предоставьте ей доступ к механизмам обработки данных, проверенным в ходе маркетинговых исследований на протяжении десятилетий. Когда агент сообщает, что 32% потенциальных клиентов знают о бренде X, эта цифра должна быть получена на основе проверенных статистических вычислений, а не оценки языковой модели. Каждое полученное заключение должно быть отслежено до воспроизводимого запуска, подлежащего аудиту по своей сути.
3) Сохраните свои тщательно подобранные библиотеки таблиц.
Исследовательские группы вкладывают значительные усилия в разработку проверенных спецификаций таблиц: корректные переменные, согласованная фильтрация, правильное взвешивание. Простое добавление необработанных данных в генеративную модель приводит к потере всей этой интеллектуальной собственности.
Правильный подход заключается в создании систем, в которых агент может осуществлять поиск и выполнять действия на основе предварительно созданных и проверенных спецификаций таблиц. Любая точка данных должна быть отслеживаема до источника. Еще лучше — обеспечить возможность обнаружения результатов предыдущего анализа через историю переписки на уровне организации. Эти институциональные знания накапливаются со временем.
4) Требуйте статистической строгости
Для анализа данных опроса требуется демографическое взвешивание, фильтрация подгрупп и проверка значимости. Генеративные модели не обладают встроенной возможностью последовательного применения схем взвешивания, фильтрации по целевым группам населения или предупреждения о слишком малом размере выборки. Они не могут надежно выполнить один и тот же анализ дважды.
Правильный подход заключается в сочетании динамической генерации спецификаций моделями с соответствующим механизмом перекрестной табуляции. Пользователи дают инструкции на разговорном английском языке; модели генерируют синтаксис кода и передают его проверенному механизму. Статистические вычисления должны быть детерминированными и воспроизводимыми.
5) Внедрить отраслевую экспертизу
Генеративные модели ничего не знают о вашей организации, вашей отрасли или ваших проектах. Любой диалог начинается с нуля.
Именно здесь принципиально отличаются специализированные агентные решения. Это пользовательские системы, построенные на основе базовых моделей, с добавлением памяти, контекстной осведомленности и предварительно созданных рабочих процессов. Агент должен знать вашу организацию, ваши проекты, вашу структуру данных и ваши предыдущие анализы. Предварительно созданные рабочие процессы для сегментации, анализа TURF, отслеживания бренда и дословного кодирования содержат уроки, усвоенные за годы практики. Несколько членов команды получают согласованный анализ, а не то, что модель генерирует в тот или иной день.
6) Оптимизировать скорость получения информации.
Использование генеративной модели для анализа результатов опросов требует масштабной оперативной разработки и ручной проверки. Не у всех заинтересованных сторон есть время на многократное обучение модели ее полезности в каждом разговоре.
Правильный подход заключается в устранении периода адаптации. Предварительно созданные библиотеки таблиц позволяют решать распространенные вопросы за считанные секунды. Результаты должны быть готовы к использованию клиентом: фирменные презентации, интерактивные панели мониторинга, а не текст чата, требующий переформатирования. Самое важное – внедрить механизмы контроля, аналогичные тем, что используются в маркетинговых исследованиях. Система должна отказываться от фальсификации цитат, проверять цифры по исходным таблицам и отделять техническую статистику от резюме для руководителей.
Краткое содержание
Доступ к модели — это простая часть. Ценность создают инструменты, используемые для её создания. Любое заслуживающее внимания решение должно отвечать следующим требованиям:
- Куда попадают мои данные, и кто ими управляет?
- Как вычисляются числа, и можно ли отследить их источник?
- Понимает ли система мой существующий анализ и может ли она выполнить анализ без модели?
- Какие меры предосторожности предотвращают попадание сфабрикованной информации к заинтересованным сторонам?
За десятилетия маркетинговые исследования заслужили свою репутацию благодаря прозрачной методологии и управлению данными. Если значительная часть нашего сектора использует общедоступные модели ИИ без надлежащих мер защиты, мы рискуем не только личной репутацией, но и доверием, лежащим в основе всей нашей отрасли.
Мэтт Гиббс — генеральный директор и основатель компании Bayes Price.
Источник:
https://www.research-live.com/article/opinion/using-ai-agents-with-survey-data/id/5149133
