Статья на РБК: «Архитектура доверия: как превратить данные в управляемый актив в эпоху ИИ»

Управление данными – не только преимущество, но и ответственность

В эпоху искусственного интеллекта в экспертной среде возникает много дискуссий о новых требованиях к качеству корпоративных данных и эффективности управления ими. Бизнес привык к тому, что данные – один из его ключевых ресурсов: они используются в десятках систем и сотнях процессов, позволяют более объективно принимать критически важные решения. Однако сегодня появляется еще один потребитель этого ресурса – искусственный интеллект.

Большинство компаний уже не сомневается в том, стоит ли давать ИИ доступ к корпоративным данным. Такая потребность возникает практически у всех. Вопрос заключается в другом: как обеспечить доверие к информации, которую ИИ обрабатывает, преобразует и использует в своей работе?

Эта проблема возникла как объективный технологический вызов. Раньше между данными и бизнес-решением всегда находился человек – эксперт, который мог, например, заметить подозрительное значение, понять, что два названия в документах обозначают одну и ту же организацию, уточнить информацию у коллеги, посмотреть первичный документ. Сегодня информация всё чаще обрабатывается автоматически, причем ИИ-агент не только извлекает ее из источников, анализирует и принимает на ее основе определенное решение, но и инициирует дальнейшие действия по цепочке.

При этом важно отметить, что ИИ-агенту нужно понять, что означает тот или иной параметр, откуда он получен и какие преобразования прошел, с какими другими сущностями связан, в каком контексте употребляется, насколько ему можно доверять. Поэтому, если уровень качества сведений, которыми оперирует модель, изначально низкий, – ИИ не повысит его, а, скорее, масштабирует последствия проблемы, причем со скоростью автоматизации.

Качество данных начинается в момент их рождения

Недостаток классической реактивной модели дата-менеджмента состоит в том, что, следуя ей, о качестве данных пользователи, как правило, задумываются только в момент их непосредственного потребления. То есть данные появляются в системах, проходят через несколько интеграций, преобразуются, обогащаются, объединяются с другими данными, попадают в хранилище – и уже после этого компания интересуется, насколько им можно доверять. Между тем на каждом этапе процесса извлечения, обработки и загрузки (Extract, Transform, Load – ETL) в мастер-данных могут накапливаться информационные дефекты. Для их поиска и исправления компании необходимо внедрять отдельные дорогостоящие инструменты.

Основной принцип, который бизнесу стоит усвоить: данные становятся доверенным активом только тогда, когда организация способна управлять их смыслом, ответственностью, качеством, происхождением и использованием на всех этапах их жизненного цикла – с момента возникновения, а не только в точке потребления.

Этот принцип требует качественного пересмотра подхода к Data Lineage – отслеживанию пути конкретных сведений от источника до конечного потребителя. Для управления данными нужен контроль всей цепочки: где данные родились, кто за них отвечает, какие проверки они прошли, как преобразовались, куда попали, кто ими пользуется.

Мастер-данные – основа корпоративной базы знаний

Мастер-данные – это данные об основных сущностях, с которыми работает компания: клиентах, контрагентах, продуктах, сотрудниках, организациях, объектах. На высоком уровне развития цифровой корпоративной культуры они превращаются из набора корпоративных справочников в цифровую модель объектов реального мира компании.

Это приносит бизнесу определенные преимущества, но и несет новые риски. Например, если в данных возникли разногласия и две информационные системы по-разному «понимают» одного клиента, один продукт или одну организацию, это уже не просто проблема интеграции, а разные версии реальности внутри компании. Из такой модели уже невозможно получить полностью согласованную аналитику. А если этой моделью реальности начинает пользоваться искусственный интеллект, объем недоверенных данных будет только расширяться.

Поэтому управление мастер-данными (Master Data Management, MDM) в новой парадигме начинается с определения объекта управления, ответственности и правил. Специалистам, ответственным за этот процесс, необходимо в любой момент времени знать ответы на шесть простых вопросов:

1. Какими данными мы управляем и какие из них действительно критичны?

2. Что именно означают эти данные?

3. Кто отвечает за качество данных, имеет право определять их смысл?

4. По каким правилам данные создаются, изменяются, согласовываются и распространяются?

5. Как мы обеспечиваем качество данных и понимаем, что им можно доверять?

6. Где эти данные используются и какие решения от них зависят?

Последний вопрос с появлением ИИ становится особенно актуальным, так как на основе корпоративных данных ИИ-агент автоматически принимает решение и инициирует дальнейшие действия.

Важно понимать, что не существует универсальной технологии, которая решает эту задачу. Доверие к данным формируется системой взаимосвязанных практик:

• Data Governance – отвечает за правила управления данными и ответственность владельцев данных;
• Data Quality – позволяет измерять состояние данных, чтобы понимать, можно ли им доверять;
• Metadata Management – фиксирует смысл и контекст, в котором находятся данные;
• Data Lineage – показывает происхождение данных и их преобразования;
• Master Data Management – помогает управлять жизненным циклом, согласованностью и эталонным представлением мастер-данных.

При этом роль MDM в последнее время меняется. Многие механизмы, которые сформировались вокруг MDM (эталонизация, версионирование, контроль качества, workflow (управление процессами), семантическое описание, управление ответственностью, контролируемое распространение), становятся востребованы и при подготовке других доверенных наборов данных, в том числе предназначенных для data-driven (основанных на данных) процессов и ИИ. То есть компания может расширять область применения практик и механизмов, доказавших эффективность при управлении мастер-данными, на другие корпоративные знания. Таким образом формируется доверенный слой данных компании – Trusted Data Layer.

Меняется и понимание ответственности за смысл и качество данных. Если раньше считалось, что за данные как цифровой ресурс отвечает ИТ, то сейчас эта позиция пересматривается. ИТ не может самостоятельно решить, например, какой адрес является юридически значимым, когда контрагент считается действующим, какие характеристики продукта являются обязательными. Поэтому зоны ответственности должны быть четко разделены:

• бизнес как владелец данных определяет их смысл, правила, критичность, требования к качеству;
• дата-офис создает систему управления этими требованиями;
• ИТ делает эту систему технологически исполнимой.

Шесть этапов превращения мастер-данных в актив

Путь превращения мастер-данных в корпоративный актив можно описать шестью шагами:

1. Данные просто существуют.

2. Мы понимаем их смысл и контекст.

3. Мы знаем качество и происхождение.

4. Данные становятся управляемыми и потребляемыми (есть владельцы, правила, процессы; данные доступны для использования, их можно повторно использовать без постоянной ручной проверки и расшифровки).

5. Корректно пользоваться данными может не только специалист, знающий внутренние особенности компании, но и машина (AI-ready Data).

6. Данные как актив: создают измеримую ценность для бизнеса.

На пятом шаге компания должна четко определить для себя, каким образом ИИ может взаимодействовать с корпоративными данными. Самый простой вариант – предоставить ИИ доступ к исходным источникам: системам (CRM, ERP и т.д.), файлам, документам, базам данных. Но такая схема имеет слабые места: ИИ-агент не всегда может правильно понять, например, какой источник является достоверным, как отличить действующий объект от устаревшего, какие преобразования можно выполнять.

Более перспективна другая схема: между первичными источниками и ИИ появляется управляемый слой предоставления данных. Благодаря ему компания дает ИИ не бесконтрольный доступ ко всей корпоративной информации, а подготовленные, доверенные данные и понятный контекст для решения конкретной задачи. Это принципиально новый уровень архитектуры доверия.

От управления данными – к инфраструктуре доверия

Создание управляемого информационного актива компании сопровождается четырьмя качественными переходами:

1. От хранения – к управлению смыслом и ответственностью: компания понимает не только то, где находятся данные, но и то, что они означают и кто имеет право это определять.

2. От контроля качества на выходе – к управлению всем жизненным циклом: доверие формируется с момента возникновения данных и сопровождает их на всём жизненном цикле.

3. От Master Data – к Trusted Data (доверенным данным): мастер-данные остаются данными об основных сущностях компании, но практики, которые компания научилась применять к ним, становятся фундаментом для работы и с другими критически важными наборами данных.

4. От прямого доступа машины к корпоративным системам – к управляемой поставке правильного контекста.

В ближайшие годы будет происходить серьезная трансформация инструментов Data Management. MDM, Data Governance и Data Quality перестанут восприниматься только как «средства наведения порядка» в данных – они будут становиться частью инфраструктуры доверия, через которую корпоративные данные предоставляются и человеку, и машине.

Однако главный вызов останется прежним. Компаниям недостаточно собрать как можно больше данных и приобрести лучшую ИИ-модель. Необходимо знать, какие данные у вас есть, понимать их смысл и влияние на бизнес компании, отвечать за их качество и предоставлять правильные данные в правильном контексте правильному потребителю – человеку или ИИ.

Источник: РБК