Дэвид Колинек, вице-президент Ataccama по продуктам и управлению данными, пишет в своей публикации, что не будет преувеличением сказать: данные сегодня являются движущей силой бизнеса. Организации буквально наводнены данными по всем направлениям, особенно по мере того, как они ускоряют свою цифровую трансформацию и миграцию в облако. По мере распространения данных управлять ими становится все труднее. Вот тут-то и пригодятся метаданные. Хотя метаданные часто описываются как "данные о данных", на самом деле они означают гораздо больше, чем это.

Метаданные генерируются всякий раз, когда данные принимаются, к ним обращаются пользователи, перемещаются по организации, интегрируются или дополняются данными из других источников, профилируются или очищаются и анализируются. Вся эта информация создает контекст для других элементов данных, обеспечивая полную картину данных. Этот целостный взгляд позволяет организовать и локализовать данные, понять, что они означают, и максимизировать их ценность. Информация, предоставляемая метаданными, служит основой для принятия разумных решений и разработки обоснованных стратегий. Помимо повышения эффективности бизнес-аналитики, метаданные также позволяют организациям справляться с растущим перечнем требований к соблюдению требований законодательства и конфиденциальности.

Но вы должны правильно управлять метаданными, чтобы реализовать их многочисленные преимущества. Самая базовая тактика управления - отслеживание технических метаданных, но это только отправная точка. Здесь задействовано гораздо больше требований, о чем свидетельствует растущий спрос на инструменты управления метаданными. Продажи в этом секторе растут более чем на 20 процентов в год, и, по прогнозам, к 2030 году объем рынка достигнет примерно 36,4 миллиарда долларов. Вот что вам нужно учитывать при разработке эффективной стратегии управления метаданными.

Понимание типов метаданных

Чтобы правильно управлять метаданными, полезно иметь базовое представление о различных типах, с которыми вы будете иметь дело:

• Бизнес-метаданные классифицируют ключевые показатели и информацию, необходимую для бизнес-процессов, сопоставляя данные с бизнес-терминами, глоссариями, областями данных, ключевыми показателями эффективности, отчетами и так далее.
• Технические метаданные описывают форматы, структуру, модели и типы данных. Он охватывает такие атрибуты, как физическая схема базы данных, сопоставления, статистика времени выполнения, показатели объема и многое другое.
• Операционные метаданные указывают, как используются данные, кто получает к ним доступ и как часто. Она охватывает все - от оценок пользователей до моделей трафика, правил совместного использования и архивирования, а также результатов аудита.

Вот простой пример, иллюстрирующий различие в типах метаданных. Например, если вы каталогизируете музыкальную коллекцию, вы могли бы использовать бизнес-метаданные, такие как название альбома, исполнитель и год его выпуска. Технические данные будут указывать на музыкальный формат, будь то MP3, FLAC или DSD. Операционные метаданные будут показывать источник музыки, такой как компакт-диск или потоковый сервис, такой как Spotify.

Три основные цели

Управление всеми этими метаданными включает в себя три конкретные цели: сбор, управление и изучение (discover).

• Сбор: Процесс сбора охватывает все корпоративные системы, как в облаке, так и локально. Это включает в себя все, что содержит данные - базы данных, файловые системы, аналитику, инструменты интеграции и т.д.
• Управление: Правильная обработка метаданных включает просмотр данных с использованием терминов глоссария, концепций, взаимосвязей и процессов. Эта документация подготавливает метаданные для использования в бизнес-контексте. Отзывы пользователей, такие как рейтинги, обзоры и сертификаты, могут указывать на то, насколько полезен набор данных.
• Изучение: Целью изучения является установление взаимосвязей между данными и построение цепочки данных, процесс, который должен быть автоматизирован с помощью инструментов искусственного интеллекта. Автоматизированные алгоритмы, наряду с искусственным интеллектом и отзывами пользователей, постоянно обновляют метаданные.

Каталог для контроля

Для достижения этих целей предприятию необходима эффективная платформа управления для контроля и использования метаданных. Наиболее популярным инструментом является каталог данных, который включает в себя бизнес-глоссарий и систему сбора данных. Хороший каталог предоставляет перечень ресурсов данных, который упорядочивает и помечает ресурсы, чтобы пользователи могли находить нужные им данные. Функция поиска - одна из наиболее важных функций каталога. Кроме того, эффективный каталог иллюстрирует качество и взаимосвязи различных информационных ресурсов. Это позволяет понять положение активов в общей картине данных и перемещать их по конвейеру.

«Бизнес-глоссарий» содержит определения бизнес-терминов и другую информацию, которая важна для бизнес-пользователей. Думайте об этом как о своего рода FAQ, объясняющем, например, что означает "просроченные дни" и как это рассчитывается. Наконец, «траектория (lineage) данных» демонстрирует, как данные перемещаются в среде данных - откуда они пришли (их источник), куда они направляются (их назначение), как они могли быть обогащены по пути и какие другие активы извлекаются из этого. Происхождение данных имеет важное значение для выполнения нормативных требований по отслеживанию вычислений и подготовке данных.

Правильные инструменты помогают

Управление метаданными - сложный процесс, но он того стоит. Это основа для приложений бизнес-аналитики и позволяет предприятиям оценивать и оптимизировать свои процессы. Организации, которые не понимают важности метаданных, возможно, не смогут определить, какие данные у них есть, являются ли они полными и актуальными и как они соотносятся с другой информацией. В результате они не могут полагаться на свои данные и могут в итоге потратить время, деньги и ресурсы на их повторную проверку или даже дублирование без необходимости.

Внедряя правильное решение, организации могут получить максимальную отдачу от своих данных, используя их для принятия более разумных решений, увеличения доходов и достижения стратегических целей. При выборе платформы управления необходимо оценить степень автоматизации, которую она предлагает для сбора и классификации данных, возможности интеграции, варианты совместной работы и функции защиты данных, среди прочего. Поскольку среда обработки данных становится все более сложной, есть веские признаки того, что метаданные станут важным компонентом сетки данных и структуры данных, а также каталогов данных, управления данными и других корпоративных систем обработки данных. Метаданные могут буквально изменить способ использования данных организациями и значительно повысить их жизнеспособность и успех в нашем цифровом мире.