Door de wereldwijde data management community (dama.org) is in de afgelopen jaren een model ontwikkeld in de Data Management Body of Knowledge (DMBoK). Dit is een praktisch uitgewerkt raamwerk met elf kennisgebieden. Hieronder een visuele representatie van het raamwerk en een korte definitie van ieder kennisgebied.  

• Data Governance: Is het uitvoeren van controle en beheer omtrent het beheer van data assets. Data Goverance stuurt alle andere dataprocessen
• Data architectuur: Managen, ontwikkelen en beheren van de requirements en principes rond data
• Data modelleren: Is het ontdekken, analyseren en beschrijven van data requirements in de vorm van gestandaardiseerde modellen die een data structuur beschrijven
• Data storage en operations: Ontwerp en implementatie van data opslag en -persistentie
• Data security: Activiteiten rond de bescherming van informatie en data door autorisatie, authenticatie, toegang, auditing
• Data integratie en interoperabiliteit: Managen van het transport en consolidatie van data tussen informatiesystemen en organisaties
• Document- en content management: Managen en (levensloop)beheer van alle soorten data inclusief documenten en content
• Reference en Master Data: Managen van generieke en algemene (herbruikbare) data en referentie data (codelijsten e.d.)
• Datawarehousing en BI: Planning, ontwikkeling en beheer van activiteiten voor het samenstellen van data ter ondersteuning van besluitvorming en kenniswerkers
• Meta Data: Managen, ontwikkelen en beheren van metadata.
• Data kwaliteit: Activiteiten voor kwaliteitsmanagement van data assets zodat het geschikt is voor gebruik en voldoet aan de wensen van de data consumenten

In het DMBoK is meta data een separaat kennisgebied en is in detail uitgewerkt. Hiermee kunnen we de verschillende data entiteiten binnen een organisatie in de context van de afzonderlijke data management kennisgebieden plaatsen.

Dit kan ook door middel van een matrix worden weergegeven. Zie de voorbeeld toepassing met deze matrixweergave: Data Catalog : Data Catalog Matrices

Oligarchy with the trainers maximal involved works best probably

Feitelijk is dit iedereen in de organisatie die gebruik maakt van data (wie doet dat niet). Zij stellen daarmee bijzondere eisen aan de eenvoud van het raamwerk omdat zij incidenteel gebruik maken van de uitwerkingen in het raamwerk. Anderzijds kun je verwachten dat deze stakeholder niet bereid is om complexe modellen te analyseren.

--

One rule

A central design authority governs the data sources and the data integration layers and design and technology decisions on these layers are with this design authority only

Connection and integration of data sources of different types and ability to abstract on the data sources via implementation specific connectors, e.g. for smart meters, wind craft, etc.

Abstracte Logische data entiteit is een hierarchische indeling van de logische data entiteiten. Metbehulp van specialisatie worden de kenmerken van een abstracte logische data entiteit overgedragen naar een concrete data entiteit. Dus attribuut1-3 is ook attribuut van de concrete logische data entiteit. Er kunnen meerdere hierarchien ontstaan op basis van meerdere specialisatie connecties tussen data entiteiten.

--

--

This refers to the correctness of the functions, an ATM may provide a cash dispensing function but is the amount correct?

Accurateness refers to the degree of which a data entity displays reality. Accurateness can be decided by comparing a data entity with the entity in reality. An example is a a difference between a mailing list of clients and the true clients of an organisation..

Degree of which a data entity display the current situation of reality. Good examples are deceased people that received a letter from an older data set. Replication of data is often a source of low actuality

Characterizes the ability of the system to change to new specifications or operating environments.

--

--

--

--

Characterizes the ability to identify the root cause of a failure within the software.

The Analytical Sandbox is a standalone solution environment capable of capturing and processing large quantities of data from multiple sources in order to perform analytics in isolation the enterprise data warehouse.

Functionality for analysing the transformed and standardized data in a data analytics tool.

--

Appliance configuration where the EDWH and Big Data functionality is tightly integrated and accessible via various API functions

The Application Enhancement compound pattern represents a solution environment where the Big Data platform is used to ingest large amounts of data in order to calculate certain statistics or execute a machine learning and then to feed results to downstream systems.

Description of a logical application that has a relationship with a certain data object. Logical applications are independent of the implementation and are often modeled with verbs or with terms ending on system. For example collaborate or collaboration system.

Different application integration types for application - application integration Well known integration types ares: - Webservices - Filetransfer and FTP etc See for details the description in the TenneT architecture

Application interfaces for application to application integration. This includes the fully automated system integration processes, ETL implementations and the automated and managed file transfer.

Application integration interfaces for machine 2 machine integration

--

Package with the description of generic architectural building blocks and solution building blocks.

--

Bijvoorbeeld security en privacy officers, hebben behoefte aan het ontsluiten van specifieke onderdelen van de meta data. Met name bijvoorbeeld security en privacy classificaties en maatregelen om risico’s rond deze aspecten te verminderen. Het is een relatief kleine groep stakeholders met specifieke wensen, echter zij zullen veelal bereid zijn om te investeren in het analyseren van deze specifieke aspectmodellen.

--

--

Satisfaction of latent user desires and preferences, through services, behavior and presentation beyond actual demands.

--

--

How can large amounts of data be stored in a fault tolerant manner such that the data remains available in the face of hardware failures?

How can very large amounts of data be stored without degrading the access performance of the underlying storage technology?

Machine based validation of the data entered in the system but also based on timely intervals within the stored data. This is implemented in a kind of rule engine.

How can the execution of a number of data processing activities starting from data ingress to egress be automated?

How can confidence be instilled in results whose computation involves applying a series of processing steps in a Big Data environment?

Amount of time the product is available to the user at the time it is needed.

--

Availability means that information must be available when it is needed Low (A1) The disruption of access to or use of information will do no or very little harm to TenneT as a company, and no harm to the continuous and secure supply of electricity to society Medium (A2) The disruption of access to or use of information could clearly harm TenneT, but do no harm to the continuous and secure supply of electricity to society High (A3) The disruption of access to or use of information could do considerable harm to TenneT, but not directly to the continuous and secure supply of electricity to society Very High (A4) The disruption of access to or use of information could (very) seriously and acutely harm TenneT as a company and/or directly harm the continuous and secure supply of electricity to society

--

--

--

The Batch Data Processing compound pattern represents a solution environment capable of ingesting large amounts of structured data for the sole purpose of offloading existing enterprise systems from having to process this data.

--

--

--

Betrokkene bij data management bijvoorbeeld de data eigenaar, -steward en andere rollen betrokken.

--

--

--

--

--

--

--

--

--

The Big Data pipeline compound pattern generally comprises multiple stages whose objectives are to divide complex processing operations into down into modular steps for easier understanding and debugging and to be amenable to future data processing requirements.

Logical application composite for implementation of Big Data functionalities

The Big Data Processing Environment represents an environment capable of handling the range of distinct requirements of large-scale dataset processing.

Behandelen van big data als een tabelstructuur en werkt daarbij met een SQL achtige querytaal

Data transformation represents a solution environment where the Big Data platform is exclusively used for transforming large amounts of data obtained from a variety of sources.

The Big Data Warehouse represents a solution environment where a Big Data platform is used as a data warehouse capable of storing both structured and unstructured data online.

--

--

--

--

--

Is an ArchiMate concept that is used to visualize the different links between the business objects at the business level. That is actually building a so-called business glossary. In addition, these entities can be used to visualize the links with other concepts within ArchiMate. For example, the links to business processes, functions and services are examples of this.

Business process that uses a certain business object, roof can be both consult and mutation use

ArchiMate concept for describing (logical) actors) in a business layer that are involved in, for example, business processes and functions. Please keep in mind that roles can be performed by multiple persons an a person can perform multiple roles.

How can the same dataset be consumed by disparate client programs?

--

Uitgewerkt Conceptueel data model in een (meta data) register in een voor de stakeholders toegankelijke representatie.

How can access to resources within a Big Data platform be managed efficiently and consistently?

How can a variety of datasets stored in a Big Data platform be governed efficiently and in a standardized manner?

Characterizes the amount of effort to change a system.

--

--

--

Clarity of making the user aware of the functions the software can perform.

--

--

--

--

--

--

Cloud and on-premise deployment options with ability to migrate from cloud to on-premise (cloud is preferred for short term temporary solution)

How can large amounts of data be processed without investing in any Big Data processing infrastructure and only paying for the amount of time the processing resources are actually used?

How can large amounts of data be stored without investing in any Big Data storage infrastructure and only paying for the used storage space?

Management of clusters in a distributed or cloud based infrastructure

--

--

--

https://en.wikipedia.org/wiki/Column_family

This refers to the degree in which certain attributes are present within a data entity. In addition to that the completeness also counts for a certain set of entities (rows) within a data set always being present. For example a person could only have the quality name, yet also consist of nickname, first names, surname and maiden name. In the last case there is a higher completeness

Used to use generic structures that are then linked to an attribute of a logical entity. For example, an address always has a street, house number, zip code and town. This is a complex data type that can then be used for all address attributes.

How can complex processing tasks be carried out in a manageable fashion when using contemporary processing techniques?

For XSD entities the same will applu but from a different perspective: the exchange of messages. Based on the selected platform and message standard extensive implementation details can be implemented in the physical model.

Where appropriate certain industry (or government) laws and guidelines need to be complied with, i.e. SOX. This subcharacteristic addresses the compliant capability of software.

--

--

--

--

Physical implementation or component within the ArchiMate domain that is used to describe applications that implement certain logical applications or application functions. For example the application process collaborate is implemented in the component SharePoint. Note that this can be a relatively complex elaboration in organizations with a fragmented application landscape.

Big data sets can be voluminous so compressing has advantages for storage and/or processing

--

The conceptual model has the focus especially on the business perspective. In these viewpoints only the entities and their mutual associations are described. So no details of attributes and the like. Within the conceptual modeling, the possibility to describe the meaning of entities and to get them unambiguously becomes clear and is one of the most important aspects of the conceptual model

--

--

Brengt binnen een domein aan welke conceptuele data entiteiten voorkomen. Dit wordt gemodelleerd met de specialisatie of aggregatie connector tussen een domein en een data entiteit. Er wordt zo veel mogelijk voorkomen dat een conceptuele data entiteit onder meerdere domeinen valt Van iedere data entiteit wordt een definitie gegeven. Desgewenst wordt onder de kenmerken een lijst van synoniemen opgegeven. Een domein data entiteit heeft alle kenmerken van de conceptuele data entiteit

Uitwerking van het conceptuele data enteiten inclusief de namen, definitie en synoniemen. Kan gegroepeerd zijn in een domein

Conceptueel data model omvat de data entiteiten inclusief de bijbehorende definities (inclusief de bovenliggende domeinen) op basis waarvan de data kwaliteiten gerelateerd worden aan deze data elementen.

Domein is de hoogste hierarchische indeling van de conceptuele data entiteiten. Deze domein indeling sluit nauw aan bij de gebruikte indeling van domeinen binnen de organisatie. Desgewenst kan deze domein indeling ook gebruikt worden voor het bepalen van de data governance (de eigenaren en stewards). Van iedere domein data entiteit wordt een definitie gegeven. Desgewenst wordt onder de kenmerken een lijst van synoniemen opgegeven.

Tussen conceptuele data entiteiten kunnen relaties gelegd worden. Voor een relatie wordt een naam gegeven. Bij voorkeur in de vorm van een werkwoord. Een gerelateerde data entiteit heeft alle kenmerken van de conceptuele data entiteit.

--

Desgewenst kan een hierarchie worden opgebouwd van de conceptuele data entiteiten. Dit wordt gemodelleerd met de specialisatie connector. Houdt er rekening mee dat een sub data entiteit gespecialiseerd kan worden door opnieuw een sub data entiteit.

Een concrete logische data entiteit wordt gemodelleerd in een class stereotype. Een logische data entiteit heeft een naam en een definitie Voor concrete data entiteiten kunnen meerdere attributen gedefinieerd worden. Een concrete data entiteit erft alle kenmerken van een abstracte data entiteit als er een specialisatie bestaat tussen deze entiteiten.

How can data stored in a Big Data solution environment be kept private so that only the intended client is able to read it?

This means the prevention of the disclosure of information to unauthorised individuals and / or systems Low (C1) Unauthorized disclosure of information will do no or very little harm to TenneT as a company, and no harm to the continuous and secure supply of electricity to society Medium (C2) Unauthorized disclosure of information could clearly harm TenneT, but do no harm to the continuous and secure supply of electricity to society High (C3) Unauthorized disclosure of information could do considerable harm to TenneT, but not directly to the continuous and secure supply of electricity to society Very High (C4) Unauthorized disclosure of information could (very) seriously and acutely harm TenneT as a company and/or directly harm the continuous and secure supply of electricity to society

--

Similar to compliance for functionality, but this characteristic relates to portability. One example would be Open SQL conformance which relates to portability of database used.

Requirements for consumers when connection to a service or service implementation (interface)

This refers to the fact that the one data set of a certain entity is equal to another data set. In other words a data entity is always the same regardless of the source. An example of a low consistency is when there are differences between data sets of the same entities originating from different sources. Replication of data is often a source of low consistency.

--

Consumer of data, in most situation the consumer gets access to processed data (cleaning, filtering, transforming) based on a standardized model

--

Coordination of automated tasks for example in batch processes and mapreduce.

Dit is een weergave van alle elementen in het data management model dat de uiteindelijke inrichting vormt. Zij realiseren of beinvloeden dan ook de principes en de requirements. Met requirementis dit positief met beinvloeden is dit negatief

--

--

--

--

--

Regelmatig uitvoeren van een maturity scan en analyse van de resultaten voor het bepalen van roadmap en het bijstellen van de doelen en kaders binnen data governance. Bijvoorbeeld met de maturity scan van DaMa(NL)

--

Generic description of the interface for the extraction of standardized data for the various consumers.

--

Selecting data sources on information content and data qualities

Logical service for the import of data from other systems and sources

Analysing the cleaned, aggregated and filtered datasets

--

--

--

Data analytics based on data integration layer provides real-time performance and scalability next to batch processing

--

--

--

--

--

Met name de eigenaar is eindverantwoordelijk voor de data entiteiten en de meta data die van de verschillende kennisdomeinen wordt vastgelegd. Dit is een relatief kleine groep met een grote mate van betrokkenheid. Je mag dan ook verwachten dat zij bereid zijn om de verschillende modellen te analyseren en te interpreteren. Desgewenst zijn zij bereid om trainingen te volgen op dit vlak.

--

--

Modification of data via (webbased) screens. This includes geo based screens

--

--

--

--

Data governance activities and application functions layers for maintaining qualities of the datasets

Register function for the governance of data sets in relation to consumers, business owners and qualities.

Aanlevering van data of informatie aan dit data proces.

--

--

--

--

--

Datakwaliteit conform het raamwerk van DMBoK

--

--

Beschrijving van de specifieke data management doelen op basis van de organisatie brede doelen en organisatie strategie. Wordt uitgewerkt als een specialisatie van een doel in de organisatie strategie.

Data of informatie management principes stellen kaders aan verandering in de organisatie, veelal binnen projecten binnen de data roadmap. Uitgewerkt in het selecteren van bestaande standaarden zoals DMBoK, ArchiMate. De kaders worden uitgewerkt op basis van principes gebaseerd op de principes binnen de enterprise architectuur.

--

In deze viewpoints worden de verschillende notatiewijzen beschreven waarmee de data catalogus kan worden opgebouwd. Het is initieel gebaseerd op vier hoofdelementen maar kan eenvoudig worden uitgebreid. De elementen zijn:

• Data Management
• Conceptueel model
• Logisch model
• Fysiek model

Uitbreidingen waar je aan kunt denken zijn bijvoorbeeld Data Security, Privacy maar ook aan interfaces zoals webservices, webapi's NoSQL etc. Indien deze later binnen de community relevant blijken te zijn dan worden deze alsnog uitgewerkt

Data management is mainly focused on the business aspects of the data. The elaboration is based on the DMBoK framework of Dama.org. Three viewpoints have been elaborated on ownership, use and quality. Here too, an extension is possible once the community needs it. The DMBoK includes a wealth of viewpoints in this. For the modeling we use ArchiMate concepts like stakeholder and requirements or constraints in combination with matrices.

Transformation of the data as stored in the asset data registration and transformation to a model for messages (CGMES, data marts or file formats).

--

Data Modeling Logical

In het beschrijvend model worden een aantal data modellen uitgewerkt van abstract (conceptueel model) naar technisch platform specifiek (fysiek model). Dit model is feitelijk het centrale model voor meta data waaraan de andere domeinen gekoppeld zijn.

--

Data object is an ArchiMate concept that on the one hand can be linked to a number of ArchiMate concepts so that aspects such as quality, requirements. But also where is the dataset used and by whom, which application has a relation with this dataset etc. If necessary, you could link to the infrastructure from the data object. At this moment, this is not yet chosen in this example. As soon as there is a need in the community for this, this will be worked out further

--

--

--

--

Verzenden van data of informatie vanuit data proces.

Data owner is the one who decides on the data as it is applied within business objects. The data owner makes decisions about the data quality, the security aspects, but also about the structure of the data within a business object.

--

--

Data ownership/stewardship and control of the data in the data integration layer. Central management around gathering, integration, and control of data is with the organisation. The single source of truth should include the most possible finest granularity of data.

--

--

Data kennisgebied of data management proces uitgewerkt op basis van een ArchiMate Business Function vanwege de Medux viewpoints. Dit Data proces wordt gevoed door data entiteiten die aangeleverd worden door een leverancier

Processing activities for filtering, cleaning and transformation of datasets

Processing of data before it is stored in the data storage and when the data is retrieved from the storage

--

--

--

ETL achtige tool voor transport van Hadoop naar gestructureerde dataopslag zoals RDBMS en DWH

Transformation of data to various protocols, for example for the implementation of webservices, REST but also to a format readable for reports

Functionality to publish the data as stored in the data registration for use of various consumer types.

See package with the description of these DaMa qualities

--

--

--

--

MDM like function that aggregates all the data in a standardized data model

Actual registration function with storage and processing of the master data

--

Application functions and activities for securing datasets and storage functionalities

--

--

How can the size of the data be reduced to enable more cost effective storage and increased data movement mobility when faced with very large amounts of data?

Description of the data sources in general. Is an aggregation of specific data source types. This generic datasource is added to the model to make associations possible with generic requirements and principles

--

Not part of a data architecture but the input of the architecture, it is the raw material of a data pipe and therefore an essential part

Data sources can be run on heterogeneous environments, several deployment models (on-premise, cloud, etc.) and can be internal and/or external

--

Is the person who is delegated by the data owner to take over certain responsibilities and tasks of the owner. These tasks are often at a more detailed level, hence the link with data objects within ArchiMate instead of Business objects

--

--

--

Storage of primary and temporary datasets for usage in higher layers of the architecture

Physical storage of the data in a (relational) database.

--

Beschrijving van de data roadmap (lijst van activiteiten) gebaseerd op een uitwerking van de data strategie in een aantal data specifieke doelen.

Data target based on a standardized data model. Based on this model and the included data entities one or more interfaces can be implemented for the consumers.

--

Transformation and transfer functionality from data sources to storage, processing and usage.

--

Different user types that have a relationship with business and data objects within the ArchiMate modeling domain

--

Usage of the processed data in work processes in the consumer organisation

Validation of data based on the data entered in the system and eventually on the existing data stored in the master data registration. It is essential that all the data received from the acquisition/registration service is processed in these functions before it is stored in the data register

--

Visualisation of the data or information for interpretation by analists and users

--

--

--

--

Zal veelal kennis hebben van, de architectuurdoelen, -kaders, het bedrijfs-, applicatie- en datalandschap in de huidige- en de gewenste situatie. Ze hebben daarnaast veelal diepgaande kennis van data patronen, diagnostische technieken of het opstellen van de verschillende modelleertechnieken.

Integration from data storage to data storage. For example the relational database integrations like - views, - materialized views - database logic in packages and stored procedures. - ETL: implementations

Specific implementation of an interface based on a database link concept

--

--

How can a large dataset be made amenable to distributed data processing in a Big Data solution environment?

How can a dataset, where related attributes are spread across more than one record, be stored in a way that lends itself to distributed data processing techniques that process data on a record-by-record basis?

--

--

--

--

Definitie van een kennisgebied of bedrijfsfunctie op basis van een Meaning

Effort needed to reestablish the essential functionality after a breakdown.

--

--

--

--

--

How can large amounts of raw data be analyzed in place by contemporary data analytics tools without having to export data?

Distinguish and decouple classic BI, near real-time BI (Business Intelligence), and real-time OI (Operations Intelligence) and prioritize OI real-time requirements.

--

--

--

--

Doelen die gerealiseerd door de introductie van dit specfifieke data management kennisdomein of bedrijfsfunctie

--

This characteristic is concerned with the system resources used when providing the required functionality. The amount of disk space, memory, network etc. provides a good indication of this characteristic. As with a number of these characteristics, there are overlaps. For example the usability of a system is influenced by the system's Performance, in that if a system takes 3 hours to respond the system would not be easy to use although the essential issue is a performance or efficiency characteristic.

An employee is a person that has a function for supporting the trainees in our training company

--

--

--

--

--

This is the logical application of a data warehouse not the component. It describes the functionality of storing, modeling updating and retrieving enterprise data based on relational data including the history of the data

Een enumeratie geeft een lijst van waarden en bepaalt daarmee een domein voor een attribuut. Een enumeratie kan bij meerdere eigenschappen gebruikt worden

Enumerations define domains for attributes, which can later be used in code and database generation for checks, checks and the user interface

ERP (or EAM) functionality for the registration of data within a number of highly standardized processes using asset data.

--

Complex transformation between different database structures

Clarity of the software product’s status (progression bars, etc.).

Unmanaged and user driven export of asset data to various office documents including CSV and XML.

External consumers of the (standardized) data and master data produced by the TDP solutions. For external consumers extra requirements are necessary for example with aspects like security, privacy and governance.

Extract functionality for receiving data from the source systems. This has a XML format and the source is either a webservice or a XML file. The data is extracted and prepared to be transformed

--

--

How can data arriving from multiple instances of a data source be collected in an efficient manner?

How can streaming data arriving from a single source be simultaneously forwarded to multiple destinations without any delay?

The ability of software to withstand (and recover) from component, or environmental, failure.

--

Data saved in a file for example semi structured like: XML, XLS, JSon, edifact etc Unstructured like Word, Text etc.

File transfer for example via FTP or the usage of a file share, mostly applied for batch data processing

Transformation of a datafile (mostly semi structured) for example an XML file with an internal datamodel that has to be transformed to the standardized model.

How can processed data be ported from a Big Data platform to systems that use proprietary, non-relational storage technologies?

How can large amounts of unstructured data be imported into a Big Data platform from a variety of different sources in a reliable manner?

--

Flexibility in terms of integrating different parallel data sources and providing integrated real time data in a scalable way

Flexible customizable analytics functions (self-defined and customizable algorithms) covering rules-based analytics and machine learning

--

Interface to standardized data via (web) forms and pages

Forms and reports interfaces in which users can retrieve asset data in an interactive manner

See https://en.wikipedia.org/wiki/Stepwise_regression

--

Functional modules and data integration layer can be hosted on different physical environments, e.g. the data integration layer is on-premise while the functionalities are plugged in analytics cloud solutions that work on top of the data

Functionalities can be developed and plugged in on top of dedicated data integration layer as functional modules or can be sourced from 3rd parties (make or buy decision)

Existence of a set of functions and their specified properties. The functions are those that satisfy stated or implied needs.

Een groep stakeholders die diepgaande kennis heeft van (standaard) informatiesystemen en het onderliggende datamodel inclusief de door de leverancier gebruikte objecten en hun definities. Zij zullen in staat zijn om ook meer complexe modellen van de meta data te interpreteren.

--

--

This is a logical service for the publication of a certain standardized dataset. In the current implementation of TDP plateau 1 list of differences. This logical dataservice is implemented in one or more technical interfaces like user interfaces or XML webservices

Description of generic requirements for all the transformation functionalities

Geo functionality and register in combination with the extraction of asset data in combination with geo data and maps

ETL implementations specific for the transfer of geo data (for example FME)

--

Geo viewer intereface for the retireval of asset data in combination with geographical selection and representation functionality

--

Message based transfer of geo data for example based on WMS/WFS/WMTS or GML over webservices

--

Is een extra klasse met dezelfde kenmerken als de Concrete Logische Data entiteit en is toegevoegd om de associaties goed leesbaar te houden.

Data governance processes, mainly focused on the realization of a data target with acceptable data qualities

Local and (inter) national government agencies that use standardized datasets

--

--

--

Open source suite voor big data oplossingen

--

--

--

Availability of instructions for the user on how to interact with the software

Storing large amounts of data, arriving at fast pace, as a dataset and processing it in a batch manner incurs processing latency, causing a delay before analysis results become available.

How can a variety of unstructured data be stored in a scalable manner such that it can be randomly accessed based on a unique identifier?

How can large amounts of non-relational data that conforms to a nested structure be stored in a scalable manner so that the data retains its internal structure and sub-sections of a data unit can be accessed?

How can very large datasets comprising entities that are connected together be stored in a way that enables efficient analysis of such connected entities?

How can large amounts of non-relational data be stored in a table-like form where each record may consist of a very large number of fields or related groups of fields?

--

Hadoop component voor SQL achtige bevraging

--

--

--

--

--

--

Implentation and operations processes for developing and maintaining the implemented data pipes

Import and manual transformation of office documents like excel sheets etc.

How can traditional BI tools access data stored in Big Data storage technologies without having to make separate connections to these technologies?

--

--

--

Characterizes the effort required to install the software.

How can users seamlessly access enterprise IT systems and a Big Data platform’s resources without having to authenticate twice?

--

Integrity means that information is reliable to the degree necessary Low (11) The unauthorized modification of information will do no or very little harm to TenneT as a company, and no harm to the continuous and secure supply of electricity to society Medium (I2) The unauthorized modification of information could clearly harm TenneT, but do no harm to the continuous and secure supply of electricity to society High (I3) The unauthorized modification of information could do considerable harm to TenneT, but not directly to the continuous and secure supply of electricity to society Very high (I4) The unauthorized modification of information could (very) seriously and acutely harm TenneT as a company and/or directly harm the continuous and secure supply of electricity to society

--

How can the complete re-execution of a series of processing steps be avoided in case an error occurs partway through?

Consumers in the TenneT organisation of the standardized TDP data products

A given software component or system does not typically function in isolation. This subcharacteristic concerns the ability of a software component to interact with other components or systems.

--

--

Issue registratie voor kwaliteitsissues

--

--

This is a DWH database that acts as data target for the various datapipes. Currently this is the KA-DWH component but for different project implementations there are also other targets possible.

Ontwikkelen en beheer van een kaders en richtlijnenregister zoals een lijst van data principes, standaarden en eventueel data requirements gerelateerd aan de enterprise principes.

--

--

--

--

Qualities are worked out in the IDEA project as a requirement (that is a relatively arbitrary choice because a constraint is of course also an option)

Een maatregel van technische aard, bedrijfsproces of werkinstructie om het bereiken van voldoende kwaliteit gerealiseerd wordt

How can very large amounts of data be processed with maximum throughput?

How can algorithms that require iterative processing of a large dataset that may or may not contain connected entities be processed in an efficient and timely manner?

Layered architecture that separates data sources, data integration, data analytics, and presentation layers

Learning effort for different users, i.e. novice, expert, casual etc.

--

Leverancier van data vanuit een bedrijfsrol van data en informatie aan dit data proces.

--

Load functionality for transferring the data to a data target and load it there. This can either be an ETL process or the implementation in a message handler

CLOB, BLOB etc

--

The logical model describes the structure of the data in an implementation independent manner. (In EA, implementation is not entirely language independent unless you define your own data types. The logical model is mainly based on UML class diagrams with a number of extra entities such as enumerations and possibly interfaces for lookups. The latter you use especially for the generation of application code so is only then modeled.

This is the class in UML and describes the logical structure of the relevant entities in the logical model based on attributes and associations

The logfical or conceptual model is abstract in nature and is therefore independent from the implementation platform. In most cases this model must be readable for non IT stakeholderrs.

--

--

--

View with a subset for classes to be transformed to source code or sql statements

--

--

The ability to identify and fix a fault within a software component is what the maintainability characteristic addresses. In other software quality models this characteristic is referenced as supportability. Maintainability is impacted by code readability or complexity as well as modularization. Anything that helps with identifying the cause of a fault and then fixing the fault is the concern of maintainability. Also the ability to verify (or test) a system, i.e. testability, is one of the subcharacteristics of maintainability.

Effort needed to (re)establish the software’s running status.

Fully automated file transfer without manual handling of the data

--

--

Validations when data is entered by hand (via screens etc)

--

--

https://en.wikipedia.org/wiki/MapReduce

--

--

Application functionality that support data management and governance processes. Think about data quality processes, data ownership and data security policies etc.

Data modeling and meta modeling for example models based on UBL and CIM. These models are used for the storage of the data but also for the data integration, - transformation and - validation

--

This subcharacteristic concerns frequency of failure of the software.

Registratie van de historie van de maturity scans en beschrijving van de progressie van de data management activiteiten in de tijd

--

--

XML message as a stream or file imported in a message transformation handler with the transformation function. The message should be structured and described for example with a XSD definition

Transformation of a XML stream (mostly semi structured) with an internal or specific datamodel that has to be transformed to the standardized model in the data target.

--

--

Binnen wikipedia wordt voor meta data de volgende definitie gegeven: Metadata zijn gegevens die de karakteristieken van bepaalde gegevens beschrijven. Het zijn dus eigenlijk data over data. Deze definitie is krachtig in haar eenvoud. Vaak wordt van meta data gezegd dat meta data context toevoegt aan data. Het is hierbij van belang welke context dat is. Zo kun je voorstellen dat de meta data van een boek een andere context geeft dan bijvoorbeeld een foto in JPEG formaat of een tabel in een relationele database. In dit whitepaper is de context van de meta data enterprise data management. Dat betekent dan ook dat we data gaan verzamelen over data entiteiten vanuit het perspectief van data management om context toe te voegen aan deze data entiteiten. Voor data management is een internationaal raamwerk aanwezig name het Data Management Body of Knowledge ontwikkeld door DaMa.org. In dit whitepaper geldt dit raamwerk als startpunt voor ons model. In de volgende paragraaf wordt het DMBoK kort toegelicht.

Aggregatie van de verschillende registers, administratie en metamodellen voor data management (kennisgebieden).

--

--

--

For the transformation of source to target datamodels a description of the data elements has to be modeled.

--

--

--

--

--

--

--

--

--

NoSQL is a new dataplatform for the implementation of semi structured data. There are various NoSQL database types like column, name value, document or graph databases

https://en.wikipedia.org/wiki/NoSQL

Transformation of a NoSQL datasource to a standardized data target

--

--

--

--

--

--

--

The Online Data Repository compound pattern represents a solution environment where the Big Data platform’s inexpensive storage is used to store data from internal and external data sources in its raw form available for consumption by any downstream application.

--

--

--

--

Ontvangerr van data aan een bedrijfsrol van data en informatie vanuit dit data proces.

--

Ability of the software to be easily operated by a given user in a given environment.

The Operational Data Store (ODS) compound pattern represents a solution environment such that the Big Data platform’s inexpensive NoSQL storage can be utilized as a traditional ODS where transactional data from operational systems across the enterprise is collected for operational BI and reporting.

Tool for workflow and scheduling of BI tasks within datapipes

--

Other MDM data producing application functions like the delivery of office files etc.

--

--

Database functionality for the transformation and extraction of data via an interface

Parallel integration of EDWH and Big Data functionality. Often between these functions an interconnect function is implemented

Participant in het specifieke data proces. Later uitgewerkt in activiteiten en vaardigheden.

--

--

--

--

--

--

The physical model is aimed at modeling platform specific modeling. This can be data modeling for (relational) databases, but also schema definitions (XSDs) are forms of physical data modeling. Within the physical data modeling much detail is added focused on the implementation. This is often aimed at generating source code (for example, DDL)

Physical model for the description of a technical implementatin model. This is platform specfic and is used for the creation of SQL DDL and ETL scripts and eventually for technical documentation.

--

The Poly Sink compound pattern represents a part of a Big Data platform capable of egressing high-volume, high-velocity and high-variety data out to downstream enterprise systems.

The Poly Source compound pattern represents a part of a Big Data platform capable of ingesting high-volume and high-velocity data from a range of structured, unstructured and semi-structured data sources.

The Poly Storage compound pattern represents a part of a Big Data platform capable of storing high-volume, high-velocity and high-variety data.

This characteristic refers to how well the software can adopt to changes in its environment or with its requirements. The subcharacteristics of this characteristic include adaptability. Object oriented design and implementation practices can contribute to the extent to which this characteristic is present in a given system.

Web user interface for the display and maintenance of data within a portal application (for example Sharepoint)

Degree of detail in which a data entity displays reality. For example this refers to the precision of numbers and such. Storage of numbers and dates can be insufficiently accurate because rounding is needed in storage. Domains in features can also have insufficient precision (such as a Dutch postal code in an international data storage.)

Primary conceptual datamodel viewpoint

Primary data quality viewpoint

Primary data ownership viewpoint

Primary data usage viewpoint

Primary Logical data model viewpoint Conceptueel - Logisch

Primary Physical data model viewpoint

--

Prioritized capabilities are incubated in a learning environment to be transitioned effectively in a development, testing, and production environment at a later stage

For some data entities access control (authorisation and authentication) or monitoring of use is needed. Take for example requirements that are placed on the access of confidential data. In the GBA there are multiple levels of confidentiality. As such queries of officials are logged and displayed to the civilian yet for investigating officers they are logged and not displayed.

--

--

How can different distributed processing frameworks be used to process large amounts of data without having to learn the programmatic intricacies of each framework?

Processing of data for transformation, cleaning and filtering of data

Portal functionality to give users and administrator access to the other logical functionalities in a Big Data environment.

Denk aan de eigenschappen in docs, of image headers

--

--

--

--

--

Retrieval and querying function on the transformed and standardized datasets

The Random Access Storage compound pattern represents a part of a Big Data platform capable storing high-volume and high-variety data and making it available for random access.

Visuele representatie van een RASCI matrix voor het relateren van data management rollen aan data domeinen en - entiteiten.

RASCI matrix voor de uitwerking welke betrokkenen op welke wijze deelnemen aan de data entiteiten. Dit op basis van RASCI in een matrix.

--

How can large amounts of data be accessed instantaneously without any delay?

--

Mainly refers to expectations within a certain operational context. Take for example the accepting of a lower performance during peak loads or having to wait a long time on a result set of archived data entities.

Ability to bring back a failed system to full operation, including data and network connections.

--

--

This is the situation where referrals from one data entity always correctly refer to the related data entities. Examples are double keys in a data set which makes the connected entities unable to decide which entity is older. Also dangling references or floating references where the parent no longer exists belong to this.

Abstract architectural entity for the register data consumers, all user interfaces and data integrations are an master data consumer

Application and database integration like webservices, file transfer, database links, views etc. In a later phase we will model the various integration methods and model these in detail

All kinds of user interfaces in which an user can consume data via a (graphical) user interface. Examples of user interfaces are reports, forms, portals graphs, geoviews etc.

Logical application function for the storage and transformation of master data in various source function and the data register function

Logical services that publish the data from the register to various register data consumers

Function for the registration and extractions of governance aspects of the datasets published over the logical services. For example data qualities, connection requirements and the standardized object or information model

--

--

--

A registration is a record in which is described that a trainee particates in a training

--

--

--

--

Data entities saved in a relational (staging) database

ETL processes for the transformation of data from relational to relational databases or structured files

--

How can large amounts of processed data be ported from a Big Data platform directly to a relational database?

How can large amounts of data be imported into a Big Data platform from a relational database?

Transformation of relational data entities (stored in a relational database) to the standardized data target.

Once a software system is functioning, as specified, and delivered the reliability characteristic defines the capability of the system to maintain its service provision under defined conditions for defined periods of time. One aspect of this characteristic is fault tolerance that is the ability of a system to withstand component failure. For example if the network goes down for 20 seconds then comes back the system should be able to recover and continue functioning.

Characterizes the plug and play aspect of software components, that is how easy is it to exchange a given software component within a specified environment.

Reporting interface

--

Characterizes resources used, i.e. memory, cpu, disk and network usage.

Management function for the various resources in a Big Data environment

--

Potential for complete or partial reuse in another software product.

--

--

--

Scatterplot https://en.wikipedia.org/wiki/Scatter_plot

--

Other (collegue)

Secundary conceptual model viewpoint

Secundary data usage viewpoint

Secundary trace viewpoint

This subcharacteristic relates to unauthorized access to the software functions.

--

--

Administration and registration of security concepts in a Big Data environment.

--

--

Serial implementation of Big Data and EDWH functionality where the Big Data functionality is consumed by the EDWH functionality

Serialization and deserialization of proprietary datasets to standardized stored datasets

--

SOAP/XML webservices including eventually REST services

--

Extraction of data to the society (unknown consumers like customers, citizens etc)

--

Specific requirments for specific application functions like specific transformations

--

--

Characterizes the sensitivity to change of a given system that is the negative impact that may be caused by system changes.

General understanding of a person or organization within or outside the modeling domain that influences the data, for example in the role of user, steward or owner.

--

--

Standardized data or business object. Models are based on (open) standards like CIM

--

Storage function of big data sets.

Dataverwerking voor met name realtime verwerking bij een hoge velocity

--

--

--

Data that is received as a data stream. For example smart meter data or data received from push webservices in a continuous manner

How can processed data be exported in realtime from a Big Data platform to other systems?

How can high velocity data be imported reliably into a Big Data platform in realtime?

How can large datasets be accessed in a way that lends itself to efficient processing of data in batch mode?

--

--

This is the essential Functionality characteristic and refers to the appropriateness (to specification) of the functions of the software.

--

--

The physical table is an implementation within a relational database and is linked via a trace to the logical data model. Physical tables are converted to table structures in (relational databases). That is why columns and associations are worked out for these tables. Multiple types of constraints or rules can be added to the tables, columns and associations. Think of primary and foreign keys, check constraints and the like.

Ouder tabel zonder ouders, er is een primary key gedefinieerd op basis van de naamgevingsconventie. In het model worden ook de gedefinieerde indexen getoond en beheerd zodat op basis hiervan de SQL DDL gegenereerd kan worden vanuit het model

Zelfde eigenschappen gelden als de Table_A naamgevingsconventie. de foreign key bijzonder omdat er naast de tabelnaam ook een rolnaam is toegevoegd. Bijvoorbeeld als er dubbele associaties zijn of verwijzingen naar de tabel zelf.

--

--

--

Characterizes the effort needed to verify (test) a system change.

--

--

The functional data analytics layer and the data integration layer are coupled by a standard information model that is binding and under governance of the central design authority

Characterizes response times for a given thru put, i.e. transaction rate.

--

Is a data set available on time within the set expectations. It is the difference between the moment of need and availability. For example requesting data in a Call Center. In this situation waiting five minutes for a response is not acceptable.

--

--

--

Ondersteunende tooling voor dit data proces.

Ease of verifying correctness of data processing on required points.

--

--

A trainee is a person participating in one or more trainings of our company

--

--

--

--

--

--

--

--

--

A trainer is an employee who participates in the education activities of our company

--

--

--

--

--

A training is an offer to the market of knowledge transfer about a specific area or subject

--

--

A training session is part of a training in which the trainer and trainee exchange information and knowledge

--

--

--

Transformation functionality for transforming the data content from a (application) specific datamodel to a generic datamodel based on a standardized datamodel (see the service diagrams). This can be impllemented either in an ETL transform process or in a message handler for example in a service bus.

Transformation function from the specific source data model to the standardized target data model. This can be a model or a protocol transformation. Often this transformation is divided in sub steps and these sub steps will be analyzed and modeled in the architecture of a specific data pipe implementation and components

--

Determines the ease of which the systems functions can be understood, relates to user mental models in Human Computer Interaction methods.

Uniqueness of a data entity is focused on the fact that there are no other data entities with the same data. An example from practice was a twin with the same initials, surname and birth date. A distinction could not be made due to the completeness being to low.

Transfer of files that are manually handled and eventually modified before implementation in the data storage

--

--

Usability only exists with regard to functionality and refers to the ease of use for a given function. For example a function of an ATM machine is to dispense cash as requested. Placing common amounts on the screen for selection, i.e. $20.00, $40.00, $100.00 etc, does not impact the function of the ATM but addresses the Usability of the function. The ability to learn how to use a system (learnability) is also a major subcharacteristic of usability.

User-friendliness in sytem usage

Different graphical user interfaces like: - Reports - Analytical tools - Geospatial viewers - Forms - Portals and widgets e.g.

Publication of asset data to various user interface types

User interfaces for human interaction with the data stored in the data registration

This is the degree in which a data entity meets the desired format in storage and exchange. Take for example the domain yet also the datatype of the attributes of a data entity. Within chain exchange for example this is of the highest importance. Nobody wants to find out that at the end of the chain the data is not valid. This needs to be detected in an early stage. Everyone knows the examples from the past with web applications where after sending a message “invalid data” showed up without further explanation.

--

Specific relational database interface implementation

Logical application for virtualization of data implemented in a standardized object or data model

Implementation of EDWH and Big Data functionality extracted via a virtualisation function. This virtualization acts as an encapsulation layer and API for the consumer applications

Virtualized infrastructure to allow easy migration in on-premise and also cloud environments

Visualisation of query and analytics results to data scientists and end users.

Webservice interface for application to application integration. This can be implemented in a service bus environment. Mostly applied in event based data processing

Functionality to design workflows to automatically perform transformations and cleaning of datasets.

Workflow management for the scheduling and iteration of transformation tasks

Zelfde eigenschappen gelden als de Table_A naamgevingsconventie. Hier is de X_ conventie toegevoegd voor tabellen met bijzondere kenmerken zoals F_ voor fact en D_ voor dimensie.

--

--

--

File with a validated XML content that can be processed to a structured model and pessed to an ETL process

--

--

Transformation of an XML stream or file to a relational model

--

--

--

--

--

--

Additional Big Data Patterns not linked in a compound pattern

Basic diagram for an AIC classification, for a project this diagram can be extended with the implication for the project of these security requirements

--

In the appliance integration of a big data platform with DWH functionality the appliance acts like a black box in which all functionality is integrated in a (proprietary) solution. This solution is configured for optimal performance of transformation and analysis. Characteristics - Appliance is developed, configured and often maintained by an external supplier - It is introduced as a fully integrated solution therefore existing implementations of the DWH have to migrate to this solution - Appliances are often introduced when a cloud solution is selected for the data platform

--

--

--

--

Layered or tiered architecture fortransformation of data from sources to utilisation. It includes three architectural columns that influence all layers

Plot of the described mechanisms on the Big Data Blueprint

Technology mechanisms represent well-defined IT artifacts that are established within an IT industry.

--

--

--

--

--

--

--

--

--

--

--

--

--

--

Dit is een meta model voor de data governance entiteiten gebaseerd op een Medux specifiek ArchiMate data governance viewpoint. Inclusief elementen en de onderliggende relaties tussen de verschillende elementen. Let op vanuit metadata wordt dit model uitgebreid met uitgewerkte (meta) modellen voor de andere data management kennisgebieden.

--

Deelmodel voor het datagovernance model met daarin de rollen die betrokkenen vervullen rond een data domein of een data entiteit binnen een Conceptueel Data Model

--

--

--

Overview of internal and external consumers of the standardized datasets.

The hourglass model is a specific model for the transformation of data sources to a standardized model in a target datastore. It is the simplified implementation of a layered Big Data architecture. The hourglass model can be used to medel specific implementations of transformation of data in a pattern called the datapipe. In a number of other diagrams a detail view is given of these implementations in projects like Digital Transformation, TDP, MaxLimit and others.

Specialized model of the various interfaces available for the consumers of the standardized datasets.

In the context of TDP is the logical application of transformation of data a characteristic pattern.. This pattern includes aspects like extract data from the source, transformation of the model or the protocol and selection of the source and the target model. Transformation exists at two levels in the hourglass. The first is transformation from the source data to the target data in a standardized model. The second is the transformation of the generic model to a specific model in use by the consumer. The last one is not explicitly modeled in the hourglass model because this is considered as an implementation of the consumer.

--

--

--

Een voorbeeld van een hiërarchie van de entiteiten in het conceptuele datamodel. Deze afbeelding is een weergave specifiek voor het gebruikte modelleertool. Echter ook andere modelleertools zullen een dergelijke weergave kennen. Het voorbeeld is uitgewerkt in ArchiMate, deze modelleertaal bestaat uit een gestereotypeerde graaf waarin op eenvoudige wijze te zien is welke verbanden er zijn tussen de concepten op basis van verschillende soorten associaties, zoals specialisatie, aggregatie en een associatie. De concepten zijn in dit voorbeeld uitgewerkt als ArchiMate business objecten Kenmerken Het conceptueel model (begrippenlijst en begrippenboom) heeft de volgende kenmerken:

• Krachtige notatiewijze waarin begrippen op eenvoudige wijze aan elkaar gerelateerd kunnen worden
• Eenvoudig toepasbaar bij gebruik voor stakeholders zonder modelleerervaring
• Kan goed gebruikt worden in interactieve workshops
• Toepasbaar op hoge abstractie niveaus, voornamelijk conceptueel
• Goed eerste startpunt bij een top down benadering van een objectmodel
• Goed model om discussie op gang te brengen tussen domeinexperts
• Belangrijk hulpmiddel bij het opstellen van datamodellen bij ketenintegraties
• Hiërarchieën kunnen complex worden als er veel generalisaties worden gebruikt

Toepassingen Conceptuele datamodellen worden vooral toegepast op een hoog abstractieniveau van datamodellering. Het biedt een goed startpunt voor het in kaart brengen van het gegevensdomein. In complexe domeinen is de begrippenboom een goed startpunt om te komen tot een gezamenlijk domeinmodel waarbij de begrippen de hoogste hiërarchie omvatten. Houdt er rekening mee dat ondanks de eenvoud van de notatiewijze het opstellen van een conceptueel model een complex traject kan zijn, zeker bij een complex domein of binnen een organisatiecontext waar rond datamodellering weinig volwassenheid is. Gerelateerde domeinen Gezien het hoge abstractieniveau van het conceptueel model is het een centraal model voor meta data. In onze drie bij drie matrix zijn alle andere domeinen op enigerlei wijze gerelateerd aan het conceptueel datamodel Binnen ArchiMate is in het voorbeeld met behulp van business objects een begrippenboom opgesteld. Deze objecten worden vervolgens als koppelpunt naar bijvoorbeeld bedrijfsprocessen of -functies ingezet. Ook wordt de begrippenboom veelvuldig gecombineerd met een Logisch Data Model. Hiermee ontstaat een hybride datamodel waarbij de begrippenboom als startpunt dient op een hoog abstractieniveau en logisch datamodel de detaillering van deze begrippen uitwerken in de klassen, attributen en associaties.

--

--

--

--

--

Dit diagram is een viewpoint voor het uitwerken van een conceptueel datamodel.Dit viewpoint geeft aan welke soorten objecttypen en connectortypen gebruikt kunnen worden binnen het opstellen van een conceptueel data model. Voor het conceptueel datamodel gelden een paar uitgangspunten:

• Conceptueel data model is voor meerdere stakeholders(ook niet-ICTers en dient eenvoudig van opzet te zijn.
• Conceptueel data model is uitgewerkt in ArchiMate (business layer).
• Voor het conceptueel data model wordt alleen het stereotype Business Object gebruikt.
• Het conceptuele model heeft een hierarchische structuur gebaseerd op domeinen.
• Voor een domein kunnen als dit de complexiteit verlaagd meerdere diagrammen gemaakt worden.
• Het conceptuele model wordt gerelateerd aan het logische data model. Zie hiervoor het hybride meta datamodel.
• Hetconceptuele model kan gerelateerd worden aan bijvoorbeeld de andere data management business functies binnen Medux.

Dit diagram is een viewpoint voor het uitwerken van een fysieke datamodel voor SQL-Server RDBMS.Dit viewpoint geeft aan welke tabellen, constraints en kolommen gebruikt kunnen worden binnen het opstellen van een RDBMS data model. Voor het RDBMS datamodel gelden een paar uitgangspunten:

• Fysiek datamodel is voor de ICT (Database specialisten)
• Van het Fysiek datamodel kunnen SQL DDL statements gegenereerd worden
• Naamgevingsconventie voor het database platform (SQL Server/Oracle) gelden als basis voor de naamgevingsconventie
• Op de associaties worden de database details voor de foreign en primary keys getoond.

--

Hybride datamodel laat zien op welke wijze er en gezamenlijk model gemaakt kan worden op basis van de drie andere lagen in het datamodel.

Dit diagram is een viewpoint voor het uitwerken van een logisch datamodel.Dit viewpoint geeft aan welke soorten objecttypen en connectortypen gebruikt kunnen worden binnen het opstellen van een logisch data model. Voor het logisch datamodel gelden een paar uitgangspunten:

• Logisch data model is voor alle stakeholders (ICTers en niet-ICTers en dient begrepen te worden door alle stakeholders na een toelichting van het metamodel.
• Logisch data model is uitgewerkt in UML Class Modeling.
• Voor het logisch data model wordt alleen de stereotypen Class en Enumeratie gebruikt.
• Het logisch model heeft een hierarchische structuur gebaseerd op abstracte en concrete entiteiten met een specialisatie connector.
• Voor een logisch domein kunnen als dit de complexiteit verlaagd meerdere diagrammen gemaakt worden.
• Het logische model wordt gerelateerd aan het bovenliggende conceptuele model en aan de onderliggende fysieke datamodellen. Zie hiervoor het hybride meta datamodel.

--

--

This is an overview of the DaMa data qualities. It can be extended with the implications for a specific project

--

--

--

--

--

--

--

--

--

--

--

Overview of the transformation from file based data to a data target

--

--

--

Voor meta data management kan een raamwerk uitgewerkt worden. Met dit raamwerk wordt een registratie gedefinieerd voor de verschillende data management kennisgebieden. Dit raamwerk bestaat veelal uit een groeimodel en is specifiek voor iedere organisatie. Enerzijds vanwege de structuur van de organisatie en anderzijds door de volwassenheid van de organisatie op het vlak van data management. In onderstaande afbeelding zie je een drie bij drie matrix waarin een beperkt aantal kennisgebieden zijn gedefinieerd. Deze matrix zal als indeling gelden voor de rest van dit whitepaper. In de afbeelding worden drie categorieën voor kennisdomeinen genoemd namelijk beschrijvend, kaderstellend en omgeving. De onderwerpen binnen deze domeinen kunnen beschouwd worden als een startpunt voor het uitwerken van meta data management vanuit het perspectief van data management. Dit gaan we doen door voor ieder onderwerp een aantal modelleerwijzen te introduceren waarmee de stakeholders zich op eenvoudige wijze een adequaat beeld kunnen vormen van de situatie van dit meta data onderwerp. In de afbeelding zijn naast de negen kennisdomeinen een viertal pijlen opgenomen. Deze pijlen geven aan dat de kennisdomeinen met elkaar verbonden dienen te zijn. Hierbij neemt het beschrijvende model een centrale plaats in, meer specifiek het conceptueel model. De entiteiten in dit model fungeren feitelijk als centraal koppelpunt voor alle andere aspectgebieden. In de volgende hoofdstukken zullen we van ieder onderwerp een beschrijving geven van een registratie. Echter deze registratie doen we op basis van een aantal gestandaardiseerde modelleertechnieken zoals ArchiMate, UML Klasse diagrammen en ER Diagrammen. Ook hierbij is het uitgangspunt van een startpunt gebruikt. Bij een verdere uitwerking van het meta data model is het desgewenst eenvoudig mogelijk om extra modelleertechnieken toe te voegen.

--

--

--

--

--

--

--

--

--

The parallel integration is an extension of the DWH functiionality with the Big Data Platform. This extension makes it possible to use both functionalities side by side. Characteristics - Easy (incremental) introduction of the Big Data functionality - Integration of both functionalities requires attention for the introduction of the interconnect functionality because this can become a bottleneck in performance and configuration -

--

--

--

The primary conceptual model consists of two ArchiMate concepts from the passive structure part. Namely data objects and business objects. Often one of these two entities is used in the models. This depends on the further modeling, finds this place on application level then you can use the data objects, otherwise the business objects For both entities you can use specialization and aggregation as an association. In addition, a data object realizes a business object. If desired, you can show cardinalities at the associations, but that is not common. In addition, in a complex model or in many synonyms and homonyms, the modeling of two layers of abstraction can have added value

This viewpoint connects three archimate concepts. These are the information entities and a requirement that is subdivided into a number of data qualities. In the example, the DAMA data quality list is used. Within the associations, a score is given to the data within the entities (business object and data object). Keep in mind that this score can be an ist but also a soll or desired score. This can be further elaborated in the matrix by including a double score. In this viewpoint an example of the matrix is included including the example qualities of DaMa

This viewpoint describes which concepts are used for modeling data ownership. Data ownership and stewardship are important aspects of after-management. In the viewpoint, use is made of four ArchiMate concepts, three on the business layer and one on the application layer. It is important that for the ownership a number of associations have been extended on the basis of a RACI classification. These can be displayed in a RACI matrix.

This viewpoint indicates which business and data objects are used by which users and perhaps even more importantly in which way. This is done by giving the associations between the user and the data objects a CRUD score. This can of course also be displayed in a matrix view

In this viewpoint we see the relationship of the logical model with the conceptual model. An association is therefore made between two modeling languages and that is a specific extension for IDEA and is not part of both standards. Within EA there are three standard association types for modeling between modeling languages. Within IDEA we opt for the trace association for an association between the three modeling layers.

The logical data model consists mainly of logical entities and these are modeled as classes based on UML. A class in UML consists of:

• A class name and explanation
• Attributes of which we at least keep track of the name, the data type and the cardinality (the datatype can also be a different class, an enumeration or an interface)
• The associations, these can be all UML allowed associations but in the base they are the normal associations, specialization and aggregation (be careful with too many association types in data modeling)

In addition to the logical entities, enumerations can be used for the use of domains with attributes. In that case, the data type of the attribute is the enumeration. Complex data types can be used for complex models. These are explained in more detail in the example and include a breakdown of generic structures for a simpler manageable model

The physical data model consists of physical table entities, properties and associations. This is modeled according to the rules of the platform (usually the relational database) and can therefore be worked out in detail in accordance with the rules of the platform. If desired, a detailed viewpoint can be developed for this purpose. This also applies to physical models for XML schemes and the like.

--

--

Overview of the transformation from a relational database to a data target

Overview of the principles from the DT Reference architecture. The implications have to be added in a later phase

In this scenario the master data register collaborates with the various data producing application functions. This means that when data is modified in one of the systems these modifications are shared between all collaborating functions. Therefore the integration between these data producers is essential in this scenario An interesting scenario in this is where the Data Register is only used as a key store or key cabinet and the detailed data is kept in the other source systems Advantages - Data is gathered directly from source systems and thus it is always accurate and real time. - Data can be stored within the source systems in a specific format supporting the business processes within these systems - Differences in availability between consumers and sources can be handled by the Data Register - Reuse of screens, workflows and validations in the source systems - Data standardization within the Data Register - Introduction of a key store or key cabinet. Disadvantages - Managing the synchronization between systems is an extra piece of work and complexity. - Replication of data - Complex data transformations from sources to register and back

In this scenario data is collected form the various data producing applications and combined and standardized in the master data register. This means that data is modified in one of the data producing applications and eventually enriched in the data register. The data register is mainly a data replication with a standardized data model of the other data producers. An example is a datawarehouse Advantages - All data directly integrated at hand. - Standardization of data is possible within the Data Register - There is a possibility to enhance data by intelligently combing it to new information. - High availability only for the data register when consumers need a high availability - Data validation can be implemented in the system where it is most advantageous/efficient - Reuse of screens, validations, existing data integrations and workflows - Supports a iterative migration to a more centralized (register) scenario Disadvantages - When integration of data is asynchronous the data is not the same as in source systems on every moment. This will not be a problem if timing is not an issue. - When synchronization of data is synchronous high availability requirements for the registry systems is necessary - Data replication and need for extra storage - Fetching and distributing data back and forth is equally much work as with an MDM solution - Possible very complex data transformations necessary

In this scenario there is only one master data producing application. That is the data register. It can also be one of the existing source systems. All other applications are consuming this data from the data register and use this in their application processes. This includes the application functions for ERP and geo etc. Advantages - The service design is directly mapped in the data register. - Possibility to standardize the information model and service interfaces - Verification and business rules are implemented only in the dasset data register. - Real time alignment of the data only upon read/request - High availability only necessary for the data register. - Eventually no replication of data (depends on the maturity of the consuming systems) Disadvantages - Any change in data model in consumers leads to change in service, this should be aligned or require a large standardized datamodel in the service interface. - Information provisioning to applications needs to be redesigned which is a lot of work - Redesign of the full application landscape - High demand in performance and availability for the data register - Introduction of a single point of failure so extra non functional requirements in AIC

In this scenario there is no data register but all master data is stored within the data producers like ERP and geo functions. However for the data consumers the data is available via the asset data services in a standardized manner. This means that when a consumer needs asset data this is requested via the data services and collected from the various data producing applications. The implementation of the data services handles the standardization of the master data model and the data exchange protocol Advantages - Real time alignment of the data. - Single Point of Truth and Maintenance - No replication of data (and the involved complexity) - Reuse of existing user interfaces, validations and (hidden) integrations Disadvantages - The service design should not enhance the data so the application might have to be redesigned. - Any change in data model in sources leads to change in service, this should be aligned. - Verification and business rules are implemented in source systems. - High availability and performance needs for all the producing systems - Complex model transformations within the service layer to transform for specific producer system model to the required model by the consumers - Releases of the source systems become more complex because of the new dependencies in the data services

In this master data consumer model a limited view of the relevant architectural entities are displayed. Here you see a high level model of register data consumption. Via different application functions data is consumed. For example via user interfaces like reports, portals, geo viewers etc data is directly consumed by various end users. A detailed inventarization of these end users and user interfaces will be modeled.

In the secondary conceptual model it is modeled where, how and by which business or application entities these information entities are used or more precisely which entities have access to the information entities. For this, use is made of the behavioral tendencies in the application and the business layer of ArchiMate depending on the modeling level. Optionally, you can extend the model even further with active structure elements, however the question is whether this is the domain of the data modeller. For the link between the information entities and the behavioral entities, the access association (access) is used. Please note that this association can go two ways (or both).

This secondary viewpoint describes which data and business objects are used within which processes and functions. This can easily be extended with, for example, the application where the data is used. However, this will usually not be within the scope of a data architect and should be cooperated with other architecture disciplines.

This is an extension of the primary viewpoint which describes a link between the layers. This trace viewpoint is relevant in the situation where the model is used to generate program code based on classes and tables. In that situation you would like to have lookups and a trace between the logical and physical data modeling.

Serial integration is implemented by introducing a big data platform for the transformation and extraction of unstructured and semi structured data as source for the EDWH functionality. Characteristics - Introduction of the big data platform is relatively easy since it is an extra layer added to the DWH functionality - Relative easy big data patterns are available because the source is always the datawarehouse - Introducing big data solutions for other functionalities than DHW is not possible.

Detailed ABB for describing the logical service interface in combination with extra governance functionalities

This is an overview of the Quint 2 software qualities. It can be extended with the implications for a specific project

--

Description of the generic aspectis of the transformation application function. This has the following elements - Data sources - Transformation functions - Data targets - Data or object modeling functions

--

This integration pattern has a close relation with the parallel integration, however there is an extra layer introduced for the virtualisation and standardisation of data extraction to consumers of the data. Characteristics - Virtualisation layer encapsulate the internal confuguration of the two platforms - The virtualisation layer requires a standardized data or objectmodel for the extraction by the consumers - The virtualisation can become a bottleneck in a number of qualities like performance, integratability e.g. -

In this diagram a description of the datapipe from an (webservice) or XML file source to the target datamodel is described. This is based on the transformation of a XML model to an intermediate tabular or relational model and this is then processed in an ETL process to transform the source data model in a number of steps to the required target model.

Package with the description of generic architectural building blocks and solution building blocks.

--

--

--

--

--

--

--

--

--

The conceptual model has the focus especially on the business perspective. In these viewpoints only the entities and their mutual associations are described. So no details of attributes and the like. Within the conceptual modeling, the possibility to describe the meaning of entities and to get them unambiguously becomes clear and is one of the most important aspects of the conceptual model

--

--

--

--

--

--

--

--

--

--

--

In deze viewpoints worden de verschillende notatiewijzen beschreven waarmee de data catalogus kan worden opgebouwd. Het is initieel gebaseerd op vier hoofdelementen maar kan eenvoudig worden uitgebreid. De elementen zijn:

• Data Management
• Conceptueel model
• Logisch model
• Fysiek model

Uitbreidingen waar je aan kunt denken zijn bijvoorbeeld Data Security, Privacy maar ook aan interfaces zoals webservices, webapi's NoSQL etc. Indien deze later binnen de community relevant blijken te zijn dan worden deze alsnog uitgewerkt

Data management is mainly focused on the business aspects of the data. The elaboration is based on the DMBoK framework of Dama.org. Three viewpoints have been elaborated on ownership, use and quality. Here too, an extension is possible once the community needs it. The DMBoK includes a wealth of viewpoints in this. For the modeling we use ArchiMate concepts like stakeholder and requirements or constraints in combination with matrices.

--

--

In het beschrijvend model worden een aantal data modellen uitgewerkt van abstract (conceptueel model) naar technisch platform specifiek (fysiek model). Dit model is feitelijk het centrale model voor meta data waaraan de andere domeinen gekoppeld zijn.

--

--

--

--

--

--

--

--

--

--

--

--

--

--

--

--

The logical model describes the structure of the data in an implementation independent manner. (In EA, implementation is not entirely language independent unless you define your own data types. The logical model is mainly based on UML class diagrams with a number of extra entities such as enumerations and possibly interfaces for lookups. The latter you use especially for the generation of application code so is only then modeled.

--

--

--

--

--

--

Binnen wikipedia wordt voor meta data de volgende definitie gegeven: Metadata zijn gegevens die de karakteristieken van bepaalde gegevens beschrijven. Het zijn dus eigenlijk data over data. Deze definitie is krachtig in haar eenvoud. Vaak wordt van meta data gezegd dat meta data context toevoegt aan data. Het is hierbij van belang welke context dat is. Zo kun je voorstellen dat de meta data van een boek een andere context geeft dan bijvoorbeeld een foto in JPEG formaat of een tabel in een relationele database. In dit whitepaper is de context van de meta data enterprise data management. Dat betekent dan ook dat we data gaan verzamelen over data entiteiten vanuit het perspectief van data management om context toe te voegen aan deze data entiteiten. Voor data management is een internationaal raamwerk aanwezig name het Data Management Body of Knowledge ontwikkeld door DaMa.org. In dit whitepaper geldt dit raamwerk als startpunt voor ons model. In de volgende paragraaf wordt het DMBoK kort toegelicht.

--

--

--

--

The physical model is aimed at modeling platform specific modeling. This can be data modeling for (relational) databases, but also schema definitions (XSDs) are forms of physical data modeling. Within the physical data modeling much detail is added focused on the implementation. This is often aimed at generating source code (for example, DDL)

--

--

Contactgegevens van de werkgroep metadata

Dama biedt een aantal mooie onderdelen doe goed ingezet kunnen worden voor de uitwerking van architectuur. Dit document geeft een voorbeeld. Dit document geeft een uitwerking van een workshop om data kwaliteiten met een groep stakeholders te inventariseren

ArchiMate Data & applicatiemodellering is een onderdeel van de modelleertaal ArchiMate voor het modelleren van Enterprise Architecturen. Het wordt gecombineerd met een aantal andere viewpoints binnen ArchiMate waarmee krachtige modellen opgesteld kunnen worden voor verschillende soorten stakeholders. ArchiMate Data & Applicatiemodellering is een secundair viewpoint maar omvat entiteiten uit de primaire viewpoint. Hiermee ontstaat een verbinding met de andere (secundaire) viewpoints.

ArchiMate Data & applicatiemodellering is een onderdeel van de modelleertaal ArchiMate voor het modelleren van Enterprise Architecturen. Het wordt gecombineerd met een aantal andere viewpoints binnen ArchiMate waarmee krachtige modellen opgesteld kunnen worden voor verschillende soorten stakeholders. ArchiMate Data & Applicatiemodellering is een secundair viewpoint maar omvat entiteiten uit de primaire viewpoint. Hiermee ontstaat een verbinding met de andere (secundaire) viewpoints.

ArchiMate Data & bedrijfslaagmodellering is een onderdeel van de modelleertaal ArchiMate voor het modelleren van Enterprise Architecturen. Het wordt gecombineerd met een aantal andere viewpoints binnen ArchiMate waarmee krachtige modellen opgesteld kunnen worden voor verschillende soorten stakeholders. ArchiMate Data & Bedrijfslaagmodellering is een secundair viewpoint maar omvat entiteiten uit de primaire viewpoint. Hiermee ontstaat een verbinding met de andere (secundaire) viewpoints.

ArchiMate motivation datamodellering is een onderdeel van de modelleertaal ArchiMate voor het modelleren van Enterprise Architecturen. Het is een combinatie van een model van data entiteiten en motivation concepten. Er worden krachtige modellen opgesteld worden voor het in kaart brengen van stakeholders en hun concerns.

ArchiMate Datamodellering is een onderdeel van de modelleertaal ArchiMate voor het modelleren van Enterprise Architecturen. Het wordt gecombineerd met een aantal andere viewpoints binnen ArchiMate waarmee krachtige modellen opgesteld kunnen worden voor verschillende soorten stakeholders. De modellen worden met name gebruikt voor interactie met business vertegenwoordiging. Daarnaast kan deze notatie gebruikt worden om de verbanden tussen de bedrijfslaag met de onderliggende lagen (applicatie en technologie).

De begrippenlijst en begrippenboom zijn krachtige notatiewijzen voor het op hoog abstractie niveau in kaart brengen van begrippen en hun onderlinge relaties. De notatie is eenvoudig en kan daardoor ingezet worden bij stakeholders met weinig modelleerervaring en weinig affiniteit met ICT.

CRUD matrix is een datamodellering notatie waarmee de bewerkingen Create, Read, Update en Delete worden gecombineerd met Data entiteiten en gedragsentiteiten. De notatie wordt toegepast op alle drie de modelleerlagen, fysiek, conceptueel en logisch. Naast toepassingen in de datamodellering wordt de CRUD matrix gebruikt binnen data management, data security en data privacy. Hierbij gaat het meer om de autorisaties die gebruikers hebben op de verschillende data entiteiten.

Data Flow Diagrammen zijn een krachtige- en relatief eenvoudige modelleerwijze om gegevensstromen binnen een informatiesysteem te modelleren. De notatie is relatief abstract en wordt daarom met name ingezet voor conceptuele data modellering.

Data mappings zijn een krachtige, en daarom veelvuldig toegepaste, notatiewijze in de data modellering. Omdat het eigenschappen van verschillende data entiteiten met elkaar verbindt biedt het op een detailniveau de mogelijkheid om koppelingen te documenteren. De notatiewijze is eenvoudig te begrijpen en informeel. De notatie kan uitgebreid worden met eigen interpretatie of verrijking van de associaties. Daarnaast kunnen associaties gelegd worden tussen willekeurige soorten data entiteiten en andere concepten in het domein. Dat is krachtig maar kan ook een risico vormen.

ER diagram is een veelgebruikte notatiewijze met name voor het opstellen van fysieke datamodellen voor implementatie in relationele databases. Het legt daarmee een verbinding tussen de logische modellen en de fysieke implementatie in een relationeel database platform. Het is daarmee een onmisbare schakel in de data modelleerketen.

RACI matrix is een datamodellering notatie waarmee de bewerkingen Responsible, Accountable, Consulted en Informed worden gecombineerd met Data entiteiten en gedragsentiteiten. De notatie wordt toegepast op met name de conceptuele datamodellering. Naast toepassingen in de datamodellering wordt de RACI matrix met name gebruikt binnen data management, data governance, data security en data privacy. Hierbij gaat het meer om de verantwoordelijkheden en betrokkenheid die rollen of stakeholders in de organisatie hebben op de verschillende data entiteiten.

Score matrix is een datamodellering notatie waarmee een score, bijvoorbeeld van 0 - 10 worden gecombineerd met Data entiteiten en eisen, requirements of kwaliteiten. De notatie wordt toegepast op met name de conceptuele datamodellering. Naast toepassingen in de datamodellering wordt de score matrix met name gebruikt binnen data management, data kwaliteiten, data security en data privacy. Hierbij gaat het veelal om twee perspectieven, bijvoorbeeld de huidige en de gewenste situatie.

SIPOC is een eenvoudige datamodelleertechniek met name geschikt voor conceptuele modellering in interactieve workshops. Kenmerkend is dat de notatiewijze weinig toelichting nodig heeft en daarmee behoorlijk zelf verklarend is. SIPOC is goed te combineren en uit te breiden met andere notatiewijzen zoals UML en ArchiMate. De notatiewijze wordt ondersteund door veel vormen van tooling inclusief kantoorautomatisering.

UML klassenotatie is een veelgebruikte notatiewijze met name voor het opstellen van logische datamodellen. Het legt daarmee een verbinding tussen de fysieke modellen en de conceptuele modellen en is daarmee een onmisbare schakel in de data modelleerketen. Het klassediagram wordt in veel situaties toegepast, met name waar een relatie is met softwareontwikkeling. De basisnotatie biedt al een ruime hoeveelheid mogelijkheden om complexe modellen op te stellen. Dit is enerzijds de kracht van het UML klassediagram en anderzijds een zwakte omdat de modellen veelal te complex zijn voor stakeholders met minder modelleerervaring.

Geavanceerde UML klassenotatie is een veelgebruikte notatiewijze met name voor het opstellen van logische datamodellen voor bijvoorbeeld open standaarden. Het geeft een detaillering van de UML basisdiagrammen en introduceert met name hergebruik. Voor geavanceerde UML klassenotatie is een veelheid aan tooling aanwezig, in dit artikel slechts een beperkte opsomming. Wil je het klassediagram gaan inzetten voor het genereren van programmatuur dan is de tooling keuze minder breed maar nog steeds een ruim voldoende.

In dit whitepaper hebben we een introductie gegeven van datamodellering en een aantal raamwerken geschetst op basis waarvan de verschillende datamodelleerwijzen in verband gebracht kunnen worden tot elkaar. Wat is het doel van deze exercitie?

Meta Data Modelleren als repository

Modelleren is een vakgebied gebaseerd op eenvoudige notaties. Echter op het moment dat en model opgesteld wordt blijkt de te modelleren werkelijkheid al snel complex. In dit whitepaper worden daarom een aantal handvatten geboden die ingezet kunnen worden om de complexiteit te verminderen. De meeste van de tien tips zijn gericht op het reduceren van de modelleercomplexiteit door het opsplitsen van het totaal in kleinere gerubriceerde deelactiviteiten die minder complex zijn.

Voorbeeld uitwerking van een logisch applicatie model voor een register in ArchiMate

Meta Data Repository webvideo

Welkom bij Meta Data Management

In dit whitepaper wordt de datamodelleervorm XML Schema Definition (XSD) beschreven. Deze modelleervorm staat in verhouding tot een aantal andere modelleervormen. Wil je een beeld krijgen van welke modelleervormen er zijn bekijk dan het whitepaper wat een introductie geeft tot datamodelleervormen en deze serie van whitepapers zie Inleiding datamodellering. Dit whitepaper is een onderdeel van meerdere whitepapers over modellering in de fysieke laag. XSD modellering is specifiek voor het modelleren van berichtuitwisseling op basis van gestructureerde berichten gebaseerd op XML. Daarnaast zijn modelleerwijzen rond JSON maar ook de opslag van gestructureerde data (ER) relevant. Informatie over deze modelleervormen is te vinden in deze serie van van whitepapers.