Архитектура на интегратора на данни на Oracle: Техническа информация

Oracle Data Integrator се състои от няколко компонента, които работят с едно централизирано хранилище на метаданни. Тези компоненти - графични модули, компоненти за изпълнение и уеб интерфейс - заедно с други усъвършенствани функции, правят Oracle Data Integrator лека, без наследство, перфектна платформа за интеграция.

Този технически документ представя архитектурата на Oracle Data Integrator.

Архитектурата на Oracle Data Integrator е организирана около модулно хранилище, което е достъпно за всички Java компоненти, графични модули и изпълнителни агенти в режим клиент-сървър. Тази архитектура включва и уеб приложение - Навигатор на метаданни, което позволява на потребителите да имат достъп до информация (хранилище) чрез уеб интерфейс.

Има четири графични модула: Дизайнер, Оператор, Мениджър на топология и Мениджър на сигурността. Тези модули могат да бъдат инсталирани на всяка графична платформа, която поддържа Java Virtual Machine 1.5 (J2SE), като Windows, Linux, HP-UX, Solaris, AIX, Mac OS и други.

Фигура 1: Графични модули и хранилище

Функции на графичните модули:

Дизайнер определя декларативни правила за трансформиране на данни и осигуряване на тяхната цялост на данните.

Всички разработки на проекти се извършват в този модул; тук се дефинират и импортират метаданни на база данни и приложения. Модулът Designer използва метаданни и правила, за да генерира скриптове за производствената среда. Този модул е ключов за разработчиците и администраторите на метаданни;

Оператор управлява и контролира производствената среда. Той е предназначен за оператори в тази среда и показва регистрационни файлове за изпълнение с броя на грешките, броя на обработените редове, статистиката за изпълнение, кода, който се изпълнява в момента и т.н. По време на проектиране разработчиците могат да използват модула на оператора за отстраняване на грешки;

Мениджър на топология дефинира физическата и логическата архитектура на инфраструктурата. Сървъри, схеми и агенти се регистрират в главното (главно) хранилище чрез този модул, обикновено от администратори на инфраструктура или проекти;

Мениджър по сигурността управлява потребителски профили и техните права за достъп. Мениджърът на сигурността също така присвоява права за достъп на обекти и функции. Този модул често се използва от администраторите на защитата.

Всички модули съхраняват информацията си в централизирано хранилище.

Компоненти по време на изпълнение

По време на изпълнението агентът за планиране координира изпълнението на скриптове.

Агентът за планиране може да бъде инсталиран на всяка платформа, която поддържа Java Virtual Machine (J2SE), като Windows, Linux, HP-UX, Solaris, IBM AIX, iSeries/AS400, zSeries/OS/390. Изпълнението може да започне от един от графичните модули или от вградения планировчик или от външен планировчик.

В рамките на архитектурата за извличане на натоварване (E-LT; извличане на натоварване (данни) и трансформация) агентът за планиране рядко извършва трансформации. Той просто извлича код от хранилището за изпълнение и след това отправя запитване към сървърите на базата данни, операционните системи или скриптовите машини, за да изпълни този код. Когато изпълнението приключи, агентът за планиране модифицира регистрационните файлове за изпълнение в хранилището и след това генерира отчети със съобщения за грешки и статистически данни за изпълнение. Потребителите могат да преглеждат регистрационните файлове от модула на оператора или от уеб интерфейса на Metadata Navigator. Важно е да се разбере, че докато агентът за планиране може да действа като механизъм за трансформация, той рядко се използва за тази цел. Агентите са разположени на тактически места в информационната система, за да координират интеграционните процеси и да увеличат максимално използването на съществуващите системи. Те са многонишкови, балансирани на натоварване, леки компоненти в тази разпределена интеграционна архитектура.

Фигура 2: Компоненти за изпълнение.

Хранилището се състои от главно (или главно) хранилище и няколко работни (работни) хранилища. Тези хранилища са бази данни, управлявани от релационни системи за управление на бази данни. Всички обекти, които са конфигурирани, разработени или използвани с помощта на модули, се съхраняват в едно от тези хранилища и са достъпни в режим клиент-сървър за различни компоненти на архитектурата.

Обикновено има едно главно хранилище, което съдържа информация за защита (потребителски профили и привилегии), топологична информация (технологични и сървърни дефиниции) и обектни версии. Topology Manager и Security Manager се използват за поддържане на информацията, съхранявана в главното хранилище. Всички модули имат достъп до основното хранилище, тъй като всички те съхраняват информация за топологията и защитата в него.

Фигура 3: Основно хранилище и работещи хранилища.

Обектите на проекта се съхраняват в работещи хранилища. Множество работещи хранилища могат да съществуват едновременно на една и съща инсталация. Това е полезно за поддържане на отделни среди или показване на конкретни версии на жизнения цикъл - например среди за разработка, квалификация и производство.

Работещото хранилище съхранява информация за такива обекти:

Модели - включително хранилища за данни, колони, ограничения за целостта на данните, кръстосани препратки и родословни данни;

Проекти - включително декларативни правила, пакети, процедури, папки, модули на знанието и променливи;

Информация по време на изпълнение - включително скриптове, информация за графика и дневници.

Потребителите работят със съдържанието на работещото хранилище, използвайки модулите Designer и Operator. Работните хранилища също са достъпни по време на изпълнение на агентите.

Когато работещо хранилище се използва само за съхраняване на информация, необходима за изпълнение (това обикновено се отнася за производствените среди), то се нарича хранилище за изпълнение. Това хранилище е достъпно по време на изпълнение на агенти и чрез интерфейса на операторския модул. Важно е да запомните, че всички работещи хранилища винаги са свързани с едно и само едно главно хранилище.

Навигатор на метаданни ) е приложение на Java 2 Enterprise Edition (J2EE), което осигурява уеб достъп до хранилища. Позволява на потребителите да преглеждат обекти, включително проекти, модели и регистрационни файлове. Навигаторът на метаданни може да бъде инсталиран на сървър на приложения като Oracle Container for Java (OC4J) или Apache Tomcat. Бизнес потребителите, разработчиците, операторите и администраторите могат да използват Навигатора на метаданни чрез уеб браузър. Чрез уеб интерфейса на това приложение потребителите могат да виждат поточни карти, да намират източниците на всички данни и дори да се насочат към нивото на полето, за да разберат трансформациите, използвани за изграждането на тези данни. Те могат също така да изпълняват скриптове и да ги следват от уеб браузър чрез Навигатора на метаданни.

Фигура 4: Използвайки Навигатора на метаданни, потребителите могат да имат достъп и да изпълняват метаданни от уеб браузър.

Други компоненти и функции

Oracle Data Integrator включва и следните незадължителни компоненти и функции:

Модули на знанието ) позволяват лесна и бърза интеграция на технологии, бази данни и приложения. Те са достъпни за широк спектър от платформи, включително Oracle, Teradata, Sybase IQ, Netezza, SAP/R3, Oracle Applications, Siebel, LDAP и XML;

Разширена паралелна опция с балансиране на натоварването - усъвършенстван паралелен режим с балансиране на натоварването - осигурява автоматична обработка на големи количества данни с балансиране на натоварването между множество агенти;

Разширено управление на версиите ) осигурява интерфейс за поддържане, защита, възпроизвеждане на ревизии, работни единици, дори в най-големите среди за разработка;

Дизайнер на общ формат (CFD ) позволява на потребителите бързо да проектират или сглобят модел на данни от други модели на данни и след това автоматично да генерират процеси на зареждане и извличане на данни за този модел. Потребителите могат, например, да използват Common Format Designer, за да създават оперативни хранилища за данни, маркери или основни данни в каноничен формат чрез комбиниране на различни източници. Тази функция може да се използва и за проектиране на модел на хранилище за данни (например схема на звезда или снежинка, 3NF);

Публикуване и абонамент за промяна на променени данни (CDC ) проследява промените в източниците на данни и намалява количеството обработени данни, като избира (за обработка) само променени данни;

Функция за публикуване и абонамент за съобщения Позволява използването на софтуер за ориентиран към съобщения среден софтуер (MOM) за реализиране на асинхронна интегрирана архитектура, управлявана от събития.

Oracle Data Integrator е лека, усъвършенствана платформа за интеграция без атавизъм. Всички компоненти могат да работят независимо на всяка съвместима с Java система.

Със своята архитектура без атавизъм, Oracle Data Integrator се инсталира за минути на всяка платформа.