Data Warehouse,OLAP,ETL,Data Mart Nedir?

Data Warehouse (Veri Ambarı) Nedir?

Veri ambarı, veriler üzerinde analiz amaçlı sorgulamalar yapmak için özelleştirilmiş bir veritabanıdır. En temel amacı, bir şirkete ait güncel olmayan verileri saklamak ve bu veriler üzerinde kolay,hızlı analizler yapılmasını sağlayarak iş ihtiyaçlarını tespit etmeye ve şirket fonksiyonlarını yenilemeye,geliştirmeye yardımcı olmaktır. Şirket için ihtiyaç olan iş zekasına kolaylık sağlamaktır.

İlişkisel veritabanları, işlemler ve olaylar ile ilgili verileri saklar ve sürekli bir veri giriş çıkışı içerisindedir. En güncel veriyi içerisinde barındırırlar. Veri ambarları ise bu veritabanlarındaki verilerle ve diğer dış kaynaklardan alınan(xls,txt,csv vs) verilerin derlenip arşivlenmesi ile oluşturulan, dönemsel analizlerin yapılmasına olanak sağlayan yapılardır.

Veri ambarları şirketlerdeki iş yükü ile analiz yükünü ayırır. Farklı sunucularda saklanan veri ambarlarındaki derlenmiş veriler üzerinde analiz yapılırken, şirketin ilişkisel veritabanları güncel veriyi saklamaya ve sorgulama ihtiyacını karşılamaya devam eder.

Veri ambarları, veri saklama işlevinin dışında veri toplama-taşıma-dönüştürme(ETL), veri madenciliği, raporlama gibi özelliği sayesinde ham verilerin kullanışlı bilgilere dönüştürülmesine olana tanır.

Veri Ambarı Özellikleri

• Konu Yönetimlilik(Subject Oriented)

Veri ambarları tek bir iş konusu için oluşturulurlar. Örnek olarak, müşteriler, siparişler,ürünler vs. olabilir. Belirlenen konular dışındaki veriler veri ambarına alınmazlar. Tek bir konuya odaklı homojen bir veri kümesi oluşmuş olur.

• Bütünleşmiş(Integrated)

Tek bir iş konusu hakkında birleşen veriler, kendi aralarında bütünleşik olmak zorundadır. Veri tipleri, isimlendirme gibi konularda tüm veriler ortak bir formaya uymak zorundadır.

• Zaman-Değişimlilik(Time Variant)

Zaman bilgisi değiştikçe veri ambarının odak noktası da değişir. Veri ambarı, temel veri kaynaklarının belli dönemlerdeki kopyasıdır. Veri ambarı belirli bir döneme ait ihtiyaçlara cevap verir.

• Kalıcılık(Non-Volatility)

Veri ambarı bir döneme ait analizler taşıdığından veriler kalıcıdır. Güncellenemez ve silinemezler.

OLAP ve OLTP

OLAP(On-Line Analytical Processing) : Veriler üzerinde çok boyutlu analizler yapılmasına imkan sağlayan bir yaklaşımdır. OLAP veri ambarlarına ait sorgulama ve oluşturma işlemlerini de kapsar. Çok boyutlu tasarlanmış veri ambarında, örnek: siparişler ile ilgili bilgilern yer aldığı tabloda, “zaman” boyutunun elemanlarına denk gelen gün,hafta,ay,yıl gibi sütunlar bulunabilir ve bu da OLAP’ın boyut modellemesine olanak sağlar.

Dip Not: Veri ambarı ve OLAP terimlerinin birbirleri yerine kullanılması yanlış bir yaklaşımdır. Veri ambarı özelleştirilmiş bir veritabanını bilirtirken, OLAP eldeki veriler üzerinde çok boyutlu sorgular yapmayı kolaylaştıran bir analiz yaklaşımıdır.

OLTP(On-Line Transaction Processing): Operasyonel veritabanlarındaki işlemleri kapsar. Bu veritabanları “transaction” temelli sistemlerdeki veriler anlıktır ve sürekli değişirler. Normalize bir biçimde tasarlanan bu veritabanları, hızlı sorgulama işlemlerine cevap verirler. Tablolar arası ilişkiler sayesinde veri tekrarı bulundurmazlar.

DATA MART

Data Mart’lar veri ambarlarının alt kümeleridir. Veri ambarları veriler üzerinde genel bir bakış sağlarken, data mart’lar sadece belirli bir kısma bakış sağlarlar.  Data Mart’lar belirli birimlerin ihtiyacı duyduğu verilere bağlı olarak analiz yapmaya imkan sağlarlar ve veri ambarlarındaki tüm karmaşıklık ile uğraşmadan ilgili data mart’ları sayesinde daha kolay analiz yaparlar.

ETL SÜRECI

ETL(Extract-Transform-Load “Çıkart- Dönüştür- Yükle”): Kullanılacak verinin dış kaynaklardan çıkarılması, verinin iş süreçlerine göre temizlenmesi,birleştirilmesi, dönüştürülmesi ve (veritabanı veya veri ambarı) yüklenmesi sürecidir. Büyük boyutlu veriler operasyonel sistemlerden alınıp veri ambarı veya data mart’lara yüklenirken ETL sürecine sokulurlar. Asıl amaç iş zekasında kullanılacak verinin en etkin kullanılacak hale getirilmesidir.