Resume Data Warehouse Pertemuan 11

Data Transformation Service

Selain berfungsi untuk melakukan import, export dan transport data yang beragam antara satu atau lebih sumber data, seperti misalnya SQL Server, Microsoft Excel atau Microsoft Access, DTS juga menyediakan hubungan berupa ODBC (Open Database Connectivity) data source yang disupport oleh OLE DB Provider for ODBC dan service seperti logging package execution details, controlling transactions dan penanganan variable global.
Berikut Tool-tool yang tersedia untuk menciptakan dan mengeksekusi DTS packages:

• Import/Export Wizard untuk membangun DTS packages sederhana dan mensupport perpindahan data dan transformasi sederhana.
• DTS Designer mengimplementasikan DTS object model graphically yang memungkinkan user untuk menciptakan DTS packages dengan fungsi luas.
• DTSRun merupakan command prompt utility yang digunakan untuk mengeksekusi DTS packages yang ada.
• DTSRunUI merupakan grafik interface untuk DTSRun, yang juga mengijinkan pemakaian variable global dan command lines.
• SQLAgent, bukan merupakan aplikasi DTS; meskipun demikian dapat juga digunakan oleh DTS untuk menjadwalkan pengeksekusian dari package.

Sumber: http://andrisproject.blogspot.com/2011/04/package.html

Resume Data Warehouse Pertemuan 10

Data Quality adalah level data yang menyatakan sesuai dengan kebutuhan bisnis
Characteristic :

• Accuracy
• Accesbility
• Completeness
• Consistency
• Integrity
• Timeliness
• Critical

Keuntungan : meningkatkan value, validasi data, menngkatkan produktivitas
Challenge : Sumber data, validasi data, biaya besar

Data Quality Tools
Data auditing : meningkatkan akurasi dan kebenaran data
Data Cleansing : standarisasi dan verifikasi data
Fitur : Data parsing, data standarization, Correction, Transaformation, Householding, Migration

Data Quality Intiative
Data Stewardship
Mengatur data quality
Melihat dan mengawasi data quality

Resume Data Warehouse Pertemuan 8

Proses ETL (Extraction, Transformation, Loading) merupakan proses yang harus dilalui dalam pembentukan data warehouse (Kimball, 2004). Berikut adalah penjelasan dari tiap proses.

Ekstraksi Data (Extract)

Ekstraksi data adalah proses dimana data diambil atau diekstrak dari berbagai sistem operasional, baik menggunakan query, atau aplikasi ETL. Terdapat beberapa fungsi ekstraksi data, yaitu :

1. Ekstraksi data secara otomatis dari aplikasi sumber.
2. Penyaringan atau seleksi data hasil ekstraksi.
3. Pengiriman data dari berbagai platform aplikasi ke sumber data.
4. Perubahan format layout data dari format aslinya.
5. Penyimpanan dalam file sementara untuk penggabungan dengan hasil ekstraksi dari sumber lain.

Transformasi Data (Transformation)

Transformasi adalah proses dimana data mentah (raw data) hasil ekstraksi disaring dan diubah sesuai dengan kaidah bisnis yang berlaku. Langkah-langkah dalam transformasi data adalah sebagai berikut :

1. Memetakan data input dari skema data aslinya ke skema data warehouse.
2. Melakukan konversi tipe data atau format data.
3. Pembersihan serta pembuangan duplikasi dan kesalahan data.
4. Penghitungan nilai-nilai derivat atau mula-mula.
5. Penghitungan nilai-nilai agregat atau rangkuman.
6. Pemerikasaan integritas referensi data.
7. Pengisian nilai-nilai kosong dengan nilai default.
8. Penggabungan data.

Pengisian Data (Loading)

Proses terakhir yang perlu dilakukan adalah proses pemuatan data yang didapatkan dari hasil transformasi ke dalam data warehouse. Cara untuk memuat data adalah dengan menjalankan SQL script secara periodik.

Resume Data Warehouse Pertemuan 6

Dimensionality Modeling

Menurut Connoly (2002, p1079), Dimensionality Modeling adalah teknik perancangan  logikal  yang  bertujuan  untuk  menyajikan  data  dalam  bentuk  yang standar, mudah dipahami (intuitive), sehingga memungkinkan untuk akses dengan kinerja yang tinggi. Dimensionality Modeling menggunakan konsep dari Entity Relationship  (ER) dengan beberapa batasan-batasan penting. Setiap  Dimensional Model terdiri dari  satu buah tabel yang memiliki banyak primary key (composite primary key), yang disebut tabel fakta (fact table), dan satu set tabel-tabel yang lebih kecil, yang disebut tabel dimensi (dimensional table). Setiap tabel dimensi memiliki satu buah (non-composite) primary key yang berhubungan dengan salah satu primary key di tabel fakta. Karakteristik ini disebut skema bintang (star schema) atau star join, karena bentuknya yang menyerupai bintang.

Skema Bintang (Star Schema)

Skema bintang (star schema) adalah struktur logikal yang memiliki sebuah tabel fakta yang berisi data faktual di tengah dan dikelilingi oleh tabel-tabel dimensi yang berisi data referensi (yang dapat didenormalisasi). Keuntungan skema bintang adalah dapat meningkatkan kinerja karena waktu query yang lebih cepat. Hal ini disebabkan oleh data yang sudah didenormalisasi.

Skema Snowflake (Snowflake Schema)

Skema snowflake (snowflake schema) merupakan varian dari skema bintang dimana tabel-tabel dimensi tidak mencakup data yang didenormalisasi. Pada skema snowflake, terdapat tabel dimensi yang tidak terhubung secara langsung dengan tabel fakta, melainkan terhubung dengan tabel dimensi yang lainnya.

Skema Starflake (Starflake Schema)

Skema Starflake (starflake schema) adalah struktur yang merupakan gabungan dari   skema   bintang   dan   skema   snowflake.   Beberapa   dimensi   mungkin   saja menerapkan kedua model ini untuk memenuhi kebutuhan query yang berbeda-beda.

Sumber:

http://library.binus.ac.id/eColls/eThesisdoc/Bab2HTML/2007200109IFBab2/page22.html

http://ziziramzi7.blogspot.com/2013/10/materi-presentasi.html

Tugas Mata Kuliah Data Warehouse 9 Oktober 2014

Architecture di bawah ini menggunakan Star Schema:

Berikut tabel-tabelnya:

sumber:
http://totosuharto.wordpress.com/2008/08/25/perancangan-data-warehouse-3/

Tugas Mata Kuliah Data Warehouse 2 Oktober 2014

Arsitektur Data Warehouse penjualan pada PT. Semen Padang:



 Arsitektur data warehouse penjualan di PT. Semen Padang dimulai dengan mengumpulkan data yang berkaitan dengan penjualan yang bersumber dari berbagai database seperti database penjualan, promosi, customer, dan produksi.Setelah data dari berbagai database dikumpulkan, terhadap data tersebut dilakukan ekstraksi sesuai dengan kebutuhan data warehouse yang akan dibangun. Dari data yang sudah diekstraksi dilakukan proses transformasi data. Pada proses transformasi dilakukan proses seperti merapikan data yang tidak konsisten seperti pemberian kode customer, memperbaiki penamaan pada field, dan lain-lain.

Proses selanjutnya adalah data loading ke dalam gudang data yang sudah dibangun dengan menggunakan script yang ada di SQL. Sehingga terbentuklah sebuah data warehouse yang siap digunakan untuk menghasilkan informasi.Dengan teknologi OLAP (OnLine Analytical Processing), dihasilkan beberapa view yang disesuaikan dengan kebutuhan user.

Dari studi kasus diatas schema data warehouse menggunakan model di bawah ini:


skema diatas menggunakan skema starflake struktur yang merupakan gabungan dari skema bintang dan skema snowflake. Beberapa dimensi mungkin saja menerapkan kedua model ini untuk memenuhi kebutuhan query yang berbeda-beda.