SSIS eğitimi, SQL Server Entegrasyon Hizmetlerinin temel ve gelişmiş kavramlarını sağlar. SSIS eğitimimiz yeni başlayanlar ve profesyoneller için tasarlanmıştır.
SQL Server Entegrasyon Hizmeti veri çıkarma, dönüştürme ve veri yükleme için kullanılan hızlı ve esnek bir veri ambarı aracıdır. Verilerin bir veritabanından SQL Server, Oracle, Excel dosyası vb. başka bir veritabanına yüklenmesini kolaylaştırır.
Bu eğitimde aşağıdaki konuları tartışacağız:
- SSIS nedir?
- Veri Entegrasyonu Nedir?
- Neden SSIS
- SSIS Nasıl Çalışır?
- SQL Server Entegrasyon Hizmeti İçin Gereksinimler
- SSIS Paketi Nedir?
- SSIS Görevleri
- Veri Akışı Görevi Örneği
- SQL Görevini Yürütme Örneği
SSIS nedir?
- SSIS, SQL Server Entegrasyon Hizmetleri anlamına gelir.
- Çok çeşitli entegrasyon görevlerini gerçekleştirmek için kullanılan Microsoft SQL Server veritabanı yazılımında bulunan bir bileşendir.
- Verilerin çıkarılması, verilerin başka bir veritabanına yüklenmesi, verilerin temizlenmesi, toplanması, birleştirilmesi vb. dönüşümler için kullanılan bir veri ambarı aracıdır.
- SSIS aracı ayrıca e-posta mesajları gönderme, ftp işlemleri, veri kaynakları gibi grafiksel araçları ve pencere sihirbazlarının iş akışı işlevlerini de içerir.
- SSIS, çok çeşitli dönüşüm ve entegrasyon görevlerini gerçekleştirmek için kullanılır. Veri geçişinde genel olarak SSIS aracı kullanılır.
SSIS esas olarak iki işlevi gerçekleştirmek için kullanılan bir araçtır:
SSIS, birden fazla kaynaktan gelen verileri birleştirerek veri entegrasyonunu gerçekleştirir ve kullanıcılara birleştirilmiş veriler sunar.
İş akışı birkaç şeyi gerçekleştirmek için kullanılabilir. Bazen, zaman dilimine veya pakete iletilen parametreye veya veritabanından sorgulanan verilere bağlı olarak bazı belirli adımları veya belirli bir yolu yürütmemiz gerekir. SQL Server veritabanlarının bakımını otomatikleştirmek için kullanılabilir ve çok boyutlu analitik verilerin güncellenmesini sağlar.
Veri Entegrasyonu Nedir?
Veri Entegrasyonu, birden fazla kaynaktan gelen verileri entegre etmek için takip ettiğiniz bir süreçtir. Veriler heterojen veriler veya homojen veriler olabilir. Veriler yapılandırılmış, yarı yapılandırılmış veya yapılandırılmamış olabilir. Veri Entegrasyonunda, farklı farklı veri kaynaklarından gelen veriler, bazı anlamlı veriler oluşturmak üzere birleştirilir.
Veri entegrasyonunu sağlamak için bazı yöntemler kullanılır:
Veri Entegrasyonunun Avantajları:
Veri karmaşıklığını azaltır, bu da verilerin herhangi bir sisteme iletilebileceği anlamına gelir. Veri Entegrasyonu karmaşıklığı korur, bağlantıları düzenler ve verilerin herhangi bir sisteme iletilmesini kolaylaştırır.
Veri bütünlüğü, veri entegrasyonunda önemli bir rol oynar. Verilerin temizlenmesi ve doğrulanmasıyla ilgilenir. Herkes yüksek kaliteli ve sağlam veriler ister, bu nedenle bunu başarmak için veri entegrasyonu konsepti kullanılır. Veri entegrasyonu hataların, tutarsızlığın ve tekrarların ortadan kaldırılmasına yardımcı olur.
Erişilebilirlik veri işbirliği kapsamına girer. Erişilebilirlik, verilerin kolayca dönüştürülebilmesi ve insanların verileri kolayca projelere entegre edebilmesi, sonuçlarını paylaşabilmesi ve verileri güncel tutabilmesi anlamına gelir.
Aynı zamanda daha akıllı kararlar vermenizi sağlar. Entegre veri, bilgiyi daha kolay anlayabilmemiz için bir şirket içindeki iletim sürecini ifade eder. Entegre bir veri çok daha kolay ve bilgilendiricidir.
Neden SSIS?
SSIS aşağıdaki nedenlerden dolayı kullanılır:
SSIS, birleşik bir görünümde tek bir yapı oluşturmak amacıyla birden fazla veri kaynağından gelen verileri birleştirmek için kullanılır. Temel olarak verilerin toplanmasından, birden fazla veri kaynağından verilerin çıkarılmasından ve tek bir veri kaynağında birleştirilmesinden sorumludur.
SSSIS, excel'den SQL Server veritabanına büyük miktarda veri yükleme yeteneğine sahip bir platformdur.
SSSIS aracı Microsoft'un diğer ürünleriyle sıkı entegrasyon sağlar.
SSSIS aracı diğer araçların çoğundan daha ucuzdur. Diğer temel ürünlerle, bunların yönetilebilirliğiyle, iş zekasıyla vb. direnebilir.
SSSIS, bir veri akışı içindeki karmaşık hatayı işlemenize olanak tanır. Hatanın ciddiyetine göre veri akışını başlatabilir ve durdurabilirsiniz. Bazı hatalar oluştuğunda yöneticiye bir e-posta bile gönderebilirsiniz. Bir hata çözüldüğünde iş akışı arasındaki yolu seçebilirsiniz.
SSIS nasıl çalışır?
SSIS'in Veri Entegrasyonu ve iş akışı olmak üzere iki işleve yönelik bir platform olduğunu biliyoruz. Hem Veri dönüşümleri hem de iş akışı oluşturma görevleri SSIS paketi kullanılarak gerçekleştirilir. SSIS paketi üç bileşenden oluşur:
Operasyonel veriler
Operasyonel veriler, veriler üzerinde ek işlemler gerçekleştirmek için birden fazla veri kaynağından gelen verileri entegre etmek için kullanılan bir veritabanıdır. Verilerin depolama, raporlama veya arşivleme için veri ambarına gönderilmeden önce mevcut işlem için barındırıldığı yerdir.
Java'da kuyruk
ETL
- ETL, SSIS aracındaki en önemli süreçtir. ETL, verileri ayıklamak, dönüştürmek ve bir veri ambarına yüklemek için kullanılır.
- ETL, verileri birden fazla veri kaynağından çıkarmak, verileri yararlı verilere dönüştürmek ve ardından verileri bir veri ambarında depolamaktan sorumlu bir süreçtir. Veriler herhangi bir formattaki xml dosyası, düz dosya veya herhangi bir veritabanı dosyası olabilir.
- Ayrıca veri ambarında saklanan verilerin ilgili, doğru, yüksek kaliteli ve iş kullanıcıları için yararlı olmasını sağlar.
- Veri ambarının etkin ve verimli kullanılabilmesi için kolaylıkla ulaşılabilir.
- Ayrıca, birden fazla veri kaynağından yapılandırılmış ve yapılandırılmamış verileri alarak kuruluşun veriye dayalı kararlar almasına da yardımcı olur.
ETL üç kelimeden oluşan bir kavramdır ancak dört aşamaya ayrılmıştır:
Esir almak: Yakalama aşaması aynı zamanda Ekstrakt aşaması olarak da bilinir. Bu aşamada kaynak verileri veya meta verileri seçer ve veriler xml dosyası, düz dosya veya herhangi bir veritabanı dosyası gibi herhangi bir formatta olabilir.
Fırçalayın: Bu aşamada orijinal veriler kontrol edilir. Verilerin herhangi bir hata içerip içermediğini kontrol eder. Bazı yapay zeka tekniklerini kullanarak verilerdeki hataları veya tutarsızlıkları kontrol eder. Kısaca ürünün kalitesinin karşılanıp karşılanmadığını doğrular.
Dönüşüm: ETL'nin üçüncü aşamasıdır. Dönüşüm, orijinal formatın istediğiniz gerekli formata dönüştürüldüğü işlemdir. Dönüşüm, verilerin kullanıcı gereksinimlerine göre modellenmesi veya değiştirilmesidir. Değişiklikler sütun veya satır sayısında değişiklik olabilir.
Yükle ve indeksle: Dördüncü aşama Yük ve dizindir. Verileri yükler ve işlenen satır sayısını doğrular. Verilerin yüklenmesi tamamlandıktan sonra indeksleme kullanılır. Dizin oluşturma, veri ambarına yüklenen satır sayısını izlemenize yardımcı olur. İndeksleme ayrıca verilerin doğru formatta olup olmadığına bakılmaksızın tanımlanmasına da yardımcı olur.
Veri deposu
Veri ambarı, birden fazla veri kaynağından gelen verilerin birleştirilmesiyle formüle edilen tek, eksiksiz ve tutarlı bir veri deposudur.
Veritabanı ve Veri ambarı arasındaki fark
Cevap evet olabileceği gibi hayır da olabilir. Hem veritabanı hem de veri ambarı büyük bir veri birimine ve benzer fiziksel gösterime sahiptir ancak Veri ambarındaki karmaşık sorguların yanıt süresi veritabanından daha hızlıdır.
SQL Server Entegrasyon Hizmetleri için Gereksinimler
SQL Server Entegrasyon Hizmetlerini kurmak için gerekenler şunlardır:
- SQL Server'ı yükleyin
- SQL Server Veri Araçlarını yükleyin
SQL Server Veri araçlarını yüklemek için aşağıdaki adımları izleyin:
Aşama 1: Linki tıkla https://docs.microsoft.com/en-us/sql/ssdt/precious-releases-of-sql-server-data-tools-ssdt-and-ssdt-bi?view=sql-server-2017 SQL Server veri araçlarını indirmek için.
Adım 2: Yukarıdaki bağlantıya tıkladığınızda aşağıdaki ekran görüntülenir:
Yukarıdaki ekranda yüklemek istediğiniz SSDT sürümünü seçin.
Aşama 3: İndirme işlemi tamamlandıktan sonra indirilen dosyayı çalıştırın. İndirilen dosyayı çalıştırdığınızda aşağıdaki ekran görüntülenir:
Adım 4: İleri düğmesine tıklayın.
Adım 5: Visual studio 2017'ye yüklemek istediğiniz görsel stüdyo örneğini ve araçları seçin.
Adım 6: Tıkla Düzenlemek düğme.
SSIS Paketi Nedir?
Paket, SSIS'de kodladığınız temel bir bloktur. Burada kod, herhangi bir programlama dilinde kodladığınız anlamına gelmez; yaptığınız gelişme anlamına gelir. Geliştirme SSIS paketinde yapılır. SSIS esas olarak ETL işlemi için kullanılır ve ETL işlemi SSIS paketinin içinde gerçekleştirilir.
SSIS paketi üç bölümden oluşur:
SSIS paketinin bazı bağlantıları olacaktır ve bu bağlantılar çeşitli veri kaynaklarına bağlanmak için kullanılır.
SSIS paketi iki öğeden oluşur; kontrol akışı öğeleri ve veri akışı öğeleri. Kontrol akışı öğeleri iş akışlarını yönetir. İş akışı, bazı görevleri adım adım gerçekleştirdiğimiz anlamına gelir, dolayısıyla sıra kontrol akışı yoluyla yapılır.
Veri akışı öğeleri dönüşümleri gerçekleştirir.
SSIS Görevleri
SSIS paketinde görevleri ekleyebiliriz. Görev bir iş birimidir ve farklı türdeki işleri gerçekleştirmek için farklı türde görevlerimiz olacaktır. Çeşitli görev türleri vardır ancak SSIS'de kullanılan en yaygın görevleri tartışacağız:
İlişkisel bir veritabanında SQL ifadelerini yürütmek için kullanılır.
Esas olarak bir veya daha fazla veri kaynağından veri okumak, veriyi dönüştürmek için kullanılır ve ayrıca verileri bir veya daha fazla hedefe yükleyebilir.
Bir SSAS küpünün veya Tablolu modelin nesnelerini işlemek için kullanılır.
Bu görev aynı proje içindeki diğer paketleri çağırmak için kullanılır. Değişken değerlerini çağrılan pakete bile iletebilirsiniz.
Bir uygulamayı veya toplu komut dosyalarını SQL Server Entegrasyon Hizmeti olarak çalıştırmanıza olanak tanır. Microsoft Excel, Microsoft Word vb. gibi standart uygulamaları açmak için kullanılabilir. Ayrıca sıkıştırılmış dosyayı açmak için de kullanılır.
Dosyaları taşımak, dosyaları silmek, dosyaları yeniden adlandırmak, dizini değiştirmek vb. gibi dosya sistemindeki manipülasyonları gerçekleştirmek için kullanılabilir.
IFTP görevleri dosya ve klasörler üzerindeki işlemleri gerçekleştirmek için kullanılır. Örneğin, dosyayı FTP sunucusundan yerel dizine göndermek veya almak istiyorsanız SSIS FTP görevi kullanılır.
Bu görev, gerçekleştirmek istediğiniz .Net kodunu yazmanıza olanak tanır.
Bu görev bir e-posta göndermek için kullanılır. Esas olarak, görevin çalışır durumda olup olmadığı veya bir hatanın meydana gelip gelmediği konusunda kullanıcılara görevin durumu hakkında bilgi vermek istediğinizde kullanılır.
Veri entegrasyon hizmetinin bazı çalışma örneklerini görelim.
Veri Akışı Görevi Örneği
Aşama 1: Öncelikle Microsoft Excel'de bir excel dosyası oluşturuyoruz. Öğrenci veritabanını Microsoft Excel'de oluşturduğumu ve öğrenci tablosundaki alanların öğrenci_kimliği, öğrenci_adı, notlar ve cinsiyet olduğunu varsayalım.
Adım 2: Görsel stüdyoyu açın (SQL Server Veri Araçları).
Aşama 3: Dosya seçeneğine tıklayın ve ardından Yeni->Proje'ye gidin.
Adım 4: Projeye tıkladığınızda aşağıdaki gibi bir ekran görüntülenir:
Yukarıdaki ekranda panelin en solunda yer alan Entegrasyon Hizmetleri seçeneğine tıklayın ve ardından Entegrasyon Hizmetleri Projesine tıklayın.
Adım 5: Tıkladıktan sonra Entegrasyon Hizmetleri Projesi seçeneğini seçtiğinizde aşağıdaki gibi ekran görüntülenir:
Yukarıdaki ekran Kontrol akışı, Veri akışı, Parametreler, Olay İşleyici ve Paket Gezgini gibi beş sekmeden oluşur. Kontrol akışını ve Veri akışını daha önce tartışmıştık; hem kontrol akışı hem de veri akışı SSIS paketinin içinde mevcuttur.
adım 6: Verileri içe aktarmak için öncelikle SQL Server veritabanında tabloyu oluşturacağımız veritabanını oluşturmamız gerekiyor. Öğrenci verilerinin Excel dosyasında bulunduğunu bildiğimizden, verileri SQL Server veritabanına aktarmak istiyoruz. Bunu başarmak için öncelikle SQL Server'da tabloyu oluşturmamız gerekiyor. SQL Server Yönetim stüdyosunu açın.
Adım 7: Oluştur öğrenci veri tabanı. Veritabanına sağ tıklayın ve ardından Yeni Veritabanı seçenek.
Adım 8: Aşağıdaki ekran görüntüsüne veritabanı adını girin:
tam formda
Veritabanı adı olarak ÖğrenciWarehouse'u verdim.
Adım 9: Tıkla TAMAM düğme.
Adım 10: Şimdi tabloyu bir şekilde oluşturuyoruz. ÖğrenciDepo veri tabanı. Tablolara sağ tıklayın ve ardından Yeni Tablo'ya tıklayın.
Adım 11: Şimdi öğrenci_kimliği, öğrenci_adı, notlar ve cinsiyet gibi alanları bir tabloya ekliyoruz. Öğrenci_id'sini her satırı benzersiz şekilde tanımlayan birincil anahtar olarak ayarladık.
Yukarıdaki ekran bir tabloya dört alan eklediğimizi göstermektedir. Tablodaki tüm alanları ekledikten sonra kullanışlı bir ad vererek tabloyu kaydediyoruz. Öğrenciyi tablo adı olarak sağladığımı varsayalım.
Adım 1/2: Görsel stüdyoya geri dönün. Kontrol akışı, Veri Akışı Görevini içerir; Veri Akışı Görevini ana pencereye sürükleyip bırakın.
Adım 13: Veri Akışı Görevine çift tıkladığımızda kontrol otomatik olarak Kontrol Akışı'ndan Veri Akışı'na geçer, yani Kontrol Akışı Veri Akışının bir kabıdır diyebiliriz.
Adım 14: Artık Data Flow’da dönüşümleri gerçekleştirebiliriz. Verileri daha önce oluşturduğumuz Excel dosyasından çıkarmak istiyoruz, bu nedenle Excel kaynağını panelin en solunda görünen diğer kaynaklardan sürükleyip bırakın.
Yukarıdaki ekrandan Excel Kaynağı içerisinde kırmızı çarpı işaretinin çıktığını görüyoruz, bu bileşenin Excel Kaynağı ile yapılandırıldığı anlamına geliyor.
Adım 15: Bileşeni yapılandırmak için Excel kaynağına sağ tıklayın ve aşağıdaki ekran görüntüsünde gösterildiği gibi Düzenle seçeneğine tıklayın:
Adım 16: Aşağıdaki ekran görüntüsünde gösterilen ayrıntıları doldurun:
Adım 17: Tüm detayları girdikten sonra aşağıdaki gibi bir ekran karşımıza çıkıyor:
Adım 18: Excel Sosu'na tıklayın.
Yukarıdaki ekranda kırmızı ve mavi ok olmak üzere iki ok gösterilmektedir. Mavi ok, Excel dosyasından aldığımız gerçek verileri, kırmızı ok ise sahip olduğumuz hataları belirtir. Artık dönüşümleri gerçekleştirmemiz gerekiyor ve dönüşümleri gerçekleştirmeden önce veritabanını yüklememiz gerekiyor.
Adım 19: Veritabanını yüklemek için Diğer Hedefler'e ve ardından Hedef'e tıklayın.
Adım 20: Hedefi ekledikten sonra kaynağı Hedefe bağlayın.
Adım 21: Yukarıdaki adımda ADO NET Destination'da kırmızı çarpı işaretini fark ettik, bu da onun bir bileşenle yapılandırılmadığı anlamına gelir. ADO NET Hedefine sağ tıklayın ve ardından aşağıdaki ekran görüntüsünde gösterildiği gibi Düzenle seçeneğine tıklayın:
Adım 22: Yapılandırma yöneticisini belirtmeniz gerekir.
Adım 23: Tıkla Yeni Bağlantı yöneticisini eklemek için düğmesine basın. Üzerine tıkladığınızda Yeni düğmesine bastığınızda, aşağıda gösterilen ekran görüntülenir:
Adım 24: Sunucu adını ekleyin ve SQL Server'dan veritabanı adını seçin.
Adım 25: Tamam düğmesine tıklayın.
Adım 26: Verileri yüklemek istediğiniz tablonun adını ekleyin.
Adım 27: Aşağıdaki ekranda giriş kaynağının alanını hedef kaynağın alanıyla eşleştirin.
yerel tarih java
Adım 28: Bir eşleme ekledikten sonra kaynak, aşağıdaki ekran görüntüsünde gösterildiği gibi Hedefe bağlanır:
Adım 29: Tıkla Başlangıç Entegrasyon Hizmetleri Projesini çalıştırmak için düğmesine basın. Projeyi çalıştırdığınızda veriler hedefe yüklenir; SQL Server .
SQL Görevini Yürütme Örneği
- Önceki örneğin 2. adımından 5. adımına kadar olan adımları izleyin.
- Sürükleyip bırakın SQL Görevini Yürüt ana pencerenin en sol panelinde görünür.
Yukarıdaki ekranda Execute SQL Task kısmında kırmızı çarpı işaretinin belirdiğini görüyoruz. Bağlantı Yöneticisi ile yapılandırılmamış SQL Görevini Yürüt . Yapılandırmak için Bağlantı Yöneticisini eklememiz gerekiyor.
- Bağlantı Yöneticisini eklemek için Bağlantı Yöneticisine sağ tıklayın ve ardından aşağıdaki ekran görüntüsünde gösterildiği gibi Yeni Bağlantı Yöneticisine tıklayın:
- Şunu seçin: OLEDB Bağlantı Yöneticisi türü olarak seçin ve ardından Eklemek aşağıdaki ekran görüntüsünde gösterildiği gibi düğme:
- Üzerine tıkladıktan sonra Eklemek düğmesine bastığınızda, aşağıdaki ekran görüntüsünde gösterilen ekran görüntülenir:
Yukarıdaki ekranda veri bağlantısının gerçekleştiğini görüyoruz. ÖğrenciDepo Veritabanı önceki adımda oluşturduğumuz gibi zaten mevcut. Tıkla TAMAM düğme.
- Tamam butonuna tıkladığınızda aşağıdaki gibi bir ekran görüntülenir:
Yukarıdaki ekranda görevinizin adı, açıklaması, SQL ifadesi (tablo üzerinde gerçekleştirmeniz gereken SQL görevi) gibi detayları girmeniz gerekmektedir.
- Yukarıdaki ekran görüntüsüne aşağıdaki ayrıntıları girdim:
Yukarıdaki durumda SQLStatement'ta insert komutunu sağladım.
- Tıkla TAMAM düğme.
- Bileşeni SQL Görevini Yürüt ile yapılandırdığınızda, aşağıdaki ekran görüntüsünde gösterildiği gibi kırmızı çarpı işareti kaybolur:
- Projeyi tıklayarak çalıştırın Başlangıç .
- Üzerine tıkladığınızda Başlangıç , aşağıdaki gibi ekran görüntülenir:
Yukarıdaki ekranda onay işareti SQL Görevinizin başarıyla tamamlandığını gösterir. Önceki adımlarda eklediğimiz insert ifadesi çalıştırıldı ve veriler tabloya eklendi. yani öğrenci1.
- Bu görevin çıktısı aşağıda gösterilmiştir
Önkoşul
SSIS'yi öğrenmeden önce temel SQL Server bilgisine sahip olmanız gerekir.
Kitle
SSIS eğitimimiz yeni başlayanlara ve profesyonellere yardımcı olmak için tasarlanmıştır.
Sorun
Bu SSIS eğitiminde herhangi bir sorun bulamayacağınızı garanti ediyoruz. Ancak herhangi bir hata veya hata varsa lütfen hatayı iletişim formuna gönderin.