SSIS-tutorial biedt basis- en geavanceerde concepten van SQL Server Integration Services. Onze SSIS-tutorial is bedoeld voor beginners en professionals.
SQL Server-integratieservice is een snelle en flexibele tool voor datawarehousing die wordt gebruikt voor het extraheren, transformeren en laden van gegevens. Het maakt het gemakkelijk om de gegevens van de ene database naar een andere database te laden, zoals SQL Server, Oracle, Excel-bestand, enz.
In deze tutorial bespreken we de volgende onderwerpen:
- Wat is SSIS
- Wat is data-integratie
- Waarom SSIS
- Hoe SSIS werkt
- Vereisten voor SQL Server-integratieservice
- Wat is het SSIS-pakket
- SSIS-taken
- Voorbeeld van een gegevensstroomtaak
- Voorbeeld van het uitvoeren van een SQL-taak
Wat is SSIS?
- SSIS staat voor SQL Server Integration Services.
- Het is een onderdeel dat beschikbaar is in de Microsoft SQL Server-databasesoftware en wordt gebruikt om een breed scala aan integratietaken uit te voeren.
- Het is een tool voor datawarehousing die wordt gebruikt voor gegevensextractie, het laden van de gegevens in een andere database, transformaties zoals opschonen, aggregeren, samenvoegen van gegevens, enz.
- De SSIS-tool bevat ook de grafische hulpmiddelen en workflowfuncties van vensterwizards, zoals het verzenden van e-mailberichten, ftp-bewerkingen en gegevensbronnen.
- SSIS wordt gebruikt om een breed scala aan transformatie- en integratietaken uit te voeren. In zijn geheel wordt de SSIS-tool gebruikt bij datamigratie.
SSIS is een tool die voornamelijk wordt gebruikt om twee functionaliteiten uit te voeren:
SSIS voert data-integratie uit door de gegevens uit meerdere bronnen te combineren en uniforme gegevens aan de gebruikers te bieden.
Workflow kan worden gebruikt om verschillende dingen uit te voeren. Soms moeten we enkele specifieke stappen of een bepaald pad uitvoeren dat gebaseerd is op de tijdsperiode of op de parameter die aan het pakket is doorgegeven of op de gegevens die uit de database worden opgevraagd. Het kan worden gebruikt om het onderhoud van SQL Server-databases te automatiseren en zorgt voor de update van de multidimensionale analytische gegevens.
Wat is data-integratie?
Gegevensintegratie is een proces dat u volgt om de gegevens uit meerdere bronnen te integreren. De gegevens kunnen heterogene gegevens of homogene gegevens zijn. De gegevens kunnen gestructureerd, semi-gestructureerd of ongestructureerd zijn. Bij gegevensintegratie worden de gegevens uit verschillende ongelijksoortige gegevensbronnen geïntegreerd om betekenisvolle gegevens te vormen.
Er worden enkele methoden gebruikt om data-integratie te bereiken:
Voordelen van data-integratie:
Het vermindert de complexiteit van de gegevens, wat betekent dat de gegevens aan elk systeem kunnen worden geleverd. Data-integratie handhaaft de complexiteit, gestroomlijnde verbindingen en maakt het eenvoudig om de gegevens aan elk systeem te leveren.
Data-integriteit speelt een grote rol bij data-integratie. Het gaat over het opschonen en valideren van de gegevens. Iedereen wil hoogwaardige en robuuste data, dus om dit data-integratieconcept te bereiken wordt gebruik gemaakt van dit concept. Gegevensintegratie is nuttig bij het verwijderen van fouten, inconsistentie en duplicatie.
Toegankelijkheid valt onder datasamenwerking. Toegankelijkheid betekent dat de gegevens eenvoudig kunnen worden getransformeerd en dat mensen de gegevens eenvoudig in projecten kunnen integreren, hun resultaten kunnen delen en de gegevens up-to-date kunnen houden.
Het zorgt er ook voor dat u slimmere beslissingen kunt nemen. Geïntegreerde gegevens verwijzen naar het verzendproces binnen een bedrijf, zodat we de informatie gemakkelijker kunnen begrijpen. Geïntegreerde gegevens zijn veel eenvoudiger en informatiever.
Waarom SSIS?
SSIS wordt gebruikt vanwege de volgende redenen:
SSIS wordt gebruikt om de gegevens uit meerdere gegevensbronnen te combineren om één enkele structuur in een uniforme weergave te genereren. Kortom, het is verantwoordelijk voor het verzamelen van de gegevens, het extraheren van de gegevens uit meerdere gegevensbronnen en het samenvoegen tot één gegevensbron.
SSSIS is een platform dat de mogelijkheid heeft om een grote hoeveelheid gegevens van Excel naar een SQL Server-database te laden.
SSSIS-tool biedt nauwe integratie met andere producten van Microsoft.
SSSIS-tool is goedkoper dan de meeste andere tools. Het kan weerstand bieden aan andere basisproducten, hun beheersbaarheid, business intelligence, enz.
Met SSSIS kunt u de complexe fout binnen een gegevensstroom afhandelen. U kunt de gegevensstroom starten en stoppen op basis van de ernst van de fout. U kunt zelfs een e-mail naar de beheerder sturen als er een fout optreedt. Wanneer een fout is opgelost, kunt u het pad tussen de workflow kiezen.
Hoe SSIS werkt?
We weten dat SSIS een platform is voor twee functies, namelijk gegevensintegratie en workflow. Zowel de taken Gegevenstransformaties als het maken van werkstromen worden uitgevoerd met behulp van het SSIS-pakket. SSIS-pakket bestaat uit drie componenten:
Operationele gegevens
Operationele gegevens zijn een database die wordt gebruikt om de gegevens uit meerdere gegevensbronnen te integreren om aanvullende bewerkingen op de gegevens uit te voeren. Het is de plaats waar de gegevens worden opgeslagen voor de huidige werking voordat ze naar het datawarehouse worden verzonden voor opslag, rapportage of archivering.
tekenreeksmethoden java
ETL
- ETL is het belangrijkste proces in de SSIS-tool. ETL wordt gebruikt om de gegevens te extraheren, transformeren en in een datawarehouse te laden.
- ETL is een proces dat verantwoordelijk is voor het ophalen van de gegevens uit meerdere gegevensbronnen, het transformeren van de gegevens in bruikbare gegevens en het vervolgens opslaan van de gegevens in een datawarehouse. De gegevens kunnen elk formaat xml-bestand, plat bestand of elk databasebestand hebben.
- Het zorgt er ook voor dat de gegevens die in het datawarehouse zijn opgeslagen relevant, nauwkeurig, van hoge kwaliteit en nuttig zijn voor de zakelijke gebruikers.
- Het is eenvoudig toegankelijk, zodat het datawarehouse effectief en efficiënt kan worden gebruikt.
- Het helpt de organisatie ook om datagestuurde beslissingen te nemen door de gestructureerde en ongestructureerde gegevens uit meerdere gegevensbronnen op te halen.
Een ETL is een concept van drie woorden, maar is verdeeld in vier fasen:
Vastlegging: De capture-fase wordt ook wel de extractiefase genoemd. In deze fase worden de brongegevens of metagegevens gekozen, en de gegevens kunnen elk formaat hebben, zoals een xml-bestand, een plat bestand of een willekeurig databasebestand.
Schrobben: In deze fase worden de originele gegevens gecontroleerd. Het controleert de gegevens, of deze nu fouten bevatten of niet. Het controleert op fouten of inconsistentie van gegevens door gebruik te maken van enkele kunstmatige intelligentietechnieken. Kortom, het controleert of aan de kwaliteit van het product wordt voldaan of niet.
Transformeren: Het is de derde fase in ETL. Transformatie is het proces waarin het originele formaat wordt omgezet naar het gewenste formaat. Transformatie is het modelleren of wijzigen van de gegevens volgens de gebruikersvereisten. De wijzigingen kunnen een wijziging in het aantal kolommen of rijen zijn.
Laden en indexeren: De vierde fase is Load en index. Het laadt de gegevens en valideert het aantal verwerkte rijen. Zodra het laden van gegevens is voltooid, wordt indexering gebruikt. Door te indexeren kunt u het aantal rijen bijhouden dat in het datawarehouse is geladen. Indexering helpt ook om de gegevens te identificeren, of deze nu in het juiste formaat zijn of niet.
Datawarehouse
Datawarehouse is een enkele, complete en consistente gegevensopslag die is samengesteld door de gegevens uit meerdere gegevensbronnen te combineren.
Verschil tussen database en datawarehouse
Het antwoord kan zowel ja als nee zijn. Zowel de database als het datawarehouse hebben een grote gegevenseenheid en een vergelijkbare fysieke representatie, maar de responstijd van complexe vragen in het datawarehouse is sneller dan die van de database.
Vereisten voor SQL Server-integratieservices
Hieronder volgen de vereisten voor het installeren van de SQL Server Integration Services:
- Installeer de SQL-server
- Installeer de SQL Server-gegevenstools
Volg de onderstaande stappen om de SQL Server Data-hulpmiddelen te installeren:
Stap 1: Klik op de link https://docs.microsoft.com/en-us/sql/ssdt/previous-releases-of-sql-server-data-tools-ssdt-and-ssdt-bi?view=sql-server-2017 om de SQL Server-gegevenshulpmiddelen te downloaden.
Stap 2: Wanneer u op bovenstaande link klikt, verschijnt het onderstaande scherm:
Selecteer in het bovenstaande scherm de versie van SSDT die u wilt installeren.
Stap 3: Zodra het downloaden is voltooid, voert u het gedownloade bestand uit. Wanneer u het gedownloade bestand uitvoert, verschijnt het scherm dat hieronder wordt weergegeven:
Stap 4: Klik op de knop Volgende.
Stap 5: Selecteer het Visual Studio-exemplaar en de tools die u in Visual Studio 2017 wilt installeren.
Stap 6: Klik op de Installeren knop.
wat is maven
Wat is het SSIS-pakket?
Het pakket is een fundamenteel blok waarin u codeert in SSIS. Code betekent hier niet dat u in een bepaalde programmeertaal codeert; het betekent de ontwikkeling die je doet. De ontwikkeling gebeurt in het SSIS-pakket. SSIS wordt voornamelijk gebruikt voor het ETL-proces en het ETL-proces wordt uitgevoerd binnen het SSIS-pakket.
Het SSIS-pakket bestaat uit drie delen:
Het SSIS-pakket heeft enkele verbindingen en deze verbindingen worden gebruikt om verbinding te maken met verschillende gegevensbronnen.
Het SSIS-pakket bestaat uit twee elementen, namelijk besturingsstroomelementen en gegevensstroomelementen. Controlestroomelementen behandelen workflows. Workflow betekent dat we sommige taken in stappen uitvoeren, dus de volgorde verloopt via de controlestroom.
De gegevensstroomelementen voeren transformaties uit.
SSIS-taken
In het SSIS-pakket kunnen we de taken toevoegen. Een taak is een werkeenheid en we hebben verschillende soorten taken om verschillende soorten werk uit te voeren. Er zijn verschillende soorten taken, maar we zullen de meest voorkomende taken bespreken die in SSIS worden gebruikt:
Het wordt gebruikt om de SQL-instructies uit te voeren op een relationele database.
Het wordt voornamelijk gebruikt om de data uit één of meerdere databronnen te lezen, de data te transformeren en kan de data ook naar één of meerdere bestemmingen laden.
Het wordt gebruikt om objecten van een SSAS-kubus- of tabellair model te verwerken.
Deze taak wordt gebruikt om de andere pakketten binnen hetzelfde project aan te roepen. U kunt zelfs de variabelewaarden doorgeven aan het aangeroepen pakket.
Hiermee kunt u een applicatie of batchscripts uitvoeren als SQL Server Integration Services. Het kan worden gebruikt om de standaardapplicatie te openen, zoals Microsoft Excel, Microsoft Word, enz. Het wordt ook gebruikt om het gecomprimeerde bestand uit te pakken.
Het kan worden gebruikt om manipulaties in het bestandssysteem uit te voeren, zoals het verplaatsen van bestanden, het verwijderen van bestanden, het hernoemen van de bestanden, het wijzigen van de map, enz.
IFTP-taken worden gebruikt om de bewerkingen op bestanden en mappen uit te voeren. Als u het bestand bijvoorbeeld van de FTP-server naar de lokale map wilt verzenden of ontvangen, wordt de SSIS FTP-taak gebruikt.
Met deze taak kunt u de .Net-code schrijven die u wilt uitvoeren.
Deze taak wordt gebruikt om een e-mail te verzenden. Het wordt voornamelijk gebruikt wanneer u de gebruikers op de hoogte wilt stellen van de status van de taak, of deze nu actief is of dat er een fout is opgetreden.
Laten we een werkend voorbeeld bekijken van een gegevensintegratieservice.
Voorbeeld van een gegevensstroomtaak
Stap 1: Eerst maken we een Excel-bestand in Microsoft Excel. Stel dat ik de studentendatabase maak in Microsoft Excel, en de velden in de studententabel zijn student_id, student_name, cijfers en geslacht.
Stap 2: Open de visuele studio (SQL Server Data Tools).
Stap 3: Klik op de optie Bestand en ga vervolgens naar Nieuw->Project.
Stap 4: Wanneer u op het Project klikt, verschijnt het scherm zoals hieronder weergegeven:
Klik in het bovenstaande scherm op de Integration Services die aan de linkerkant van het paneel verschijnen en klik vervolgens op het Integration Services Project.
Stap 5: Na het klikken op het Integratiedienstenproject optie, verschijnt het scherm zoals hieronder weergegeven:
Het bovenstaande scherm bestaat uit vijf tabbladen, zoals Controlestroom, Gegevensstroom, Parameters, Gebeurtenishandler en Pakketverkenner. We hebben de controlestroom en gegevensstroom al besproken, zowel de controlestroom als de gegevensstroom bestaan binnen het SSIS-pakket.
stap 6: Om de gegevens te importeren, moeten we eerst de database maken waarin we de tabel in de SQL Server-database maken. Omdat we weten dat leerlinggegevens beschikbaar zijn in het Excel-bestand, willen we de gegevens importeren in de SQL Server-database. Om dit te bereiken, moeten we eerst de tabel in SQL Server maken. Open de SQL Server Management-studio.
Stap 7: Maak de student database. Klik met de rechtermuisknop op de database en klik vervolgens op de Nieuwe databank keuze.
Stap 8: Voer de databasenaam in de onderstaande schermafbeelding in:
Ik heb StudentWarehouse als databasenaam opgegeven.
Stap 9: Klik op de OK knop.
Stap 10: Nu maken we de tabel in a Studentenmagazijn database. Klik met de rechtermuisknop op de tabellen en klik vervolgens op de nieuwe tabel.
Stap 11: Nu voegen we de velden toe aan een tabel, zoals student_id, student_name, cijfers en geslacht. We stellen de student_id in als primaire sleutel die elke rij uniek identificeert.
In het bovenstaande scherm zie je dat we vier velden aan een tabel toevoegen. Nadat we alle velden aan een tabel hebben toegevoegd, slaan we de tabel op door een bruikbare naam op te geven. Stel dat ik de leerling als tabelnaam heb opgegeven.
Stap 12: Ga terug naar de visuele studio. De besturingsstroom bevat de Data Flow-taak. Sleep de Data Flow-taak naar het hoofdvenster en zet deze daar neer.
Stap 13: Wanneer we dubbelklikken op de Data Flow-taak, wordt het besturingselement automatisch vanuit de Control Flow naar de Data Flow verplaatst, zodat we kunnen zeggen dat Control Flow een container van Data Flow is.
Stap 14: Nu kunnen we de transformaties in Data Flow uitvoeren. We willen de gegevens uit het Excel-bestand halen dat we eerder hebben gemaakt, dus sleep de Excel-bron van de andere bronnen die aan de linkerkant van het paneel verschijnen.
Uit het bovenstaande scherm zien we dat het rode kruis in de Excel-bron verschijnt, dit betekent dat de component is geconfigureerd met de Excel-bron.
Stap 15: Om de component te configureren, klikt u met de rechtermuisknop op de Excel-bron en klikt u op de optie Bewerken, zoals weergegeven in de onderstaande schermafbeelding:
Stap 16: Vul de gegevens in die in de onderstaande schermafbeelding worden weergegeven:
Stap 17: Nadat u alle gegevens heeft ingevoerd, verschijnt het onderstaande scherm:
Stap 18: Klik op de Excel-bron.
Het bovenstaande scherm toont twee pijlen, de rode en de blauwe pijl. De blauwe pijl definieert de feitelijke gegevens die we uit het Excel-bestand ontvangen, en de rode pijl geeft de fouten aan die we hebben. Nu moeten we de transformaties uitvoeren, en voordat we de transformaties uitvoeren, moeten we de database laden.
Stap 19: Om de database te laden, klikt u op Overige bestemmingen en vervolgens op Bestemming.
Stap 20: Nadat u de bestemming heeft toegevoegd, verbindt u de bron met de bestemming.
Stap 21: In de bovenstaande stap hebben we het rode kruis opgemerkt in ADO NET Destination, wat betekent dat het niet is geconfigureerd met een component. Klik met de rechtermuisknop op de ADO NET-bestemming en klik vervolgens op de optie Bewerken, zoals weergegeven in de onderstaande schermafbeelding:
Stap 22: U moet de configuratiemanager opgeven.
Stap 23: Klik op de Nieuw om de verbindingsbeheerder toe te voegen. Wanneer u op de Nieuw knop, verschijnt het onderstaande scherm:
Stap 24: Voeg de servernaam toe en selecteer de databasenaam van de SQL Server.
Stap 25: Klik op de OK-knop.
Stap 26: Voeg de tabelnaam toe waarin u de gegevens wilt laden.
Stap 27: Wijs in het onderstaande scherm het veld van de invoerbron toe aan het veld van de doelbron.
c willekeurig getal
Stap 28: Na het toevoegen van een mapping wordt de bron verbonden met de bestemming, zoals weergegeven in de onderstaande schermafbeelding:
Stap 29: Klik op de Begin om het Integration Services Project uit te voeren. Wanneer u het project uitvoert, worden de gegevens naar de bestemming geladen, d.w.z. SQL-server .
Voorbeeld van het uitvoeren van een SQL-taak
- Volg de stappen van stap 2 tot en met stap 5 van het vorige voorbeeld.
- Versleep het Voer een SQL-taak uit verschijnt in het meest linkse paneel van het hoofdvenster.
In het bovenstaande scherm zien we dat het rode kruis verschijnt in de Execute SQL Task, wat betekent dat de Verbindingsbeheer is niet geconfigureerd met de Voer een SQL-taak uit . Om het te configureren, moeten we Verbindingsbeheer toevoegen.
- Om Verbindingsbeheer toe te voegen, klikt u met de rechtermuisknop op Verbindingsbeheer en klikt u vervolgens op Nieuwe Verbindingsbeheer, zoals weergegeven in de onderstaande schermafbeelding:
- Selecteer de OLEDB als Verbindingsbeheer-type en klik vervolgens op de Toevoegen knop zoals weergegeven in de onderstaande schermafbeelding:
- Na het klikken op de Toevoegen knop, verschijnt het scherm zoals weergegeven in de onderstaande schermafbeelding:
In het bovenstaande scherm zien we dat de dataverbinding van Studentenmagazijn database is al beschikbaar zoals we in de vorige stap hebben gemaakt. Klik op de OK knop.
- Wanneer u op de knop OK klikt, verschijnt het scherm zoals hieronder weergegeven:
In het bovenstaande scherm moet u de details invoeren, zoals de naam van uw taak, beschrijving, SQL-instructie (SQL-taak die u op de tafel moet uitvoeren).
- In de bovenstaande schermafbeelding heb ik de volgende gegevens ingevoerd:
In het bovenstaande geval heb ik de opdracht insert in SQLStatement opgegeven.
- Klik op de OK knop.
- Wanneer u de component configureert met de SQL-taak uitvoeren, verdwijnt het rode kruis, zoals weergegeven in de onderstaande schermafbeelding:
- Voer het project uit door op te klikken Begin .
- Wanneer u op de Begin , het scherm verschijnt zoals hieronder weergegeven:
In het bovenstaande scherm geeft het vinkje aan dat uw SQL-taak succesvol is voltooid. De insert-instructie die we in de vorige stappen hebben toegevoegd, is uitgevoerd en de gegevens zijn toegevoegd aan de tabel. dat wil zeggen, student1.
- De uitvoer van deze taak wordt hieronder weergegeven
Voorwaarde
Voordat u SSIS leert, moet u over de basiskennis van SQL Server beschikken.
Publiek
Onze SSIS-tutorial is ontworpen om beginners en professionals te helpen.
Probleem
Wij verzekeren u dat u in deze SSIS-tutorial geen enkel probleem zult tegenkomen. Maar als er een fout of fout is, plaats dan de fout in het contactformulier.