Eine Pipeline ist eine Art von Automation. Hier wird meistens für Programmcode vordefinierte Befehle ausgeführt. Sehr bekannte Pipelines sind Gitlab Pipelines, Github Actions, Jenkins und die Pipelines von bekannten Clouds wie Google Run oder Amazon CodePipeline. Pipelines für Code Repositories werden meistens in zwei unterschiedliche Arten unterteilt nämlich in CI (Continuous Integration) und CD (Continuous Delivery). Diese beiden Arten treten aber meistens direkt hintereinander auf. Es gibt aber natürlich noch viele andere Arten von Pipelines um z.B. Anfragen für HTTP zu verarbeiten oder aber um Logs aufzubereiten. Eine Pipeline kann je nach Anwendungsfall viele verschiedene Arten haben getriggert (Aktiviert) zu werden, so kann es zum Beispiel durch ein Push in eine bestimmtes Code-Repository passieren, durch das pushen eines Tags, das empfangen einer Nachricht uuch Zeitgesteuert ist es natürlich möglich die Pipelines zu triggern.
Eine Continuous Integration Pipeline sorgt dafür, dass Code meistens richtig getestet und analysiert wird. Danach wird der Code standardisiert gebaut und hochgeladen wo er anderen zur Verfügung stehen kann.
Eine Continuous Delivery Pipeline sorgt für das automatische Konfigurieren und das ausrollen der Anwendung, die meistens zuvor in einer CI-Pipeline gebaut wurde. Das heißt hiermit kann eine Anwedung voll automatisch auf Server ausgerollt werden ohne das zutun eines Menschen.
Eine Log Pipeline ist zum Beispiel im logstash Programm. Hier wird auf eine Nachricht gewartet um diese dann anschließend zu parsen und in ein JSON-Dokument umzuwandeln und ggf. mit Daten anzureichner. Nach der Aufbereitung der Logs wird das Dokument anschließend in der Datenbank gespeichert.
In dieser Art von Pipelines kommt meistens ebenfalls eine Anfrage rein und wird anschließend verarbeitet. Das ganze kann z.B. mit einem Antrag bei einer Bank passieren, die so erstmal den Kunden in der Datenbank sucht und abgleicht. Anschließend wird die Kreditwürdigkeit geprüft um den Kunden anschließend Zu- oder Abzusagen.