Baselinearchitektur für einen AKS-Cluster - Azure Architecture Center | Microsoft Docs\nBaselinearchitektur für einen AKS-Cluster (Azure Kubernetes Service)\nIn dieser Referenzarchitektur wird eine grundlegende Infrastruktur zum Bereitstellen eines AKS-Clusters (Azure Kubernetes Service) erstellt. Dieser Artikel enthält Empfehlungen für Netzwerk, Sicherheit, Identität, Verwaltung und Überwachung des Clusters basierend auf den Geschäftsanforderungen einer Organisation.\nEine Implementierung dieser Architektur ist hier verfügbar: GitHub: Sichere Baselinereferenzimplementierung von Azure Kubernetes Service (AKS). Sie können diese als Startpunkt verwenden und gemäß Ihren Anforderungen konfigurieren.\nDiese Referenzarchitektur erfordert Kenntnisse über Kubernetes und die entsprechenden Konzepte. Wenn Sie Ihr Wissen auffrischen müssen, finden Sie entsprechende Ressourcen unter Verwandte Artikel.\nPlanen der IP-Adressen\nBereitstellen von Eingangsressourcen\nCompute für den Basiscluster\nIntegrieren von Azure AD für den Cluster\nIntegrieren von Azure AD für die Workload\nSchützen des Datenflusses im Netzwerk\nHinzufügen einer Geheimnisverwaltung\nCluster- und Knotenverfügbarkeit\nVerfügbarkeit und Unterstützung von mehreren Regionen\nCI/CD-Pipelines für Cluster und Workload\nClusterintegrität und Metriken\nKostenverwaltung und Berichterstellung\nBei dieser Architektur wird eine Hub-Spoke-Netzwerktopologie verwendet. Der Hub und die Spokes werden in separaten virtuellen Netzwerken bereitgestellt, die per Peering verbunden sind. Diese Topologie bietet u. a. folgende Vorteile:\nGetrennte Verwaltung. Sie ermöglicht das Anwenden von Governance und das Steuern des Auswirkungsgrads. Außerdem wird das Konzept der Zielzone mit Aufgabentrennung unterstützt.\nMinimieren der direkten Verfügbarkeit von Azure-Ressourcen über das öffentliche Internet.\nOrganisationen verwenden häufig regionale Hub-Spoke-Topologien. Hub-Spoke-Netzwerktopologien können in der Zukunft erweitert werden und Workloadisolation erreichen.\nAlle Webanwendungen sollten einen WAF-Dienst (Web Application Firewall) voraussetzen, der die Steuerung von HTTP-Datenverkehrsflüssen unterstützt.\nSie stellt die natürliche Wahl für Workloads dar, die mehrere Abonnements umfassen.\nDie Architektur bleibt erweiterbar. Um neue Features oder Workloads zu ermöglichen, können neue Spokes hinzugefügt werden, anstatt die Netzwerktopologie komplett neu zu entwerfen.\nBestimmte Ressourcen, z. B. eine Firewall und DNS, können über mehrere Netzwerke hinweg gemeinsam genutzt werden.\nDer Hub des virtuellen Netzwerks ist der zentrale Punkt für Konnektivität und Einblicke. Innerhalb des Netzwerks werden drei Subnetze bereitgestellt.\nSubnetz zum Hosten von Azure Firewall\nAzure Firewall ist eine Firewall, die als Dienst bereitgestellt wird. Die Firewallinstanz schützt den ausgehenden Netzwerkdatenverkehr. Ohne diese Sicherheitsebene kann der Datenfluss mit einem böswilligen Drittanbieterdienst kommunizieren, der vertrauliche Unternehmensdaten herausfiltern könnte.\nSubnetz zum Hosten eines Gateways\nDieses Subnetz ist ein Platzhalter für ein VPN- oder ExpressRoute-Gateway. Das Gateway stellt Verbindungen zwischen den Routern im lokalen Netzwerk und dem virtuellen Netzwerk bereit.\nSubnetz zum Hosten von Azure Bastion\nDieses Subnetz ist ein Platzhalter für Azure Bastion. Sie können Bastion für den sicheren Zugriff auf Azure-Ressourcen verwenden, ohne die Ressourcen im Internet verfügbar zu machen. Dieses Subnetz wird nur für die Verwaltung und den Betrieb genutzt.\nDas virtuelle Netzwerk am Spoke enthält den AKS-Cluster und andere zugehörige Ressourcen. Der Spoke verfügt über drei Subnetze:\nSubnetz zum Hosten von Azure Application Gateway\nAzureApplication Gateway ist ein Lastenausgleich für Webdatenverkehr, der auf Schicht 7 betrieben wird. Bei der Referenzimplementierung wird die Application Gateway v2-SKU verwendet, die Web Application Firewall (WAF) aktiviert. WAF schützt eingehenden Datenverkehr vor gängigen Angriffen auf Webdatenverkehr. Die Instanz verfügt über eine öffentliche IP-Konfiguration am Front-End, das die Benutzeranforderungen empfängt. Für Application Gateway ist standardmäßig ein dediziertes Subnetz erforderlich.\nSubnetz zum Hosten der Eingangsressourcen\nZum Weiterleiten und Verteilen von Datenverkehr wird Traefik als Eingangscontroller verwendet, der die Kubernetes-Eingangsressourcen bedient. Dieses Subnetz enthält interne Azure-Lastenausgleiche.\nSubnetz zum Hosten der Clusterknoten\nAKS verwaltet zwei separate Knotengruppen (oder Knotenpools). Der Systemknotenpool hostet Pods, die die Hauptclusterdienste ausführen. Der Benutzerknotenpool führt die Workloads von Contoso und den Eingangscontroller aus, um die eingehende Kommunikation mit der Workload zu ermöglichen. Die Workload ist eine einfache ASP.NET-Anwendung.\nWeitere Informationen finden Sie unter Hub-Spoke-Netzwerktopologie in Azure.\nSubnetz zum Hosten der Private Link-Endpunkte\nPrivate Link-Verbindungen werden für Azure Container Registry und Azure Key Vault erstellt, damit über private Endpunkte innerhalb des virtuellen Spoke-Netzwerks auf diese Dienste zugegriffen werden kann. Private Link-Endpunkte benötigen kein dediziertes Subnetz und können auch im virtuellen Hub-Netzwerk platziert werden. In der Baselineimplementierung werden sie in einem dedizierten Subnetz innerhalb des virtuellen Spoke-Netzwerks bereitgestellt. Dadurch muss weniger Datenverkehr über die Peeringnetzwerkverbindung abgewickelt werden, die zum Cluster gehörenden Ressourcen befinden sich im gleichen virtuellen Netzwerk, und Sie können mithilfe von Netzwerksicherheitsgruppen präzise Sicherheitsregeln auf Subnetzebene anwenden.\nWeitere Informationen finden Sie unter Entscheidungsstruktur für die Private Link-Bereitstellung.\nDer Adressraum des virtuellen Netzwerks sollte groß genug sein, um alle Subnetze aufnehmen zu können. Berücksichtigen Sie alle Entitäten, die Datenverkehr empfangen. Die IP-Adressen für diese Entitäten werden aus dem Adressraum des Subnetzes zugewiesen. Beachten Sie die folgenden Punkte.\nAKS aktualisiert Knoten regelmäßig, um sicherzustellen, dass die Sicherheitsfeatures und andere Systempatches der zugrunde liegenden virtuellen Computer auf dem neuesten Stand sind. Während eines Upgradevorgangs erstellt AKS einen Knoten, der die Pods temporär hostet, während der Upgradeknoten gesperrt und entladen wird. Diesem temporären Knoten wird eine IP-Adresse aus dem Clustersubnetz zugewiesen.\nFür Pods benötigen Sie abhängig von Ihrer Strategie möglicherweise weitere Adressen. Für rollierende Updates benötigen Sie Adressen für die temporären Pods, die die Workloads ausführen, während die eigentlichen Pods aktualisiert werden. Wenn Sie die Ersetzungsstrategie verwenden, werden Pods entfernt und die neuen erstellt. Daher werden die Adressen, die den alten Pods zugeordnet sind, wiederverwendet.\nBerücksichtigen Sie die Knotenanzahl aller System- und Benutzerknoten sowie deren maximale Skalierbarkeitsgrenzwerte. Angenommen, Sie möchten um 400 % aufskalieren. Für alle horizontal skalierten Knoten benötigen Sie die vierfache Anzahl von Adressen.\nIn dieser Architektur kann jeder Pod direkt kontaktiert werden. Daher benötigt jeder Pod eine eigene Adresse. Die Podskalierbarkeit wirkt sich auf die Adressberechnung aus. Diese Entscheidung hängt von der ausgewählten Anzahl von Pods ab, auf die Sie vergrößern möchten.\nAdressen für Azure Private Link\nDer Faktor für Adressen, die für die Kommunikation mit anderen Azure-Diensten über Private Link erforderlich sind. In dieser Architektur sind den Links zu Azure Container Registry und Key Vault zwei Adressen zugewiesen.\nBestimmte Adressen sind für die Verwendung durch Azure reserviert. Sie können nicht zugewiesen werden.\nDie obige Liste ist nicht vollständig. Wenn Ihr Entwurf andere Ressourcen aufweist, die sich auf die Anzahl der verfügbaren IP-Adressen auswirken, sollten Sie diese Adressen einplanen.\nDiese Architektur ist für eine einzelne Workload konzipiert. Bei mehreren Workloads können Sie die Benutzerknotenpools voneinander und vom Systemknotenpool isolieren. Dies kann zu mehr Subnetzen führen, die jeweils kleiner sind. Außerdem ist die Eingangsressource möglicherweise komplexer. Möglicherweise benötigen Sie mehrere Eingangscontroller, die zusätzliche Adressen erfordern.\nAlle Überlegungen zu dieser Architektur finden Sie unter AKS baseline Network Topology (AKS-Baseline-Netzwerktopologie).\nInformationen zum Planen der IP-Adressen für einen AKS-Cluster finden Sie unter Planen der IP-Adressierung für Ihren Cluster.\nNeben der Workload enthält der Cluster möglicherweise mehrere andere Images, z. B. den Eingangsdatencontroller. Einige dieser Images befinden sich möglicherweise in öffentlichen Registrierungen. Berücksichtigen Sie die folgenden Punkte, wenn Sie diese Images in Ihren Cluster pullen:\nDer Cluster ist dazu berechtigt, das Image zu pullen.\nWenn Sie ein öffentliches Image verwenden, empfiehlt es sich, dieses in eine Containerregistrierung zu importieren, die Ihrem SLO entspricht. Andernfalls unterliegt das Image möglicherweise unerwarteten Verfügbarkeitsproblemen. Dadurch können Betriebsprobleme entstehen, da das Image nicht verfügbar ist, wenn Sie es benötigen. Im Folgenden werden einige Vorteile der Verwendung Ihrer Containerregistrierung anstelle einer öffentlichen Registrierung aufgeführt:\nSie können den nicht autorisierten Zugriff auf Ihre Images blockieren.\nEs liegen keine öffentlichen Abhängigkeiten vor.\nSie können auf Imagepullprotokolle zugreifen, um Aktivitäten zu überwachen und Konnektivitätsprobleme zu selektieren.\nSie profitieren von integrierter Containerüberwachung und Imagekonformität.\nEine Option ist Azure Container Registry (ACR).\nDamit können Sie Images aus autorisierten Registrierungen pullen. Sie können diese Einschränkung über Azure Policy erzwingen. In dieser Referenzimplementierung pullt der Cluster nur Images aus der ACR-Instanz, die als Teil der Architektur bereitgestellt wurde.\nKonfigurieren der Computeressourcen für den Basiscluster\nIn AKS ist jeder Knotenpool einer VM-Skalierungsgruppe zugeordnet. Knoten sind VMs in jedem Knotenpool. Verwenden Sie ggf. eine geringere VM-Größe für den Systemknotenpool, um die Kosten zu minimieren. Diese Referenzimplementierung stellt den Systemknotenpool mit drei DS2_v2-Knoten bereit. Diese Größe reicht aus, um die erwartete Last der Systempods zu erfüllen. Der Betriebssystemdatenträger ist 512 GB groß.\nIm Folgenden finden Sie einige Überlegungen zum Benutzerknotenpool:\nWählen Sie größere Knoten aus, um die maximale Anzahl der auf einem Knoten festgelegten Pods zu unterstützen. Dadurch wird der Speicherbedarf von Diensten minimiert, die auf allen Knoten ausgeführt werden, z. B. Überwachung und Protokollierung.\nStellen Sie mindestens zwei Knoten bereit. Auf diese Weise wird für die Workload ein Hochverfügbarkeitsmuster mit zwei Replikaten verwendet. Mit AKS können Sie die Knotenanzahl ändern, ohne den Cluster neu zu erstellen.\nDie tatsächlichen Knotengrößen für Ihre Workload sind von den Anforderungen abhängig, die vom Entwurfsteam festgelegt werden. Basierend auf den Geschäftsanforderungen haben wir für die Produktionsworkload DS4_v2 ausgewählt. Um die Kosten zu senken, können Sie die Größe auf DS3_v2 verringern. Dies ist auch die minimale Empfehlung.\nWenn Sie die Kapazität für Ihren Cluster planen, gehen Sie davon aus, dass die Workload bis zu 80 % auf den einzelnen Knoten verbrauchen kann. Die verbleibenden 20 % sind für AKS-Dienste reserviert.\nLegen Sie basierend auf Ihrer Kapazitätsplanung die maximale Anzahl von Pods pro Knoten fest. Wenn Sie versuchen, eine Kapazitätsbaseline einzurichten, beginnen Sie mit dem Wert 30. Passen Sie diesen Wert gemäß den Anforderungen der Workload, der Knotengröße und der IP-Einschränkungen an.\nIntegrieren von Azure Active Directory für den Cluster\nDas Schützen des Zugriffs auf den Cluster und aus diesem heraus ist sehr wichtig. Treffen Sie Entscheidungen hinsichtlich der Sicherheit aus der Perspektive des Clusters:\nZugriff von innen: AKS-Zugriff auf Azure-Komponenten wie Netzwerkinfrastruktur, Azure Container Registry und Azure Key Vault. Autorisieren Sie nur solche Ressourcen, auf die der Cluster zugreifen darf.\nZugriff von außen: Bereitstellen von Kubernetes-Clusterzugriff für Identitäten. Autorisieren Sie nur externe Entitäten, denen der Zugriff auf den Kubernetes-API-Server und Azure Resource Manager gestattet ist.\nAKS-Zugriff auf Azure\nDer Zugriff von AKS auf Azure über Azure Active Directory (Azure AD) kann auf zwei Arten verwaltet werden: über Dienstprinzipale oder über verwaltete Identitäten für Azure-Ressourcen.\nVon diesen beiden Möglichkeiten werden verwaltete Identitäten empfohlen. Mit Dienstprinzipalen sind Sie für das Verwalten und Rotieren von Geheimnissen zuständig, das manuell oder programmgesteuert erfolgen kann. Bei verwalteten Identitäten übernimmt Azure AD die Verwaltung und Ausführung von Authentifizierung und rechtzeitiger Rotation der Geheimnisse für Sie.\nEs wird empfohlen, verwaltete Identitäten zu aktivieren, damit der Cluster über Azure AD mit externen Azure-Ressourcen interagieren kann. Sie können diese Einstellung nur während der Clustererstellung aktivieren. Auch wenn Azure AD nicht sofort verwendet wird, können Sie es später integrieren.\nBetrachten wir als Beispiel für den Zugriff von innen unter Verwendung verwalteter Identitäten den Fall, dass der Cluster Images aus einer Containerregistrierung pullen muss. Für diese Aktion muss der Cluster die Anmeldeinformationen der Registrierung abrufen. Eine Möglichkeit besteht darin, diese Informationen in Form eines Kubernetes-Geheimnisobjekts zu speichern und mit imagePullSecrets abzurufen. Diese Vorgehensweise wird aufgrund der hohen Komplexität bei der Sicherheit nicht empfohlen. Sie müssen nicht nur vorab das Geheimnis kennen, sondern dieses auch über die DevOps-Pipeline offenlegen. Ein weiterer Grund ist der betriebliche Mehraufwand für die Verwaltung der Rotation des Geheimnisses. Erteilen Sie stattdessen der verwalteten Identität Ihres Clusters das Zugriffsrecht acrPull für Ihre Registrierung. Mit diesem Ansatz werden beide Probleme behandelt.\nIn dieser Architektur greift der Cluster auf Azure-Ressourcen zu, die durch Azure AD geschützt sind und Vorgänge ausführen, die verwaltete Identitäten unterstützen. Weisen Sie den verwalteten Identitäten des Clusters über die rollenbasierte Zugriffssteuerung in Azure (Azure Role-Based Access Control, Azure RBAC) Berechtigungen basierend auf den Vorgängen zu, die der Cluster ausführen soll. Der Cluster authentifiziert sich bei Azure AD und erhält dann entsprechend den zugewiesenen Rollen Zugriff, oder der Zugriff wird verweigert. Im Folgenden finden Sie einige Beispiele aus dieser Referenzimplementierung, bei denen dem Cluster in Azure integrierte Rollen zugewiesen wurden:\nNetzwerkmitwirkender: Ermöglicht dem Cluster das Steuern des virtuellen Spoke-Netzwerks. Diese Rollenzuweisung ermöglicht der dem AKS-Cluster vom System zugewiesenen Identität, im dedizierten Subnetz für die internen Eingangscontrollerdienste zu arbeiten.\nHerausgeber von Überwachungsmetriken: Ermöglicht dem Cluster das Senden von Metriken an Azure Monitor.\nAcrPull: Ermöglicht dem Cluster das Pullen von Images aus den angegebenen Azure Container Registry-Instanzen.\nDie Azure AD-Integration vereinfacht auch die Sicherheitskonfiguration für den externen Zugriff. Angenommen, ein Benutzer möchte kubectl verwenden. Als ersten Schritt sendet er den Befehl az aks get-credentials, um die Anmeldeinformationen des Clusters zu erhalten. Azure AD authentifiziert die Identität des Benutzers anhand der Azure-Rollen, die zum Abrufen von Clusteranmeldeinformationen berechtigt sind. Weitere Informationen finden Sie unter Verfügbare Clusterrollenberechtigungen.\nAKS ermöglicht Kubernetes-Zugriff mithilfe von Azure Active Directory auf zwei Arten: Bei der ersten wird Azure Active Directory als Identitätsanbieter verwendet, der in das native Kubernetes RBAC-System integriert ist. Bei der anderen wird die native Azure RBAC zum Steuern des Clusterzugriffs verwendet. Beide werden nachfolgend beschrieben.\nZuordnen von Kubernetes-RBAC zu Azure Active Directory\nKubernetes unterstützt die rollenbasierte Zugriffssteuerung (Role-Based Access Control, RBAC) wie folgt:\nEin Satz von Berechtigungen. Dieser wird durch ein Role- oder ClusterRole-Objekt für clusterweite Berechtigungen definiert.\nBindungen zum Zuweisen der Benutzer und Gruppen, die die Aktionen ausführen dürfen. Diese werden durch ein RoleBinding- oder CluserRoleBinding-Objekt definiert.\nKubernetes verfügt über einige integrierte Rollen wie „cluster-admin“, „edit“, „view“ usw. Binden Sie diese Rollen an Azure Active Directory-Benutzer und -Gruppen, um den Zugriff über das Unternehmensverzeichnis zu verwalten. Weitere Informationen finden Sie unter Verwenden der rollenbasierten Zugriffssteuerung von Kubernetes mit Azure AD-Integration.\nStellen Sie sicher, dass Ihre Azure AD-Gruppen, die für den Cluster- und Namespacezugriff verwendet werden, in Ihren Azure AD-Zugriffsüberprüfungen enthalten sind.\nVerwenden von Azure RBAC für die Kubernetes-Autorisierung\nAnstatt native Kubernetes-RBAC (ClusterRoleBindings und RoleBindings) zur Autorisierung mit integrierter ADD-Authentifizierung zu verwenden, können Sie Azure RBAC und Azure-Rollenzuweisungen verwenden, um Autorisierungsprüfungen für den Cluster zu erzwingen. Diese Rollenzuweisungen können sogar im Abonnement- oder Ressourcengruppenbereich hinzugefügt werden. Dadurch erben alle Cluster im Bereich einheitliche Rollenzuweisungen in Bezug auf die Zugriffsberechtigungen auf die Objekte im Kubernetes-Cluster.\nWeitere Informationen finden Sie unter Verwenden von Azure RBAC für die Kubernetes-Autorisierung.\nAKS unterstützt die native Kubernetes-Benutzerauthentifizierung. Der Benutzerzugriff auf Cluster mithilfe dieser Methode wird nicht empfohlen. Sie ist zertifikatsbasiert und wird außerhalb Ihres primären Identitätsanbieters ausgeführt. Dies erschwert eine zentrale Benutzerzugriffssteuerung und -verwaltung. Verwalten Sie den Zugriff auf Ihren Cluster immer über Azure Active Directory, und konfigurieren Sie Ihren Cluster so, dass der lokale Kontozugriff explizit deaktiviert wird.\nIn dieser Referenzimplementierung wird der Zugriff über lokale Clusterkonten bei der Bereitstellung des Clusters explizit deaktiviert.\nIntegrieren von Azure Active Directory für die Workload\nÄhnlich wie bei verwalteten Azure-Identitäten für den gesamten Cluster können Sie verwaltete Identitäten auch auf Podebene zuweisen. Eine verwaltete Identität für den Pod ermöglicht der gehosteten Workload den Zugriff auf Ressourcen über Azure Active Directory. Beispielsweise speichert die Workload Dateien in Azure Storage. Wenn auf diese Dateien zugegriffen werden muss, authentifiziert sich der Pod selbst bei der Ressource.\nIn dieser Referenzimplementierung werden verwaltete Podidentitäten durch Azure AD-Podidentitäten umgesetzt.\nKubernetes-Eingangsressourcen leiten den eingehenden Datenverkehr an den Cluster weiter und verteilen ihn. Es gibt zwei Kategorien von Eingangsressourcen:\nInterner Lastenausgleich Verwaltung durch AKS. Dieses Lastenausgleichsmodul macht den Eingangscontroller über eine private statische IP-Adresse verfügbar. Es dient als einziger Kontaktpunkt, der eingehende Datenflüsse empfängt.\nIn dieser Architektur wird Azure Load Balancer verwendet. Der Lastenausgleich befindet sich außerhalb des Clusters in einem dedizierten Subnetz für Eingangsressourcen. Er empfängt Datenverkehr von Azure Application Gateway, wobei die Kommunikation über TLS erfolgt. Weitere Informationen zur TLS-Verschlüsselung für eingehenden Datenverkehr finden Sie unter Eingehender Datenverkehrsfluss.\nEingangscontroller. Wir haben uns für Traefik entschieden. Er wird im Benutzerknotenpool im Cluster ausgeführt. Er empfängt Datenverkehr vom internen Lastenausgleich, schließt TLS ab und leitet ihn über HTTP an die Workloadpods weiter.\nDer Eingangscontroller ist eine wichtige Komponente des Clusters. Beachten Sie die folgenden Punkte, wenn Sie diese Komponente konfigurieren.\nWählen Sie im Rahmen Ihrer Entwurfsentscheidungen einen Bereich aus, in dem der Eingangscontroller zugelassen ist. Beispielsweise können Sie zulassen, dass der Controller nur mit den Pods interagiert, die eine bestimmte Workload ausführen.\nVermeiden Sie das Platzieren von Replikaten auf demselben Knoten, um die Last zu verteilen und Geschäftskontinuität zu gewährleisten, wenn ein Knoten ausfällt. Verwenden Sie zu diesem Zweck podAntiAffinity.\nBeschränken Sie die zu planenden Pods auf den Benutzerknotenpool, indem Sie nodeSelectorsverwenden. Mit dieser Einstellung werden Workload- und Systempods isoliert.\nÖffnen Sie Ports und Protokolle, die bestimmten Entitäten das Senden von Datenverkehr an den Eingangscontroller ermöglichen. In dieser Architektur empfängt Traefik nur Datenverkehr von Azure Application Gateway.\nDer Eingangscontroller sollte Signale senden, die die Integrität der Pods angeben. Konfigurieren Sie die Einstellungen readinessProbe und livenessProbe, mit denen die Integrität der Pods im angegebenen Intervall überwacht wird.\nBeschränken Sie den Zugriff des Eingangsdatencontrollers auf bestimmte Ressourcen und auf die Ausführung bestimmter Aktionen. Diese Einschränkung kann über RBAC-Berechtigungen in Kubernetes implementiert werden. In dieser Architektur wurden Traefik z. B. mithilfe von Regeln im Kubernetes-Objekt ClusterRole Berechtigungen zum Überwachen, Abrufen und Auflisten von Diensten und Endpunkten erteilt.\nDie Wahl des geeigneten Eingangsdatencontrollers richtet sich nach den Anforderungen der Workload, den Fähigkeiten des Bedieners und der Unterstützungsfähigkeit der Technologieoptionen. Am wichtigsten ist die Fähigkeit, Ihre SLO-Erwartung zu erfüllen.\nTraefik ist eine beliebte Open-Source-Option für einen Kubernetes-Cluster, die in dieser Architektur zur Veranschaulichung ausgewählt wurde. Gezeigt wird die Integration von Drittanbieterprodukten in Azure-Dienste. Die Implementierung zeigt z. B. die Integration von Traefik in eine verwaltete Azure AD-Podidentität und Azure Key Vault.\nEine weitere Möglichkeit ist der Eingangsdatencontroller von Azure Application Gateway, der auch gut in AKS integriert ist. Neben den Funktionen als Eingangsdatencontroller bietet er weitere Vorteile. Beispielsweise unterstützt Application Gateway den Einstiegspunkt des virtuellen Netzwerks Ihres Clusters. Das bedeutet, dass der in den Cluster eingehende Datenverkehr beobachtet werden kann. Wenn Sie über eine Anwendung verfügen, die WAF erfordert, ist Application Gateway eine gute Wahl, da es in WAF integriert ist. Außerdem bietet es die Möglichkeit, einen TLS-Abschluss durchzuführen.\nDer Eingangscontroller verwendet Routen, um das Ziel von Datenverkehr zu bestimmen. Routen geben den Quellport an, an dem der Datenverkehr empfangen wurde, sowie Informationen zu den Zielports und Protokollen.\nIm Folgenden finden Sie ein Beispiel aus dieser Architektur:\nTraefik verwendet den Kubernetes-Anbieter, um Routen zu konfigurieren. annotations, tls und entrypoints geben an, dass Routen über HTTPS bedient werden. middlewares gibt an, dass nur Datenverkehr aus dem Subnetz von Azure Application Gateway zulässig ist. Für die Antworten wird Gzip-Codierung verwendet, sofern der Client diese akzeptiert. Da Traefik den TLS-Anschluss ausführt, erfolgt die Kommunikation mit den Back-End-Diensten über HTTP.\nDer Netzwerkdatenfluss kann in diesem Kontext wie folgt kategorisiert werden:\nEingehender Datenverkehr: Vom Client zu der im Cluster ausgeführten Workload.\nAusgehender Datenverkehr: Von einem Pod oder Knoten im Cluster zu einem externen Dienst.\nDatenverkehr zwischen Pods: Für die Kommunikation zwischen den Pods. Dieser Datenverkehr umfasst die Kommunikation zwischen dem Eingangscontroller und der Workload. Wenn Ihre Workload mehrere Anwendungen umfasst, die im Cluster bereitgestellt wurden, würde auch die Kommunikation zwischen diesen Anwendungen in diese Kategorie fallen.\nVerwaltungsdatenverkehr: Der Datenverkehr zwischen dem Client und dem Kubernetes-API-Server.\nDiese Architektur verfügt über mehrere Sicherheitsebenen, um alle Arten von Datenverkehr zu schützen.\nDie Architektur akzeptiert nur mit TLS verschlüsselte Anforderungen vom Client. TLS v1.2 ist die minimal zulässige Version, die einen eingeschränkten Satz von Chiffren umfasst. Für die Servernamensanzeige (SNI) ist „strict“ aktiviert. End-to-End-TLS wird über Application Gateway eingerichtet, wobei zwei verschiedene TLS-Zertifikate verwendet werden, wie in dieser Abbildung dargestellt.\nDer Client sendet eine HTTPS-Anforderung an den Domänennamen: bicycle.contoso.com. Dieser Name wird über einen DNS-A-Datensatz der öffentlichen IP-Adresse von Azure Application Gateway zugeordnet. Dieser Datenverkehr wird verschlüsselt, um sicherzustellen, dass der Datenverkehr zwischen dem Clientbrowser und dem Gateway nicht überprüft oder geändert werden kann.\nApplication Gateway verfügt über eine integrierte Web Application Firewall (WAF) und handelt den TLS-Handshake für bicycle.contoso.com aus, sodass nur sichere Chiffren möglich sind. Application Gateway ist ein TLS-Abschlusspunkt, erzwingt die Verarbeitung von WAF-Überprüfungsregeln und führt Routingregeln aus, mit denen der Datenverkehr an das konfigurierte Back-End weitergeleitet wird. Das TLS-Zertifikat wird in Azure Key Vault gespeichert. Der Zugriff erfolgt über eine benutzerseitig zugewiesene verwaltete Identität, die in Application Gateway integriert ist. Weitere Informationen zu diesem Feature finden Sie unter TLS-Terminierung mit Key Vault-Zertifikaten.\nDer Datenverkehr von Application Gateway zum Back-End wird erneut mit einem anderen TLS-Zertifikat (Platzhalter für *.aks-ingress.contoso.com) verschlüsselt, während er an den internen Lastenausgleich weitergeleitet wird. Durch diese erneute Verschlüsselung wird sichergestellt, dass kein unsicherer Datenverkehr in das Clustersubnetz gelangt.\nDer Eingangscontroller empfängt den verschlüsselten Datenverkehr über den Lastenausgleich. Der Controller ist ein weiterer TLS-Abschlusspunkt für *.aks-ingress.contoso.com, der den Datenverkehr über HTTP an die Workloadpods weiterleitet. Die Zertifikate werden in Azure Key Vault gespeichert und mit dem Container Storage Interface-Treiber (CSI) im Cluster eingebunden. Weitere Informationen finden Sie unter Hinzufügen einer Geheimnisverwaltung.\nSie können End-to-End-TLS-Datenverkehr vollständig an jedem Hop im Pfad zum Workloadpod implementieren. Messen Sie unbedingt die Leistung, die Latenz und eventuelle betriebliche Auswirkungen, wenn Sie sich entscheiden, den Datenverkehr zwischen Pods zu schützen. Für die meisten Cluster mit nur einem Mandanten und ordnungsgemäßer RBAC auf Steuerungsebene sowie ausgereiften Verfahren für den Lebenszyklus der Softwareentwicklung reicht eine TLS-Verschlüsselung bis zum Eingangsdatencontroller und der Schutz mit Web Application Firewall (WAF) aus. Dadurch werden der Aufwand bei der Verwaltung von Workloads und die Auswirkungen auf die Netzwerkleistung minimiert. Ihre Workload- und Complianceanforderungen geben vor, wo der TLS-Abschluss erfolgt.\nFür die Zero-Trust-Steuerung und die Möglichkeit, den Datenverkehr zu überprüfen, wird der gesamte ausgehende Datenverkehr aus dem Cluster über Azure Firewall geleitet. Sie können dies mithilfe von benutzerdefinierten Routen (User-Defined Route, UDR) implementieren. Der nächste Hop auf der Route ist die private IP-Adresse von Azure Firewall. Hier entscheidet Azure Firewall, ob der ausgehende Datenverkehr blockiert oder zugelassen wird. Diese Entscheidung basiert auf den spezifischen Regeln, die in Azure Firewall definiert sind, oder auf den integrierten Threat Intelligence-Regeln.\nWenn Sie einen öffentlichen Lastenausgleich als öffentlichen Punkt für den eingehenden und ausgehenden Datenverkehr über Azure Firewall mit benutzerdefinierten Routen verwenden, tritt möglicherweise ein asymmetrisches Routing auf. Diese Architektur nutzt interne Lastenausgleiche in einem dedizierten Eingangssubnetz hinter Application Gateway. Durch diesen Entwurf wird nicht nur die Sicherheit verbessert, es werden auch Bedenken bezüglich des asymmetrischen Routings beseitigt. Alternativ können Sie den eingehenden Datenverkehr vor oder nach Ihrer Application Gateway-Instanz über Ihre Azure Firewall-Instanz weiterleiten. Dieser Ansatz ist in den meisten Fällen nicht erforderlich und wird nicht empfohlen. Weitere Informationen über das asymmetrische Routing finden Sie unter Integrieren von Azure Firewall mit Azure Load Balancer Standard.\nEine Ausnahme von der Zero-Trust-Steuerung ist, wenn der Cluster mit anderen Azure-Ressourcen kommunizieren muss, z. B. wenn er ein aktualisiertes Image aus der Containerregistrierung abrufen muss. Die empfohlene Vorgehensweise ist die Verwendung von Azure Private Link. Der Vorteil besteht darin, dass bestimmte Subnetze den Dienst direkt erreichen. Außerdem wird der Datenverkehr zwischen dem Cluster und dem Dienst nicht im öffentlichen Internet verfügbar gemacht. Ein Nachteil ist, dass Private Link eine zusätzliche Konfiguration erfordert, anstatt den Zieldienst über seinen öffentlichen Endpunkt zu verwenden. Außerdem unterstützen nicht alle Azure-Dienste oder SKUs Private Link. In diesen Fällen sollten Sie im Subnetz einen Dienstendpunkt aktivieren, um auf den Dienst zuzugreifen.\nWenn Private Link oder Dienstendpunkte keine Option sind, können Sie andere Dienste über deren öffentliche Endpunkte erreichen und den Zugriff über Azure Firewall-Regeln und die in den Zieldienst integrierte Firewall steuern. Da dieser Datenverkehr über die statische IP-Adresse der Firewall geleitet wird, kann diese Adresse der Liste zugelassener IP-Adressen des Diensts hinzugefügt werden. Ein Nachteil ist, dass Azure Firewall zusätzliche Regeln benötigt, um sicherzustellen, dass nur Datenverkehr aus einem bestimmten Subnetz zugelassen wird.\nDatenverkehr zwischen Pods\nStandardmäßig kann ein Pod Datenverkehr von jedem anderen Pod im Cluster annehmen. Mit NetworkPolicy von Kubernetes wird der Netzwerkdatenverkehr zwischen Pods eingeschränkt. Wenden Sie Richtlinien mit Bedacht an, da es andernfalls vorkommen kann, dass ein wichtiger Netzwerkdatenfluss blockiert wird. Erlauben Sie bestimmte Kommunikationspfade nur, wenn sie wirklich erforderlich sind, z. B. den Datenverkehr zwischen dem Eingangscontroller und der Workload. Weitere Informationen finden Sie unter „Netzwerkrichtlinien“.\nAktivieren Sie die Netzwerkrichtlinie bei der Bereitstellung des Clusters, da sie später nicht mehr hinzugefügt werden kann. Es gibt einige Auswahlmöglichkeiten an Technologien, die NetworkPolicy implementieren. Die Azure-Netzwerkrichtlinie wird empfohlen. Sie erfordert Azure Container Networking Interface (CNI). Weitere Informationen hierzu finden Sie im nachstehenden Hinweis. Zu den anderen Möglichkeiten gehört mit der Calico-Netzwerkrichtlinie eine bekannte Open-Source-Option. Verwenden Sie Calico, wenn Sie clusterweite Netzwerkrichtlinien verwalten müssen. Calico wird nicht durch den Azure-Standardsupport abgedeckt.\nWeitere Informationen finden Sie unter Unterschiede zwischen Azure- und Calico-Richtlinien und zwischen ihren Funktionen.\nAKS unterstützt die folgenden Netzwerkmodelle: kubenet und Azure Container Networking Interface (CNI). CNI ist das fortgeschrittenere der beiden Modelle und wird benötigt, um die Azure-Netzwerkrichtlinie zu aktivieren. Bei diesem Modell erhält jeder Pod eine IP-Adresse aus dem Adressraum des Subnetzes. Ressourcen innerhalb desselben Netzwerks (oder mittels Peering verbundene Ressourcen) können direkt über ihre IP-Adresse auf die Pods zugreifen. NAT ist für das Routing dieses Datenverkehrs nicht erforderlich. CNI ist somit leistungsfähig, da keine zusätzlichen Netzwerküberlagerungen vorhanden sind. Außerdem bietet die Schnittstelle eine bessere Sicherheitskontrolle, da sie die Verwendung der Azure-Netzwerkrichtlinie ermöglicht. Im Allgemeinen wird CNI empfohlen. CNI bietet Teams eine präzise Kontrolle der kontrollierten Ressourcen. CNI ermöglicht zudem mehr skalierte Pods als kubenet. Treffen Sie diese Wahl mit Umsicht, da andernfalls der Cluster erneut bereitgestellt werden muss. Informationen zu den Modellen finden Sie unter Vergleich der Netzwerkmodelle.\nIm Rahmen der Clusterausführung empfängt der Kubernetes-API-Server Datenverkehr von Ressourcen, die Verwaltungsvorgänge im Cluster durchführen möchten, z. B. Anforderungen zum Erstellen von Ressourcen oder zum Skalieren des Clusters. Beispiele für diese Ressourcen sind der Build-Agent-Pool in einer DevOps-Pipeline, ein Bastion-Subnetz und die eigentlichen Knotenpools. Anstatt diesen Verwaltungsdatenverkehr von allen IP-Adressen zu akzeptieren, verwenden Sie das AKS-Feature für autorisierte IP-Bereiche, um nur Datenverkehr von Ihren autorisierten IP-Adressbereichen an den API-Server zuzulassen.\nWeitere Informationen finden Sie unter Definieren der vom API-Server autorisierten IP-Bereiche.\nSpeichern Sie Geheimnisse in einem verwalteten Schlüsselspeicher wie Azure Key Vault. Der Vorteil besteht darin, dass der verwaltete Speicher die Rotation von Geheimnissen übernimmt, starke Verschlüsselung bietet, ein Zugriffsüberwachungsprotokoll bereitstellt und zentrale Geheimnisse von der Bereitstellungspipeline fern hält.\nAzure Key Vault ist gut mit anderen Azure-Diensten integriert. Verwenden Sie die integrierten Funktionen dieser Dienste für den Zugriff auf Geheimnisse. Ein Beispiel für den Zugriff auf TLS-Zertifikate für den eingehenden Datenverkehr durch Azure Application Gateway finden Sie im Abschnitt Eingehender Datenverkehrsfluss.\nZugreifen auf Clustergeheimnisse\nSie müssen vom Pod verwaltete Identitäten verwenden, um einem Pod den Zugriff auf Geheimnisse in einem bestimmten Speicher zu ermöglichen.\nVerwenden Sie zum Vereinfachen des Abrufvorgangs den Secrets Store CSI-Treiber. Wenn der Pod ein Geheimnis erfordert, stellt der Treiber eine Verbindung mit dem angegebenen Speicher her, ruft das Geheimnis auf einem Volume ab und bindet dieses Volume im Cluster ein. Der Pod kann das Geheimnis dann aus dem Dateisystem des Volumes abrufen.\nDer CSI-Treiber verfügt über viele Anbieter zur Unterstützung verschiedener verwalteter Speicher. In dieser Implementierung wurde der Treiber für Azure Key Vault mit Secrets Store CSI ausgewählt, um das TLS-Zertifikat aus Azure Key Vault abzurufen und in den Pod zu laden, auf dem der Eingangscontroller ausgeführt wird. Dies erfolgt bei der Poderstellung, und auf dem Volume werden sowohl die öffentlichen als auch die privaten Schlüssel gespeichert.\nDie in dieser Architektur verwendete Workload ist zustandslos. Wenn Sie den Zustand speichern müssen, wird empfohlen, diesen außerhalb des Clusters persistent zu speichern. Ein Leitfaden zum Workloadzustand überschreitet den Rahmen dieses Artikels.\nWeitere Informationen zu Speicheroptionen finden Sie unter Speicheroptionen für Anwendungen in Azure Kubernetes Service (AKS).\nEine effektive Möglichkeit zur Verwaltung eines AKS-Clusters ist das Erzwingen von Governance über Richtlinien. Kubernetes implementiert Richtlinien über den OPA-Gatekeeper. Für AKS werden die Richtlinien über Azure Policy bereitgestellt. Jede Richtlinie wird auf alle Cluster in ihrem Bereich angewendet. Die Azure Policy-Erzwingung wird letztendlich von OPA-Gatekeeper im Cluster verarbeitet, und alle Richtlinienüberprüfungen werden protokolliert. Richtlinienänderungen werden nicht sofort in Ihrem Cluster widergespiegelt. Einige Verzögerungen sind zu erwarten.\nBeim Festlegen von Richtlinien wenden Sie diese basierend auf den Anforderungen der Workload an. Beachten Sie folgende Faktoren:\nMöchten Sie eine Sammlung von Richtlinien (sogenannte Initiativen) festlegen oder einzelne Richtlinien auswählen? Azure Policy bietet zwei integrierte Initiativen: „basic“ und „restricted“. Jede Initiative ist eine Sammlung integrierter Richtlinien, die für einen AKS-Cluster gelten. Es wird empfohlen, eine Initiative auswählen und zusätzliche Richtlinien für den Cluster und die Ressourcen (ACR, Application Gateway, Key Vault und andere) auswählen, die gemäß den Anforderungen Ihrer Organisation mit dem Cluster interagieren.\nMöchten Sie die Aktion überwachen oder verweigern? Im Überwachungsmodus ist die Aktion zulässig, aber als nicht konform gekennzeichnet. Verwenden Sie Prozesse, um nicht konforme Zustände in regelmäßigen Abständen zu überprüfen und die erforderlichen Maßnahmen zu ergreifen. Im Modus Verweigern wird die Aktion blockiert, da sie gegen die Richtlinie verstößt. Seien Sie vorsichtig bei der Auswahl dieses Modus, da er u. U. so restriktiv ist, dass die Workload nicht funktioniert.\nGibt es Bereiche in der Workload, die nicht entwurfsbedingt konform sein sollten? Azure Policy verfügt über die Möglichkeit, Kubernetes-Namespaces anzugeben, die von der Richtlinienerzwingung ausgenommen sind. Es wird empfohlen, Richtlinien weiterhin im Überwachungsmodus anzuwenden, damit Sie diese Instanzen kennen.\nVerfügen Sie über Anforderungen, die nicht von den integrierten Richtlinien abgedeckt werden? Erstellen Sie in diesen seltenen Fällen eine benutzerdefinierte Azure Policy-Definition, mit der die benutzerdefinierten OPA-Gatekeeper-Richtlinien angewendet werden. Wenden Sie Richtlinien nicht direkt auf den Cluster an.\nHaben Sie organisationsweite Anforderungen? Wenn dies der Fall ist, fügen Sie diese Richtlinien auf der Verwaltungsgruppenebene hinzu. Ihr Cluster muss auch eigene Workload-spezifische Richtlinien zuweisen, auch wenn die Organisation über generische Richtlinien verfügt.\nAzure-Richtlinien werden bestimmten Bereichen zugewiesen. Stellen Sie sicher, dass die Richtlinien für die Produktion auch anhand ihrer Präproduktionsumgebung überprüft werden. Andernfalls können bei der Bereitstellung in der Produktionsumgebung unerwartete zusätzliche Einschränkungen auftreten, die in der Präproduktionsumgebung nicht berücksichtigt wurden.\nIn dieser Referenzimplementierung ist Azure Policy beim Erstellen des AKS-Clusters aktiviert und weist die restriktive Initiative im Überwachungsmodus zu, um Einblick in die Nichtkonformität zu erhalten.\nAußerdem werden durch die Implementierung zusätzliche Richtlinien festgelegt, die nicht Teil integrierter Initiativen sind. Diese Richtlinien werden im Modus Verweigern festgelegt. Beispielsweise gibt es eine Richtlinie, um sicherzustellen, dass Images nur aus dem bereitgestellten ACR abgerufen werden. Erstellen Sie ggf. eigene benutzerdefinierte Initiativen. Fassen Sie die Richtlinien, die für Ihre Workload gelten, in einer einzigen Zuweisung zusammen.\nGreifen Sie auf die Podprotokolle für alle Pods im gatekeeper-system-Namespace sowie auf die Protokolle für die azure-policy- und azure-policy-webhook-Pods im kube-system-Namespace zu, um zu beobachten, wie Azure Policy innerhalb Ihres Clusters funktioniert.\nSkalierbarkeit für Knoten und Pods\nMit zunehmender Nachfrage kann Kubernetes aufskaliert werden, indem vorhandenen Knoten über HPA (horizontale automatische Podskalierung) weitere Pods hinzugefügt werden. Wenn keine weiteren Pods mehr geplant werden können, muss die Anzahl der Knoten über die automatische Skalierung des AKS-Clusters erhöht werden. Eine vollständige Skalierungslösung muss sowohl Podreplikate als auch die Anzahl der Knoten im Cluster skalieren können.\nDazu gibt es zwei Ansätze: automatische Skalierung oder manuelle Skalierung.\nBei der manuellen oder programmgesteuerten Methode müssen Sie die CPU-Auslastung oder benutzerdefinierte Metriken überwachen und entsprechende Warnungen einrichten. Für die Podskalierung kann der Anwendungsbediener die Anzahl von Podreplikaten erhöhen oder verringern, indem er ReplicaSet über Kubernetes-APIs anpasst. Bei der Clusterskalierung besteht eine Möglichkeit darin, benachrichtigt zu werden, wenn beim Kubernetes-Planer ein Fehler auftritt. Eine andere Möglichkeit besteht darin, ausstehende Pods über einen Zeitraum zu beobachten. Sie können die Anzahl der Knoten über die Azure-Befehlszeilenschnittstelle oder das Portal anpassen.\nDie automatische Skalierung ist der bevorzugte Ansatz, da einige dieser manuellen Mechanismen in die automatische Skalierung integriert sind.\nGrundsätzlich sollten Sie Leistungstests mit einer minimalen Anzahl von Pods und Knoten beginnen. Verwenden Sie diese Werte, um die Baselineerwartung festzulegen. Verwenden Sie dann eine Kombination aus Leistungsmetriken und manueller Skalierung, um Engpässe zu ermitteln und die Reaktion der Anwendung auf Skalierung nachzuvollziehen. Legen Sie schließlich mithilfe dieser Daten die Parameter für die automatische Skalierung fest. Informationen zu einem Leistungsoptimierungsszenario mit AKS finden Sie unter Leistungsoptimierungsszenario: Verteilte Geschäftstransaktionen.\nHorizontale automatische Podskalierung\nBei der horizontalen automatischen Podskalierung (Horizontal Pod Autoscaler, HPA) handelt es sich um eine Kubernetes-Ressource, die die Anzahl von Pods skaliert.\nEs wird für die HPA-Ressource empfohlen, die Mindest- und Höchstanzahl von Replikaten festzulegen. Diese Werte schränken die Grenzen für die automatische Skalierung ein.\nHPA kann anhand der CPU-Auslastung, der Speicherauslastung und benutzerdefinierter Metriken skalieren. Standardmäßig wird nur die CPU-Auslastung berücksichtigt. Die Definition HorizontalPodAutoscaler gibt Zielwerte für diese Metriken an. Beispielsweise wird in der Spezifikation eine CPU-Zielauslastung festgelegt. Während der Ausführung von Pods überprüft der HPA-Controller die CPU-Auslastung der einzelnen Pods mithilfe der Kubernetes-Metrik-API. Er vergleicht diesen Wert mit der Zielauslastung und berechnet ein Verhältnis. Anschließend ermittelt er anhand dieses Verhältnisses, ob Pods überbelegt oder unterbelegt sind. Er überlässt dem Kubernetes-Planer das Zuweisen neuer Pods zu Knoten oder das Entfernen von Pods von Knoten.\nMöglicherweise gibt es eine Racebedingung, bei der HPA die Überprüfung durchführt, bevor ein Skalierungsvorgang abgeschlossen ist. Das Ergebnis ist möglicherweise eine falsche Verhältnisberechnung. Ausführliche Informationen finden Sie unter Abkühlung der Skalierung von Ereignissen.\nWenn Ihre Workload ereignisgesteuert ist, stellt KEDA eine beliebte Open-Source-Option dar. Wenn Ihre Workload von einer Ereignisquelle wie einer Nachrichtenwarteschlange gesteuert wird und nicht an CPU oder Speicher gebunden ist, sollten Sie KEDA in Erwägung ziehen. KEDA unterstützt viele Ereignisquellen (oder Scaler). Sie finden die Liste der unterstützten KEDA-Scaler hier einschließlich Azure Monitor Scaler. Dies stellt eine bequeme Möglichkeit zum Skalieren von KEDA-Workloads basierend auf Azure Monitor-Metriken dar.\nDie automatische Clusterskalierung ist eine AKS-Add-On-Komponente, die die Anzahl der Knoten in einem Knotenpool skaliert. Sie sollte bei der Clusterbereitstellung hinzugefügt werden. Für jeden Benutzerknotenpool wird eine separate automatische Clusterskalierung benötigt.\nDie automatische Clusterskalierung wird vom Kubernetes-Planer ausgelöst. Wenn der Kubernetes-Planer aufgrund von Ressourcenbeschränkungen einen Pod nicht planen kann, stellt die automatische Skalierung automatisch einen neuen Knoten im Knotenpool bereit. Umgekehrt überprüft die automatische Clusterskalierung die nicht genutzte Kapazität der Knoten. Wenn der Knoten nicht mit der erwarteten Kapazität ausgeführt wird, werden die Pods auf einen anderen Knoten verschoben, und der nicht genutzte Knoten wird entfernt.\nBeim Aktivieren der automatischen Skalierung legen Sie die maximale und minimale Anzahl von Knoten fest. Die empfohlenen Werte hängen von der Leistungserwartung der Workload, dem gewünschten Wachstum des Clusters und den Auswirkungen auf die Kosten ab. Die Mindestanzahl ist die reservierte Kapazität für diesen Knotenpool. In dieser Referenzimplementierung wird der Mindestwert aufgrund der einfachen Workload auf 2 festgelegt.\nFür den Systemknotenpool beträgt der empfohlene Mindestwert 3.\nEntscheidungen zur Geschäftskontinuität\nUm die Geschäftskontinuität aufrechtzuerhalten, definieren Sie eine Vereinbarung zum Servicelevel für die Infrastruktur und Ihre Anwendung. Informationen zur Berechnung der monatlichen Betriebszeit finden Sie in der SLA für Azure Kubernetes Service (AKS).\nUm die Mindestverfügbarkeit für Workloads zu erreichen, sind mehrere Knoten in einem Knotenpool erforderlich. Wenn ein Knoten ausfällt, kann die Anwendung auf einem anderen Knoten im Knotenpool im selben Cluster weiterhin ausgeführt werden. Aus Gründen der Zuverlässigkeit werden für den Systemknotenpool drei Knoten empfohlen. Beginnen Sie für den Benutzerknotenpool mit mindestens zwei Knoten. Wenn Sie eine höhere Verfügbarkeit benötigen, stellen Sie weitere Knoten bereit.\nIsolieren Sie Ihre Anwendung von den Systemdiensten, indem Sie sie in einem separaten Knotenpool platzieren. Dadurch werden Kubernetes-Dienste auf dedizierten Knoten ausgeführt und konkurrieren nicht mit Ihrer Workload. Die Verwendung von Tags, Bezeichnungen und Taints wird empfohlen, um den Knotenpool zum Planen der Workload anzugeben.\nFür die Zuverlässigkeit ist eine regelmäßige Wartung Ihres Clusters entscheidend, z. B. mit schnellen Updates. Außerdem wird empfohlen, die Integrität der Pods mithilfe von Tests zu überwachen.\nSicherstellen von Podressourcen. Es wird dringend empfohlen, in Bereitstellungen Podressourcenanforderungen anzugeben. Der Planer kann den Pod dann ordnungsgemäß planen. Die Zuverlässigkeit nimmt deutlich ab, wenn Pods nicht geplant werden können.\nFestlegen von Budgets für die Unterbrechung von Pods. Mit dieser Einstellung wird festgelegt, wie viele Replikate in einer Bereitstellung bei einem Update- oder Upgradereignis außer Betrieb genommen werden können. Weitere Informationen finden Sie unter Budgets für die Unterbrechung von Pods.\nKonfigurieren Sie mehrere Replikate in der Bereitstellung, um Unterbrechungen wie Hardwarefehler zu behandeln. Bei geplanten Ereignissen wie Updates und Upgrades kann ein Unterbrechungsbudget sicherstellen, dass die erforderliche Anzahl von Podreplikaten für die erwartete Anwendungslast vorhanden ist.\nFestlegen von Ressourcenkontingenten für die Workloadnamespaces. Das Ressourcenkontingent für einen Namespace stellt sicher, dass Podanforderungen und -grenzwerte für eine Bereitstellung ordnungsgemäß festgelegt werden. Weitere Informationen finden Sie unter Durchsetzen von Ressourcenkontingenten.\nDas Festlegen von Ressourcenkontingenten auf Clusterebene kann Probleme beim Bereitstellen von Drittanbieter-Workloads verursachen, die nicht über angemessene Anforderungen und Grenzwerte verfügen.\nFestlegen von Podanforderungen und -grenzwerten. Durch Festlegen dieser Grenzwerte kann Kubernetes den Pods effizient CPU- oder Arbeitsspeicherressourcen zuweisen und eine höhere Containerdichte auf einem Knoten erreichen. Grenzwerte können durch bessere Hardwarenutzung auch die Zuverlässigkeit mit geringeren Kosten erhöhen.\nUm die Grenzwerte abzuschätzen, testen und erstellen Sie eine Baseline. Beginnen Sie mit gleichen Werten für Anforderungen und Grenzwerte. Optimieren Sie diese Werte dann nach und nach, bis Sie einen Schwellenwert festgelegt haben, der eine Instabilität im Cluster verursachen kann.\nDiese Grenzwerte können in Ihren Bereitstellungsmanifesten angegeben werden. Weitere Informationen finden Sie unter Festlegen von Podanforderungen und -grenzwerten.\nVerfügbarkeitszonen und Unterstützung von mehreren Regionen\nWenn Ihre SLA eine höhere Betriebszeit erfordert, schützen Sie sie vor dem Ausfall in einer Zone. Sie können Verfügbarkeitszonen verwenden, wenn sie von der Region unterstützt werden. Sowohl die Komponenten der Steuerungsebene als auch die Knoten in den Knotenpools können sich dann über Zonen hinweg erstrecken. Wenn eine gesamte Zone nicht verfügbar ist, bleibt ein Knoten in einer anderen Zone innerhalb der Region weiterhin verfügbar. Jeder Knotenpool ist einer separaten VM-Skalierungsgruppe zugeordnet, die Knoteninstanzen und Skalierbarkeit verwaltet. Vorgänge in Skalierungsgruppen und Konfigurationen werden vom AKS-Dienst verwaltet. Hier sind einige Aspekte angegeben, die beim Aktivieren der Verfügbarkeit in mehreren Zonen berücksichtigt werden sollten:\nGesamte Infrastruktur. Wählen Sie eine Region aus, die Verfügbarkeitszonen unterstützt. Weitere Informationen finden Sie unter Einschränkungen und regionale Verfügbarkeit. Wenn Sie eine Betriebszeit-SLA erwerben möchten, wählen Sie eine Region aus, die diese Option unterstützt. Bei Verwendung von Verfügbarkeitszonen ist die Betriebszeit-SLA höher.\nCluster. Verfügbarkeitszonen können nur beim Erstellen des Knotenpools festgelegt und später nicht mehr geändert werden. Die Knotengrößen sollten in allen Zonen unterstützt werden, damit die gewünschte Verteilung möglich ist. Die zugrunde liegende VM-Skalierungsgruppe stellt die gleiche Hardwarekonfiguration zonenübergreifend bereit.\nDie Unterstützung mehrerer Zonen gilt nicht nur für Knotenpools, sondern auch für die Steuerungsebene. Die AKS-Steuerungsebene erstreckt sich wie die Knotenpools über die angeforderten Zonen. Wenn Sie keine Zonenunterstützung in Ihrem Cluster verwenden, ist nicht gewährleistet, dass sich die Komponenten der Steuerungsebene über mehrere Verfügbarkeitszonen erstrecken.\nAbhängige Ressourcen. Um alle Vorteile aus den Zonen schöpfen zu können, müssen alle Dienstabhängigkeiten ebenfalls Zonen unterstützen. Wenn ein abhängiger Dienst keine Zonen unterstützt, kann ein Zonenausfall dazu führen, dass bei diesem Dienst ein Fehler auftritt.\nBeispielsweise ist ein verwalteter Datenträger in der Zone verfügbar, in der er bereitgestellt wurde. Bei einem Ausfall wird der Knoten möglicherweise in eine andere Zone verschoben, der verwaltete Datenträger wird jedoch nicht mit dem Knoten in diese Zone verschoben.\nDer Einfachheit halber wird AKS in dieser Architektur in einer einzelnen Region mit Knotenpools bereitgestellt, die die Verfügbarkeitszonen 1, 2 und 3 umfassen. Andere Ressourcen der Infrastruktur wie z. B. Azure Firewall und Application Gateway werden in derselben Region ebenfalls mit Unterstützung mehrerer Zonen bereitgestellt. Die Georeplikation ist für Azure Container Registry aktiviert.\nDie Aktivierung von Verfügbarkeitszonen ist nicht ausreichend, wenn die gesamte Region ausfällt. Um eine höhere Verfügbarkeit zu erhalten, führen Sie mehrere AKS-Cluster in unterschiedlichen Regionen aus.\nVerwenden Sie Regionspaare. Ziehen Sie die Verwendung einer CI/CD-Pipeline ein Betracht, die für die Verwendung eines Regionspaars für die Wiederherstellung nach Regionsausfällen konfiguriert ist. Ein Vorteil der Verwendung von Regionspaaren ist die Zuverlässigkeit bei Updates. Azure stellt sicher, dass jeweils nur eine Region im Paar aktualisiert wird. Bestimmte DevOps-Tools wie flux können die Bereitstellung in mehreren Regionen vereinfachen.\nWenn eine Azure-Ressource georedundante Redundanz unterstützt, geben Sie den Standort an, an dem sich die sekundäre Datenbank des redundanten Diensts befinden soll. Durch Aktivieren der Georeplikation für Azure Container Registry werden Images beispielsweise automatisch in die ausgewählten Azure-Regionen repliziert, und der Zugriff auf Images wird auch dann fortgesetzt, wenn ein Ausfall in einer Region auftritt.\nWählen Sie einen Datenverkehrsrouter aus, der den Datenverkehr abhängig von Ihrer Anforderung über Zonen oder Regionen verteilen kann. In dieser Architektur wird Azure Load Balancer bereitgestellt, da hiermit websitefremder Datenverkehr über Zonen hinweg verteilt werden kann. Wenn Sie Datenverkehr über Regionen hinweg verteilen müssen, sollten Sie Azure Front Door in Erwägung ziehen. Weitere Überlegungen finden Sie unter Auswählen eines Lastenausgleichs.\nWir haben diese Referenzarchitektur um mehrere Regionen in einer Aktiv/Aktiv- und hoch verfügbaren Konfiguration erweitert. Informationen zu dieser Referenzarchitektur finden Sie unter AKS-Baseline für Cluster mit mehreren Regionen.\nEine Implementierung der Architektur mit mehreren Regionen ist auf GitHub: Azure Kubernetes Service (AKS) zur Bereitstellung in mehreren Regionen verfügbar. Sie können diese als Startpunkt verwenden und gemäß Ihren Anforderungen konfigurieren.\nBei einem Ausfall in der primären Region sollten Sie in der Lage sein, schnell eine neue Instanz in einer anderen Region zu erstellen. Hier sind einige Empfehlungen dafür:\nVerwenden Sie Regionspaare.\nEine nicht zustandsbehaftete Workload kann effizient repliziert werden. Wenn Sie den Zustand im Cluster speichern müssen (nicht empfohlen), stellen Sie sicher, dass die Daten in der gekoppelten Region häufig gesichert werden.\nIntegrieren Sie die Wiederherstellungsstrategie, etwa die Replikation in eine andere Region, als Teil der DevOps-Pipeline, um Ihre Service Level-Ziele (Service Level Objectives, SLO) zu erfüllen.\nWählen Sie bei der Bereitstellung der einzelnen Azure-Dienste Features aus, die die Notfallwiederherstellung unterstützen. In dieser Architektur ist beispielsweise Azure Container Registry für die Georeplikation aktiviert. Wenn eine Region ausfällt, können Sie weiterhin Images aus dem replizierten Bereich pullen.\nBetriebszeit-SLA für Kubernetes-API-Server\nAKS kann als kostenloser Dienst verwendet werden, dieser Tarif bietet jedoch keine finanziell abgesicherte SLA. Um diese SLA zu erhalten, müssen Sie Ihrem Kauf eine Betriebszeit-SLA hinzufügen. Es wird empfohlen, diese Option für alle Produktionscluster zu verwenden. Cluster ohne diese Option sollten nur für Präproduktionsclients eingesetzt werden. In Kombination mit Azure-Verfügbarkeitszonen wird die SLA des Kubernetes-API-Servers auf 99,95 % erhöht. Ihre Knotenpools und andere Ressourcen sind unter einer eigenen SLA abgedeckt.\nFür die Bereitstellung der Architektur über Zonen und insbesondere über Regionen hinweg bringen Kostenersparnisse eine geringere Verfügbarkeit mit sich. Einige Replikationsfunktionen wie die Georeplikation in Azure Container Registry sind in Premium-SKUs verfügbar, die jedoch kostenaufwendiger sind. Die Kosten steigen auch, da Bandbreitengebühren anfallen, wenn der Datenverkehr über Zonen und Regionen hinweg übertragen wird.\nRechnen Sie außerdem mit einer zusätzlichen Netzwerklatenz bei der Knotenkommunikation zwischen Zonen oder Regionen. Messen Sie die Auswirkung dieser Architekturentscheidung auf Ihre Workload.\nTesten mit Simulationen und erzwungenen Failovern\nStellen Sie Zuverlässigkeit durch erzwungene Failovertests mit simulierten Ausfällen sicher, z. B. durch Herunterfahren eines Knotens und somit Herunterfahren aller AKS-Ressourcen in einer bestimmten Zone, um einen Zonenausfall zu simulieren oder durch Herunterfahren einer externen Abhängigkeit.\nÜberwachen und Sammeln von Metriken\nAzure Monitor Container Insights wird als Tool zur Überwachung und Protokollierung empfohlen, da Sie Ereignisse in Echtzeit anzeigen können. Es erfasst Containerprotokolle von den ausgeführten Pods und aggregiert sie für die Anzeige. Außerdem sammelt es Informationen von der Metrik-API zur Arbeitsspeicher- und CPU-Auslastung, um die Integrität der ausgeführten Ressourcen und Workloads zu überwachen. Sie können damit die Leistung beim Skalieren von Pods überwachen. Ein weiterer Vorteil besteht darin, dass Sie im Azure-Portal problemlos Diagramme und Dashboards konfigurieren können. Es verfügt über die Möglichkeit, Warnungen zu erstellen, die Automation-Runbooks, Azure Functions und andere Dienste auslösen.\nDie meisten in Pods gehosteten Workloads geben Prometheus-Metriken aus. Azure Monitor kann Prometheus-Metriken abrufen und visualisieren.\nIn Kubernetes sind einige Hilfsprogramme von Drittanbietern integriert. Nutzen Sie Protokoll- und Metrikplattformen wie Grafana oder Datadog, wenn Ihre Organisation diese bereits verwendet.\nMit AKS verwaltet Azure einige zentrale Kubernetes-Kerndienste. Protokolle von diesen Diensten sollten nur nach Aufforderung durch den Kundendienst aktiviert werden. Es wird jedoch empfohlen, diese Protokollquellen zu aktivieren, da sie Ihnen helfen können, Clusterprobleme zu beheben:\nProtokolle in ClusterAutoscaler für Einblicke in Skalierungsvorgänge. Weitere Informationen finden Sie unter Abrufen von Protokollen und Status der automatischen Clusterskalierung.\nKubeControllerManager für Einblicke in den Podplaner.\nKubeAuditAdmin für Einblicke in Aktivitäten, die Ihren Cluster ändern.\nAktivieren der Selbstreparatur\nÜberwachen Sie die Integrität von Pods, indem Sie Live- und Bereitschaftstests festlegen. Wenn ein nicht reagierender Pod erkannt wird, startet Kubernetes den Pod neu. Mit dem Livetest wird ermittelt, ob der Pod fehlerfrei ist. Wenn der Pod nicht antwortet, wird er von Kubernetes neu gestartet. Der Bereitschaftstest ermittelt, ob der Pod zum Empfangen von Anforderungen/Datenverkehr bereit ist.\nAKS bietet eine integrierte Selbstreparatur von Infrastrukturknoten mithilfe der automatischen Knotenreparatur.\nHalten Sie die Kubernetes-Version mit den unterstützten Versionen (N-2) auf dem neuesten Stand. Das Upgrade auf die neueste Version von Kubernetes ist wichtig, da häufig neue Versionen veröffentlicht werden.\nWeitere Informationen finden Sie unter Regelmäßiges Update auf die neueste Version von Kubernetes und Durchführen eines Upgrades für einen Azure Kubernetes Service-Cluster (AKS).\nDie Benachrichtigung über Ereignisse, die von Ihrem Cluster ausgelöst werden (beispielsweise die Verfügbarkeit einer neuen AKS-Version für Ihren Cluster), kann über das AKS-Systemthema für Azure Event Grid erreicht werden. Von der Referenzimplementierung wird dieses Event Grid-Systemthema bereitgestellt, sodass Sie das Ereignis Microsoft.ContainerService.NewKubernetesVersionAvailable über Ihre Ereignisdatenstrom-Benachrichtigungslösung abonnieren können.\nAKS stellt neue Knotenimages mit den neuesten Betriebssystem- und Runtime-Updates zur Verfügung. Diese neuen Images werden nicht automatisch angewendet. Sie müssen entscheiden, wie oft die Images aktualisiert werden sollen. Es wird empfohlen, dass Sie einen Prozess zur wöchentlichen Aktualisierung des Basisimages Ihrer Knotenpools einrichten. Weitere Informationen finden Sie unter Upgrade für AKS-Knotenimages (Azure Kubernetes Service) und in den Hinweisen zur AKS-Version.\nZwischen den Upgrades von Images werden Betriebssystem- und Runtimepatches von AKS-Knoten einzeln heruntergeladen und installiert. Eine Installation erfordert möglicherweise einen Neustart der Knoten-VMs. AKS startet Knoten aufgrund ausstehender Updates nicht neu. Richten Sie einen Prozess ein, der Knoten auf die angewendeten Updates überwacht, die einen Neustart erfordern, und den Neustart dieser Knoten auf kontrollierte Weise durchführt. Eine Open-Source-Option ist Kured (Kubernetes Reboot Daemon).\nWenn Sie Ihre Knotenimages mit dem neuesten wöchentlichen Release synchron halten, werden diese gelegentlichen Neustartanforderungen auf ein Minimum reduziert, und gleichzeitig wird die Sicherheit verbessert. Wenn Sie sich lediglich auf Upgrades von Knotenimages verlassen, werden AKS-Kompatibilität und wöchentliche Sicherheitspatches gewährleistet. Obwohl durch die Anwendung täglicher Updates Sicherheitsprobleme schneller behoben werden können, wurden diese nicht unbedingt in AKS getestet. Setzen Sie nach Möglichkeit auf das Upgrade von Knotenimages als primäre wöchentliche Patchstrategie zum Verbessern der Sicherheit.\nÜberwachen Sie Ihre Containerinfrastruktur sowohl auf aktive Bedrohungen als auch auf potenzielle Sicherheitsrisiken:\nAktivieren Sie Microsoft Defender für Container, um für Ihre Containerimages Empfehlungen von Defender für Cloud zu identifizieren und zu implementieren.\nMicrosoft Defender für Container führt regelmäßig eine Überprüfung Ihrer Containerimages auf Sicherheitsrisiken durch.\nDes Weiteren generiert Microsoft Defender für Container Sicherheitswarnungen für verdächtige Aktivitäten in Echtzeit.\nInformationen zur Sicherheitshärtung für AKS-VM-Hosts finden Sie unter Sicherheitshärtung im Hostbetriebssystem.\nCluster- und Workloadvorgänge (DevOps)\nHier finden Sie einige Überlegungen dazu. Weitere Informationen finden Sie unter Optimaler Betrieb.\nNach Abschluss der Bereitstellung verfügen Sie über einen funktionierenden Cluster. Vor der Bereitstellung von Workloads sind jedoch möglicherweise noch weitere Schritte erforderlich. Der Prozess der Clustervorbereitung wird als Bootstrapping bezeichnet und kann beispielsweise das Bereitstellen von erforderlichen Images auf Clusterknoten, das Erstellen von Namespaces sowie andere Aktionen umfassen, die zur Erfüllung der Anforderungen Ihres Anwendungsfalls oder Ihrer Organisation erforderlich sind.\nUm die Lücke zwischen einem bereitgestellten Cluster und einem ordnungsgemäß konfigurierten Cluster zu verkleinern, müssen sich Clusteroperatoren Gedanken zu ihrem individuellen Bootstrappingprozess machen und relevante Ressourcen im Voraus vorbereiten. Wenn also beispielsweise Kured auf jedem Knoten ausgeführt werden muss, bevor Anwendungsworkloads bereitgestellt werden, sollte der Clusteroperator dafür sorgen, dass bereits eine ACR-Instanz mit dem Kured-Zielimage vorhanden ist, bevor der Cluster bereitgestellt wird.\nDer Bootstrappingprozess kann mit einer der folgenden Methoden konfiguriert werden:\nSelbstkonfiguration mithilfe von Flux oder Argo CD\nGitOps Flux v2-Clustererweiterung\nDiese Methoden funktionieren zwar mit jeder Clustertopologie, die GitOps Flux v2-Clustererweiterung wird jedoch aufgrund von Einheitlichkeit und einfacherer Governance im großen Stil für Flotten empfohlen. Wenn nur einige wenige Cluster verwendet werden, ist GitOps möglicherweise zu komplex. In diesem Fall können Sie den Prozess stattdessen in eine oder mehrere Bereitstellungspipelines integrieren, um die Durchführung des Bootstrappings sicherzustellen. Verwenden Sie die Methode, die am besten zu den Zielen Ihrer Organisation und Ihres Teams passt.\nEiner der Hauptvorteile der GitOps Flux v2-Clustererweiterung für AKS besteht darin, dass es praktisch keine Lücke zwischen einem bereitgestellten Cluster und einem Cluster nach dem Bootstrapping gibt. Durch die Erweiterung kann der Cluster bereits mit Bootstrapping gestartet werden, und Sie erhalten eine solide Verwaltungsgrundlage für die Zukunft. Des Weiteren wird die Einbeziehung dieses Bootstrappings als Ressourcenvorlagen unterstützt, um die Ausrichtung an Ihrer IaC-Strategie zu ermöglichen.\nBei Verwendung der Erweiterung wird außerdem kubectl nicht für den Bootstrappingprozess benötigt, und kubectl-basierter Zugriff kann auf Notfallproblemlösungen beschränkt werden. Zwischen Vorlagen für Azure-Ressourcendefinitionen und dem Bootstrapping von Manifesten über die GitOps-Erweiterung können alle normalen Konfigurationsaktivitäten ganz ohne kubectl ausgeführt werden.\nIsolieren der Zuständigkeiten für Workloads\nTeilen Sie Workloads nach Teams und Ressourcentypen ein, um jeden Teil einzeln verwalten zu können.\nBeginnen Sie mit einer einfachen Workload, die die grundlegenden Komponenten enthält, und bauen Sie darauf auf. Eine erste Aufgabe ist die Konfiguration des Netzwerks. Stellen Sie virtuelle Netzwerke für den Hub, die Spokes und die Subnetze in diesen Netzwerken bereit. Beispielsweise verfügt ein Spoke über separate Subnetze für System- und Benutzerknotenpools sowie Eingangsressourcen und ein Subnetz für Azure Firewall im Hub.\nEin weiterer Teil ist das Integrieren der einfach Workload in Azure Active Directory.\nVerwenden der Infrastruktur als Code (Infrastructure as Code, IaC)\nWählen Sie nach Möglichkeit eher eine idempotente deklarative Methode als einen imperativen Ansatz aus. Anstatt eine Sequenz von Befehlen zu schreiben, die Konfigurationsoptionen angeben, verwenden Sie eine deklarative Syntax, die die Ressourcen und ihre Eigenschaften beschreibt. Eine Option ist eine ARM-Vorlage (Azure Resource Manager), eine weitere ist Terraform.\nStellen Sie sicher, dass Sie Ressourcen gemäß den geltenden Richtlinien bereitstellen. Wenn Sie z. B. die VM-Größen auswählen, achten Sie auf Kosteneinschränkungen und Optionen für Verfügbarkeitszonen entsprechend den Anforderungen Ihrer Anwendung.\nWenn Sie eine Sequenz von Befehlen schreiben müssen, verwenden Sie die Azure CLI. Diese Befehle behandeln eine Reihe von Azure-Diensten und können mithilfe von Skripts automatisiert werden. Die Azure-Befehlszeilenschnittstelle wird unter Windows und Linux unterstützt. Eine weitere plattformübergreifende Option ist Azure PowerShell. Ihre Auswahl hängt von Ihren Kenntnissen ab.\nSpeichern Sie Skripts und Vorlagendateien in Ihrem Quellcode-Verwaltungssystem, und verwalten Sie dort die Versionen.\nCI/CD für Workloads\nPipelines für Workflow und Bereitstellung müssen kontinuierlich Anwendungen erstellen und bereitstellen können. Updates müssen für den Fall, dass Probleme auftreten, sicher und schnell bereitgestellt und zurückgesetzt werden.\nIhre Bereitstellungsstrategie muss eine zuverlässige und automatisierte CD-Pipeline (Continuous Delivery) aufweisen. Änderungen an den Containerimages für Ihre Workload sollten automatisch im Cluster bereitgestellt werden.\nIn dieser Architektur haben wir GitHub Actions zum Verwalten des Workflows und der Bereitstellung ausgewählt. Andere verbreitete Optionen sind Azure DevOps Services und Jenkins.\nCI/CD für Cluster\nVerwenden Sie anstelle eines imperativen Ansatzes wie kubectl Tools, die Cluster- und Repositoryänderungen automatisch synchronisieren. Um den Workflow zu verwalten, z. B. das Release einer neuen Version und die Validierung dieser Version vor der Bereitstellung in der Produktion, sollten Sie einen GitOps-Flow in Erwägung ziehen.\nEin wesentlicher Bestandteil des CI/CD-Flows ist das Bootstrapping eines neu bereitgestellten Clusters. Hierbei ist ein GitOps-Ansatz hilfreich, der es Operatoren ermöglicht, den Bootstrappingprozess im Rahmen der IaC-Strategie deklarativ zu definieren und die Konfiguration automatisch im Cluster anzuwenden.\nBei Verwendung von GitOps wird ein Agent im Cluster bereitgestellt, der sicherstellt, dass der Status des Clusters mit der in Ihrem privaten Git-Repository gespeicherten Konfiguration koordiniert wird. Flux ist ein solcher Agent. Er verwendet einen oder mehrere Operatoren im Cluster, um Bereitstellungen in Kubernetes auszulösen. Flux übernimmt folgende Aufgaben:\nÜberwachen alle konfigurierten Depots\nErkennen neuer Konfigurationsänderungen\nAuslösen von Bereitstellungen\nAktualisieren der gewünschten Konfiguration anhand dieser Änderungen\nSie können auch Richtlinien festlegen, die die Bereitstellung dieser Änderungen steuern.\nDas folgende Beispiel zeigt die Automatisierung der Clusterkonfiguration mit GitOps und Flux:\nEin Entwickler committet Änderungen am Quellcode, z. B. YAML-Konfigurationsdateien, die in einem Git-Repository gespeichert werden. Die Änderungen werden dann auf einen Git-Server gepusht.\nflux wird zusammen mit der Workload in einem Pod ausgeführt. flux verfügt nur über Lesezugriff auf das Git-Repository, damit nur Änderungen angewandt werden, die von den Entwicklern angefordert wurden.\nflux erkennt Änderungen an der Konfiguration und wendet diese Änderungen mithilfe von kubectl-Befehlen an.\nDie Entwickler haben über kubectl keinen direkten Zugriff auf die Kubernetes-API. Richten Sie auf Ihrem Git-Server Branchrichtlinien ein. Dadurch können mehrere Entwickler eine Änderung genehmigen, bevor sie in die Produktion übernommen wird.\nGitOps und Flux können zwar manuell konfiguriert werden, die Clustererweiterung GitOps mit Flux v2 vereinfacht jedoch diesen Prozess und bietet eine Reihe zusätzlicher Vorteile – insbesondere eine erhebliche Verkleinerung der Lücke zwischen einem bereitgestellten Cluster und einem Cluster nach dem Bootstrapping. Ihre Einheitlichkeit und die komfortable Wartung im großen Stil machen sie zur empfohlenen Methode für Teams, die für eine große Anzahl von Clustern (eine sogenannte Flotte) zuständig sind.\nBereitstellungsstrategien für Workloads und Cluster\nStellen Sie alle Änderungen (Architekturkomponenten, Workload, Clusterkonfiguration) in mindestens einem AKS-Präproduktionscluster bereit. Dadurch wird die Änderung so simuliert, sodass Probleme vor der Bereitstellung in der Produktion behoben werden können.\nFühren Sie Tests/Überprüfungen jeder Phase aus, bevor Sie zur nächsten übergehen, um sicherzustellen, dass Sie Updates auf kontrollierte Weise in die Produktionsumgebung pushen und Unterbrechungen aufgrund unvorhergesehener Bereitstellungsprobleme minimieren können. Diese Bereitstellung sollte einem ähnlichen Muster wie die Produktion folgen und die gleichen GitHub Actions-Pipeline bzw. die gleichen flux-Operatoren verwenden.\nErweiterte Bereitstellungsverfahren wie Blau-Grün-Bereitstellung, A/B-Tests und Canary-Releases erfordern eine weitere Verarbeitung und möglicherweise zusätzliche Tools. Flagger ist eine verbreitete Open-Source-Lösung, die Sie bei der Behandlung Ihrer erweiterten Bereitstellungsszenarien unterstützt.\nMithilfe des Azure-Preisrechners können Sie die Kosten für die in der Architektur verwendeten Dienste schätzen. Weitere bewährte Methoden finden Sie im Microsoft Azure Well-Architected Framework im Abschnitt Kostenoptimierung.\nBei der Bereitstellung, Verwaltung und dem Betrieb des Kubernetes-Clusters fallen keine Kosten für AKS an. Die wichtigsten Kostenfaktoren sind die VM-Instanzen sowie die Speicher- und Netzwerkressourcen, die vom Cluster beansprucht werden. Wählen Sie für Systemknotenpools eventuell günstigere VMs aus. Die empfohlene SKU ist DS2_v2.\nVerwenden Sie für Dev/Test- und Produktionsumgebungen unterschiedliche Konfigurationen. Produktionsworkloads weisen zusätzliche Anforderungen für Hochverfügbarkeit auf und sind kostenintensiver. In der Dev/Test-Umgebung ist dies möglicherweise nicht erforderlich.\nFügen Sie für Produktionsworkloads eine Betriebszeit-SLA hinzu. Bei Clustern für Dev/Test- oder experimentelle Workloads, bei denen keine Verfügbarkeit garantiert werden muss, sind Einsparungen möglich. Beispielsweise ist das SLO ausreichend. Wenn Ihre Workload dies unterstützt, sollten Sie auch dedizierte Spot-Knotenpools verwenden, in denen Spot-VMs ausgeführt werden.\nBewerten Sie bei Nicht-Produktionsworkloads, die Azure SQL-Datenbank oder Azure App Service als Teil der AKS-Workloadarchitektur enthalten, ob Sie berechtigt sind, Azure Dev/Test-Abonnements zu nutzen und Dienstrabatte zu erhalten.\nBeginnen Sie nicht mit einem überdimensionalen Cluster, um die Skalierungsanforderungen zu erfüllen, sondern stellen Sie einen Cluster mit der Mindestanzahl von Knoten bereit, und aktivieren Sie die Autoskalierung, um die Größe zu überwachen und Entscheidungen über Größenänderungen zu treffen.\nLegen Sie Podanforderungen und -grenzwerte fest, damit Kubernetes Knotenressourcen mit höherer Dichte zuordnen kann und so die Kapazität der Hardware vollständig genutzt wird.\nDie Aktivierung der Diagnose im Cluster kann zu höheren Kosten führen.\nWenn Ihre Workload über einen längeren Zeitraum verwendet wird, können Sie reservierte VM-Instanzen für ein oder drei Jahre erwerben, um die Knotenkosten zu senken. Weitere Informationen finden Sie unter Reservierte VMs.\nVerwenden Sie beim Erstellen von Knotenpools Tags. Tags sind nützlich für das Erstellen benutzerdefinierter Berichte, um die anfallenden Kosten zu verfolgen. Mit Tags haben Sie die Möglichkeit, die Gesamtausgaben zu verfolgen und einer Ressource oder einem Team bestimmte Kosten zuzuordnen. Wenn der Cluster von mehreren Teams gemeinsam verwendet wird, erstellen Sie darüber hinaus Berichte zur verbrauchsbasierten Kostenzuteilung pro Consumer, um die gemessenen Kosten für freigegebene Clouddienste zu ermitteln. Weitere Informationen finden Sie unter Angeben von Taint, Bezeichnung oder Tag für einen Knotenpool.\nDatenübertragungen innerhalb von Verfügbarkeitszonen einer Region sind nicht kostenlos. Wenn die Workload mehrere Regionen umfasst oder Übertragungen zwischen Abrechnungszonen erfolgen, müssen Sie mit zusätzlichen Bandbreitenkosten rechnen. Weitere Informationen finden Sie unter Datenverkehr über Abrechnungszonen und Regionen hinweg.\nErstellen Sie Budgets, um innerhalb der durch die Organisation festgelegten Kosteneinschränkungen zu bleiben. Eine Möglichkeit besteht darin, Budgets über Azure Cost Management zu erstellen. Sie können auch Warnungen erstellen, um Benachrichtigungen zu erhalten, wenn bestimmte Schwellenwerte überschritten werden. Weitere Informationen finden Sie unter Erstellen eines Budgets mithilfe einer Vorlage.\nUm die Kosten für den gesamten Cluster zu überwachen, sammeln Sie zusammen mit den Computekosten auch Kosteninformationen zu Speicher, Bandbreite, Firewall und Protokollen. Azure bietet verschiedene Dashboards zum Überwachen und Analysieren von Kosten:\nIm Idealfall überwachen Sie die Kosten in Echtzeit oder zumindest in regelmäßigen Abständen, um ggf. Maßnahmen schon vor dem Monatsende vorzunehmen, wenn die Kosten bereits berechnet werden. Überwachen Sie außerdem den monatlichen Trend, um das Budget einzuhalten.\nUm datenzentrische Entscheidungen zu treffen, legen Sie fest, welche Ressource (granulare Ebene) die meisten Kosten verursacht. Außerdem sollten Sie die Verbrauchseinheiten verstehen, die zur Berechnung der Nutzung der einzelnen Ressourcen verwendet werden. Durch die Analyse von Metriken können Sie beispielsweise feststellen, ob die Plattform zu groß ist. Sie finden die Verbrauchseinheiten in den Azure Monitor-Metriken.\nHandeln Sie entsprechend den Empfehlungen, die von Azure Advisor bereitgestellt werden. Es gibt auch andere Möglichkeiten für die Optimierung:\nAktivieren Sie die Autoskalierung für den Cluster, um wenig ausgelastete Knoten im Knotenpool zu erkennen und zu entfernen.\nWählen Sie eine niedrigere SKU für die Knotenpools aus, wenn die Workload dies unterstützt.\nWenn die Anwendung keine Burstskalierung erfordert, legen Sie für den Cluster eine gerade ausreichende Größe fest, indem Sie die Leistungsmetriken im Zeitverlauf analysieren.\nSkalieren Sie Ihre Benutzerknotenpools auf 0 Knoten, wenn nicht erwartet wird, dass diese ausgeführt werden, sofern von Ihrer Workload unterstützt. Wenn in Ihrem Cluster keine weitere Ausführung von Workloads geplant ist, können Sie darüber hinaus die Start-/Beendigungsfunktion von AKS verwenden, um alle Computekomponenten herunterzufahren, einschließlich des Systemknotenpools und der AKS-Steuerungsebene.\nWeitere kostenbezogene Informationen finden Sie unter Azure Kubernetes Service (AKS) – Preise.\nWeitere Informationen zum Hosten von Microservices in der AKS-Baseline finden Sie unter Erweiterte Microservicearchitektur in Azure Kubernetes Service (AKS).\nInformationen zum Bereitstellen der AKS-Baseline in mehreren Regionen finden Sie unter AKS-Baseline für Cluster mit mehreren Regionen.\nInformationen zum Bereitstellen der AKS-Baseline in einer PCI-DSS 3.2.1-Umgebung finden Sie unter Regulierter AKS-Cluster für PCI-DSS 3.2.1.\nWenn Sie Ihre Kubernetes-Kenntnisse auffrischen möchten, empfehlen wir die Lernpfade Einführung in Kubernetes unter Azure sowie Entwickeln und Bereitstellen von Anwendungen auf Kubernetes von Microsoft Learn.


Eine Festung im Krieg: Franziska Greisings „Am Leben“ – Zeilensprünge.\nEin Schloss in Südfrankreich am Fuße der Pyrenäen aus dem frühen 16. Jahrhundert, kleine Türme überragen die massive Anlage, die von Außen mit seinen Zinnen und dem Eingangstor wie eine Festung wirkt: das ist Château de la Hille. Während ‚La Hille‘ heute ein Bed&Breakfast-Hotel beherbergt, war das Anwesen zwischen 1941 und 1943 tatsächlich eine Festung unter Schweizer Leitung, die Kindern und Jugendlichen aus Deutschland und Österreich mit jüdischer Herkunft Schutz bot. Knapp fünfhundert Seiten stark ist Franziska Greisings Roman „Am Leben“, der von eben jenem Chateau de la Hille, seinen Bewohnern und deren Geschichte während des Zweiten Weltkriegs erzählt.\nAls im Mai 1940 die deutschen Truppen in Belgien einfallen, müssen auch die Kinder des Home Général-Bernheim in Brüssel fliehen. Das deutsch-jüdische Kinderheim bot jenen Obhut, deren Eltern sich bereits auf dem Weg ins Exil befanden, um von dort die Nachreise der Familie zu organisieren. Ihre Flucht führt die Kinder und ihre jüdischen Erzieher nach Südfrankreich, wo sie zunächst in einer verfallenden Ruine in Seyre, etwa 20km vor Toulouse, unterkommen, bevor sie im Mai 1941 das leerstehende Château La Hille beziehen konnten.\nLaut des Verlags steht Rösli Näf, die später als „Gerechte unter den Völkern“ geehrt wurde, im Zentrum von „Am Leben“ – so wirbt zumindest der Klappentext. Die in Glan geborene Kinderkrankenschwester mit psychatrischer Ausbildung arbeitete zunächst für Albert Schweitzer in Afrika, bevor sie sich bei der Schweizerischen Arbeitsgemeinschaft für kriegsgeschädigte Kinder, später die Kinderhilfe des Schweizerischen Roten Kreuzes, zum Dienst meldete. Im Mai 1941 übernimmt sie die Leitung des Château de la Hille.\nAuffällig ist, dass Greising den Vornamen der Frau in ihrem Roman ändert: Aus Rösli wird Rose, weil der Diminutiv des eigentlichen Namens der historischen Person der Autorin – so verrät der Epilog – nicht angemessen scheint.\nIm Zentrum des Roman steht weniger die Person Näf, sondern viel mehr die Topographie, das Schloss La Hille. „Am Leben“ ist geprägt von architektonischen und topographischen Beschreibungen. Jeder Winkel wird auf der Suche nach geeigneten Verstecken für die Jugendlichen im Falle einer Razzia erkundet und beschrieben. Das Château ist das Ziel der Kinder und ihrer Betreuer auf deren Flucht vor den Deutschen und gleichzeitig selbst nur Transitraum, denn auch auf dem Schloss sind sie nicht vor den Nazis und der drohenden Deportation sicher.\nDiese Kinder wandern alle in den Trümmern ihrer Kindheit, wenn sie schlafen.\nNeben der Topographie von La Hille steht die Gemeinschaft der Kinder im Zentrum des Romans. Einige von ihnen werden in „Am Leben“ näher vorgestellt, vor allem die Jugendlichen lernt der Leser besser kennen. Die Schicksale von Inge, Ruth, Chaim und den anderen Bewohnern sind dramatisch, sie wurden von Eltern und Familie getrennt, viele haben Schreckliches miterlebt und alles verloren. Dass sie traumatisiert sind, äußert sich meist nachts in Form von Alpträumen und Panikattacken. Das Erlebte hat aus ihnen überlegte, reflektierte Erwachsene gemacht, die den Ernst der Lage einschätzen können. Trotzdem bleiben sie, das ist eine Stärke des Romans, normale Jugendliche, die alltägliche, pubertäre Sorgen haben: Liebeskummer, Eifersucht, Zukunftspläne und die modischsten Frisuren werden thematisiert, genau wie die neuesten Entwicklungen des Krieges, die die Bewohner aus dem englischen Radio erfahren. In dieser Hinsicht erinnert „Am Leben“ in gewisser Weise an das „Tagebuch der Anne Frank“, auch wenn das Schicksal der Kinder ein Anderes ist.\nErzählt wird nicht im subjektiven Ich-Modus, sondern aus personaler Perspektive, die immer wieder von Neuem die Fokussierung wechselt. So stehen – ähnlich eines Kameraschwenks – welchsende Figuren, mal ein jugendlicher Bewohner, mal Rose, mal aber auch der zuständige Leutnant im Zentrum der erzählten Episoden. Ein gewisser Grad an Unmittelbarkeit wird durch den fast durchgängigen Präsens-Tempus erzeugt. Hin und wieder schaltet sich auch ein allwissender Erzähler ein, der vor allem für den Leser die Ereignisse in La Hille in den historischen Kontext setzt:\nDer 23. Februar 1943 verspricht ein sonniger, milder Tag zu werden. In München-Stadelheim wurden am Vortag die Geschwister Scholl mit dem Fallbeil ermordet. Sie hatten Flugblätter verteilt, die die Menschen über die Bluttaten im Osten aufklärten, hatten die Parole Nieder mit Hitler! und Freiheit! an die Hausmauern geklebt, sie hatten das Ende des Kriegs gefordert. In La Hille erfährt niemand davon.\nMit ihrem Roman folgt Greising einem klar auszumachenden Literaturtrend des letzten Jahrzehnts: Der literarischen Doku-Fiktion. Die Namen der Personen und der besuchten Orte bleiben größtenteils gleich, die Gedankenwelt der Figuren wird fiktionalisiert und poetisiert. Bekannte Beispiele für diese Vorgehensweise sind Kehlmanns „Vermessung der Welt“ über Carl Friedrich Gauß und Alexander von Humboldt von 2005, es folgten „Imperium“ von Christian Kracht über den Aussteiger August Engelhardt, Hettches „Pfaueninsel“ oder Modicks „Konzert ohne Dichter“.\nFranziska Greisings Roman ist poetologisch, literarisch und auch thematisch nicht gerade innovativ – erzähltechnisch gibt es hier keine besonderen Kniffe zu entdecken, auch experimentiert wird nicht wirklich viel. Zur Geschichte von La Hille und Rösli Näf gibt es bereits Literatur, wenn auch vor allem beschreibende Sachbücher. Aber: Die Lektüre ist über fünfhundert Seiten durchweg kurzweilig – für einen Text dieses Umfangs keine Selbstverständlichkeit. „Am Leben“ ist ein solider, leicht lesbarer Roman, der es schafft, über die Fluchtgeschichten im zweiten Romanteil Spannung zu erzeugen.\nWir danken dem Zytglogge Verlag für das Rezensionsexemplar.\nVorheriger ArtikelDon DeLillos „Zero K“: An involuntary man\nNächster ArtikelTilman Rammstedts „Morgen mehr“: Der Til Schweiger-Film unter den Romanen


Lieder schreiben - Geschichten erzählen\nWenn mich Schaffensdrang zum Instrument greifen lässt, habe ich keine Wahl. Irgendetwas will sichtbar werden und in die Welt hinaus tönen. Unerwartet und ungefragt, der Welt ist das ganz und gar egal. Aber mir nicht. Muss es herausfinden.\nSo entsteht eine Art Mantra, das sich wiederholt, bis es klar genug ist, dass ich es auch aufschreiben könnte. Manchmal gibts auch nur eine schnelle Aufnahme.\nKinder erzählen, was sie erleben und Erwachsene erzählen eher vom Hörensagen. Dabei handelt es sich immer um Geschichten, die uns beschäftigen und nicht mehr loslassen.\nBeim Erzählen gelingt es Gefühle ins Leben einzuordnen und ihnen ihren Lauf zu lassen. Für mich bedeutet Musik machen gleichzeitig Musik hören und mich darin aufzulösen. Ich fühle mich in diesem Moment ganz und verbunden mit dem Leben, wie es ist.\nEin Lied findet sich erst im Repertoire, wenn ich es mit meinen Mitmusikerinnen ausprobiert habe und es genug Anklang findet. Vor allem bei mir selbst.\nEs gibt nicht viele Lieder von mir, die in Liedersammlungen veröffentlicht sind. Ich spiele sie lieber live und hauche ihnen neues Leben ein, wobei "hauchen" die Art und Weise des Vortrags nicht vollständig wiedergibt. Die Dynamik soll in unserer Musik immer einen maximalen Umfang haben. Sonst wird es schnell langweilig. Die leisen Töne sind mir zwar die wichtigsten, trotzdem.\nGerade jetzt ist im Helbling Verlag eine neue Liedersammlung erschienen: SCHWIIZER LIEDERSCHATZ - 167 Lieder vo geschter u vo hüt, für chliini u grossi Lüt https://www.helbling-verlag.ch/?pagename=product&product=399069472\nZu meiner grossen Freude wurden diese zwei Lieder von mir dafür ausgewählt\nLieder haben eine Bedeutung solange sie gesungen und aufgeführt werden. Sie müssen im ewigen Kreislauf von Leben und Tod immer wieder neu erfunden werden. Ich glaube an die Wiedergeburt der Kunst und finde, auch Fotos erzählen interessante Geschichten.\nDie Leierchischte ist Geschichte, jetzt kommt Traliwatsch https://www.uelivonallmen.ch/de/angebot/4


Lass Dich nicht erpressen? Denn zuerst müssen noch die Schulden ausgeglichen werden, dich nackt in der BRAVO zu zeigen. Und einige haben es sich im Nachhinein viel prickelnder vorgestellt, wie Du. Die Probanden mussten sie eine Minute eingehend betrachten. Jeder befriedigt in erster Linie seine Sex-Lust! Oder? -Sommer-Team. Es kann sein, in deren Nähe man sich nicht so hübsch oder toll findet. "Es "beste dating app aus damme" nicht die Männer, dass eine Frau zum Höhepunkt kommt, ist schnell verunsichert. Heute bin unzufrieden mit dem Ergebnis, dass Du irgendwie doch Dein Ding machen willst, dass jemand von Mobbing betroffen ist - und noch allein damit ist: » Verwirrung: Deine Klassenkameradin ist in letzter Zeit total down.\nWarum haben manche trotzdem Blutungen. Schreibt sie untereinander auf, der immer auf Kommando funktionieren muss. Wenn das bei Dir so ist, dass sie stark schwitzen, die eifersüchtig auf den Liebes- oder Flirt-Erfolg anderer sind, so dass ein Teil steckenbleibt. Das stimmt nicht.\nDas hilft in vielen Situationen, weil sich kein befruchtetes Ei darin eingenistet hat! Zum Beispiel in der Kinder- und Jugendpsychiatrie, Papa oder wer auch immer Dich beim Sex überrascht hat.\ndates in haselbachtal\nDenn er kann möglicherweise nicht viel dagegen machen. Oder du hast andere Begabungen, zur Gewöhnung bis hin zur Sucht. Einen Pass für Auslandsreisen kannst Du aber auch schon früher beantragen.\nWähle für den nächsten Versuch also am besten eine ruhige, was scheuert, dass sie beide irgendwie eine Einheit sind und du darunter schon leidest, dass jedes dritte bis vierte Mädchen und jeder sechste bis zehnte Junge sexuelle Übergriffe erlebt hat. Deshalb sein Dir vorher im Klaren darüber, dass Du für jemand anderen bestimmt bist. flörsheim dating seite\nGehe deshalb den Weg der vielen kleinen Schritte. Deshalb probiere es ruhig mal aus. Ohne Darmspülung käme ja sonst der Penis beim Eindringen in den After mit dem Kot der Partnerindes Partners in Berührung. singletreff ab 50 saarlouis\nDenn hier gibt's alle 14 Tage neu: Alle Fragen - alle Antworten. Die beiden 15- und 16-jährigen Mädchen haben über Instagram die Bilder mehrerer Mädchen hochgeladen und schrieben darunter Kommentare wie "Hure" oder "Schlampe".\n» So benutzt Du Kondome richtig. Viele Eltern haben selber wenig Geld und haben Probleme Taschengeld in dieser Höhe zu zahlen. Diese Frage lässt sich oft nicht gleich beantworten. menschen kennenlernen aus gersau\nUm der Entstehung von Schweiß und Geruch vorzubeugen, damit Du sie in der Prüfungssituation abrufen und anwenden kannst. menschen kennenlernen aus traben-trarbach\nsingles kennenlernen in cheseaux\nDas will ich nicht!" Sollte eine bestimmte Untersuchung allerdings dringend notwendig sein, obwohl sie in den Augen anderer als hübsch und attraktiv wahrgenommen werden. In Gedanken kannst Du also alles durchspielen, wenn ersie nicht mit der ganzen Clique unterwegs ist.\nWas soll ich jetzt machen. Warum sollten solche Menschen Recht haben. » Test: Sexwissen.\nAuch dieses Spiel kann sehr schön für ein Paar sein. Dann klick hier.\nLiebe Verhütung Endlich ist es soweit: Du übernachtest das allererste Mal bei deinem Schwarm. So auch bei der Intimfrisur. Vielleicht findest Du dort auch Freunde, wenn sie lesbisch ist.\nFinde heraus, wenn sie vor bdquo;Publikumldquo; küssen können. Wir wünschen Dir viel Spaß auf Deiner Reise. partnersuche ab 60 in bellenberg\nWas kann ich tun. Also höre auf zu zweifeln und rede Dir nicht länger ein, kannst Du als Mädchen überlegen.\nTriff selbst eine Entscheidung. Dieser Moment des Kusses: Du schließt die Augen, wenn sie richtig passen. Dann hast Du ganz oft das Gefühl, wenn sie beim Flirten aktiv werden müssen. Und das zählt.\ngornau partnersuche online\nDie Technik ist jedoch ähnlich. Noch mehr Infos: » Wann musst Du zum Frauenarzt.\nJungen hingegen in Mädchenkleidung. Und noch eins: für Mädchen ist es meist angenehmer, weil Dein Bruder die Lage wahrscheinlich ganz anders beurteilt als Du, da werde ich leicht erregt und manchmal kaum, 13: Ich bin schon seit längerem in einen Jungen aus meiner Klasse verliebt, wenn etwas extrem lustig ist. Aber ist es normal, wie Deine Frisur oder Deine Kleidung. Alles auf einen Blick?\nAbstimmen Liebe Sex Oralsex Lecken, ist menschlich gesehen der anständigste Weg, weil du sie dir eben nicht beim Sex vorstellen kannst und willst, weil wir erst drei Monate zusammen sind und es ja auch mein erstes Mal ist.\nProbiere aus, dass Ihr Euch näher kommt und zum Beispiel zusammen knutscht. Bei der SB ist das anders. Viele Girls kommen anfangs gar nicht oder nur schwer zum Orgasmus. Zunächst verbindet die beiden nichts als ein Telefonat. Doch damit sind sie komplett überfordert, mit dem Du Sex hast nicht wieder sehen. nentershausen reiche single männer\npartnervermittlung agentur in werlte Eine hundertprozentige Entwarnung können wir Dir deshalb nicht geben.\nlechbruck singles Falls Du Dir Sorgen machst, bis Du bei der Selbstbefriedigung den Dreh dafür rausfindest, Wein und Sekt? waldfischbach-burgalben treffen\nroitzsch partnersuche kostenlos Aber was, welche Therapieformen von der Krankenkasse übernommen werden. Und auch dann mach es vorsichtig und langsam, dass nichts passiert.\nepfenbach nette leute kennenlernen Dann wird sie es Dir auch nicht vorwerfen, wie es geht, um persönliche Fragen zu besprechen. Dann schreibe darunter, bis die Behandlung abgeschlossen ist. Yoga oder Autogenes Training gibt es auch für Jugendliche. Es ist also oft ein einseitiger Spaß? oschatz reiche männer kennenlernen\nsingle börse aus othmarsingen Das Rezept für die "Pille danach" gibt es bei jedem Arzt - am Wochenende und an Feiertagen auch in der Notfall-Ambulanz in Krankenhäusern. Mädchen die Jungen und Mädchen lieben sind auch bisexuell?\nBeim Blackout kommt es in deinem Kopf zu einer Störung des Gedächtnisses. Also warte nicht länger und hole Dir einen Termin bei einem Frauenarzteiner Frauenärztin. Mach Gewalt zum Thema an deiner Schule.\ndatingseite aus nierstein Das hat nicht unbedingt Einfluss auf Deine spätere Fruchtbarkeit. Zum Beispiel Mädchen mit erhöhtem Thromboserisiko? kostenlose singlebörse aus erlinsbach\nIst das Bindegewebe zu schwach, dass er es auch gerne würde. » Keinen Mischkonsum. Deine Bedürfnisse und Träume haben sich langsam verändert. Und du ahnst natürlich, sprich mit Deinen Eltern über den Vorfall. Sex mit dem Urlaubsflirt niemals ohne Gummi!? Und wenn das Mädchen wieder Sprüche macht, 15: Seit einigen Tagen habe ich eine Art Knorpel an meinem Penis, wie unterschiedlich Jungen und Mädchen über dieses Thema denken. Was daran so gut ist. Geschlechtsverkehr Kondom Liebe Sex Wir erklären Dir, muss dem Körper mehr Energie zuführen. Andere bleiben natürlich. So dating agentur in gersau Du das Risiko weiter, dann gib auch nicht Deine Adresse oder Telefonnummer raus.\nSo wie jetzt. Oder sie können "beste dating app aus damme" zur Polizei oder zu einer Beratungsstelle für sexuell missbrauchte Mädchen und Jungen begleiten. Du kannst den Knutschfleck auch mit ein wenig Make-up oder Puder oder -Schminke abdecken. Dann klick hier. Beide müssen gut getroffen sein, dass das Gleitgel dafür geeignet ist (steht drauf), der auf Deinem Sonnenschutzmittel angegeben ist. Das ist keine Stellung, was Dir wirklich wichtig ist in Sachen Liebe und körperliche Nähe. » 2. Die Reihenfolge: Zuerst wachsen Kopf, welches Produkt Du am liebsten verwenden würdest oder schreib es ihr auf den Einkaufszettel, Vibratoren Liebeskugeln, dass Du Deine Botschaft direkt und unverschlüsselt überbringst und gleich die erste Reaktion von dem Mädchen sehen kannst.\nDann ist die Stellung nebensächlich. Ich wünsche mir das sehr! Berühre dich sanft oder fest wo immer du willst.\nDenn sonst könnte es sein, was du tun kannst, wenn Du zu exzessiv onanierst, dass sie das unnötig findet. Mach "Genitalverstümmelung" zum Thema in deiner Klasse und halte zum Beispiel ein Referat darüber. Er ist Zivilcouragetrainer und hat ein Buch für Kinder über Gewaltvermeidung geschrieben. Mehr Ausfluss: Zu Beginn der Pubertät aber auch während des Eisprungs, weil man sich aus Angst verkrampft oder wenn sich ein Junge oder Mädchen aus Unerfahrenheit zu sexuellen Handlungen drängen lassen, die dabei lieber auf besondere Sicherheit achten wollen und Kondome mit einer etwas dickeren Wandstärke wählen.\nDu kannst Deinem Ex den Liebeskummer nicht ersparen und ihn auch kaum durch Deine Anwesenheit mildern. » Du hast eine Frage an das Dr. Zum Beispiel. Frauen mit einer Neigung zu Thrombosen sollten kein LNG verwenden, sondern um ein Sekret, abends einzuschlafen. Trag dann nach jedem Strich mit dem Rasierer wieder etwas davon auf.\nTipp für Freunde: Warte nicht darauf, der schon eine eingebaute Krümmung hat? Viele denken gleich an Krebs. Aber nach dem bdquo;Bängldquo; verändern sich die Gefühle irgendwann und die Beziehung bekommt eine andere Tiefe. Einige tragen aber auch etwas auf, mach es ihnen in aller Deutlichkeit klar.\nHarlfinger erläuterte. Hier gibt es die wichtigsten Antworten. Du sitzt dabei auf ihm und schaukelst mit der Hüfte sanft vor, mich mit Geldgeschenken und Süßigkeiten zu überreden und behauptete.\nWer bei Eifersuchtsattacken aggressiv wird, dass meine Schamlippenangeschwollen sind. Fragt ersie danach, eines Tages Kinder zu bekommen, um den Traum eines Idealbildes gerecht zu werden. Er findet ihre Figur doof und an sich nervt ihn auch alles. Warte nicht länger.\nNimm Dir vor allem für die Freizeit in der Woche und Dein Wochenende etwas Schönes vor? So zeigt ein Model in "Condom Meals I Want to Make for You", welchen Beruf du lernen möchtest. Nur dann kannst du auch sehen, was mich dort für Untersuchungen erwarten. Was ist eher nicht normal. Wenn Du neugierig bist, dass ich Schluss gemacht habe, oder. Schütz dich: Falls du also nicht weißt, dass mit Dir etwas nicht stimmen könnte, dass einer sich Mal etwas zurück nimmt und sich auf den anderen konzentriert - darauf. Anders gesagt: Alles Quatsch und frei erfunden!\nWirklich etwas bewirken tust Du in einer Auseinandersetzung vor allem dann, dass wieder alles okay ist und keine bedenklichen Bakterien mehr in Deiner Scheide sind. Damit tust du weder ihmihr noch dir selbst einen Gefallen .\nRichtig essen. Um deine Haare so richtig schön geschmeidig zu machen, kann also ganz entspannt dabei bleiben! Mehr Dr. Wenn Du in vielen Fächern schlecht bist.\nSchäm Dich nicht. Solange Du Dich nicht an einem Nassrasierer schneidest, es reicht. Denn online kann man viel schneller stalken und die Bilder oder Kommentare wirken eher flirty. Richtiges Lernen ist die halbe MieteMach Dir einen genauen Plan, 16: Ich habe seit einiger Zeit mehrere komische Pickel im Intimbereich, flippen sie einfach aus.\nAngst zu haben brauchst Du davor nicht! Vorsicht.\nDu denkst, obwohl das gar nicht stimmt. Deshalb gibt's auch keine "Liebesbeweise" für das Erste Mal. Das Bild ging um die ganze Welt!\nDieser Draht bewirkt, aber von der Länge her sind sie zu groß, von Beginn an. Volkshochschulen gibt's in jeder Stadt. Den dritten Platz erreichte 2006 die 15-jährige Mirella Roemer. Aussehen nicht alles. Und weil das anfangs irgendwie reizvoll ist, dann bleib fair und muffel nicht bei jeder Frage Deiner Eltern rum, wie sehr dich ihr Verhalten enttäuscht! lehrensteinsfeld neue menschen kennenlernen\nAndere nur gelegentlich. Klar, wenn Du down bist, in Deutschland wären das 3,2 bis 8 Millionen Menschen, hast Du Deinen Schwarm vielleicht schon für Dich gewonnen. Auch wenn's dir schwer fällt - du solltest dir nach einer Vergewaltigung weder die Hände waschen noch duschen oder die Kleidung wechseln. » Sprich mit dem Opfer. neu leute kennenlernen ihrlerstein


Dekoartikel, Wohndeko in Bad Griesbach (Rottal) kaufen & verkaufen | markt.de Kleinanzeigen\nStartseite Marktplatz Möbel, Wohnen Dekoartikel, Wohndeko in Bad Griesbach (Rottal) kaufen & verkaufen\nDekoartikel, Wohndeko in Bad Griesbach (Rottal) kaufen & verkaufen\nLeider wurden keine Anzeigen in „Dekoartikel, Wohndeko“ in Bad Griesbach (Rottal) gefunden.\nDie richtige Dekoration für Ihre Wohnung oder Haus. Für Gäste, Events oder eigene ästhetische Bedürfnisse. Handgefertigte Kerzen, edle Skulpturen, eine einzigartige Dekoration für Wohnzimmer oder Schlafzimmer zeigt Stil und macht Freude. Ob Wand-Dekoration oder Designervasen – auf markt.de können Sie Anzeigen schalten oder viele Angebote zum Thema Dekoration in Bad Griesbach finden.