Verinin ürün olduğu sistemler için Google Cloud.
BigQuery veri platformları, GKE ve Cloud Run servisleri, Pub/Sub arka uçları ve Vertex AI iş yükleri için AI-native Google Cloud mühendisleri — kod olarak yönetilir, runbook’uyla birlikte devredilir.
- Terraform
- BigQuery
- Dataflow
- Pub/Sub
- Cloud Run
- GKE
Zor kısmı veri olan sistemler için.
Bir sistemin zor kısmı veriyse başvurduğumuz platform Google Cloud’dur: veri ambarını aşmış bir analitik ortam, değeri yılların olaylarıyla eğitilmiş bir modelden gelen bir ürün, yüksek hacimde mesaj alıp bunlarla ilgili soruları yanıtlaması gereken bir veri hattı. BigQuery, boyutlandırılacak sunucu olmadan veri ambarını üstlenir; akışı Pub/Sub ve Dataflow yürütür; Vertex AI ise eğitimi, barındırmayı ve değerlendirmeyi tek bir API kümesinin arkasına alır. Aynı sonuç için daha az hareketli parça.
Konteyner çalıştırmak için en az merasim gerektiren bulut da odur. Cloud Run bir imaj alır ve sıfıra ölçeklenen bir HTTPS uç noktası verir; GKE ise projeyi başlatan şirketin yönettiği Kubernetes’tir ve bu, işletilecek ne kadar az şey olduğundan belli olur. Kendi ürünlerimiz kod olarak yönetilen bulut altyapısında çalışır ve kurduğumuz Google Cloud ortamlarına da aynı yaklaşımı uygularız: klasörler ve projelerden oluşan bir organizasyon, her şey Terraform’da, her şey gözlemlenebilir. Bunun arkasındaki hizmet DevOps & Cloud; üzerine gelen analitik çalışma ise Veri Mühendisliği.
Kullanmadığımız durumlar: Entra ID, .NET ve kurumsal anlaşması olan bir Microsoft organizasyonu Azure’dan daha fazlasını alır; en geniş yönetilen hizmet kataloğuna ihtiyaç duyan ya da başka bir yerde zaten derin deneyimi olan bir ekibin yeri genellikle AWS’tir; küçük bir web ürünü ise hiç bulut projesi açmadan Vercel üzerinde yayına alınabilir. Üç büyük sağlayıcının üçünde de deneyimliyiz ve finansal olarak tarafsızız — öneri sizin kısıtlarınıza göre şekillenir.
Google Cloud üzerinde yayına aldığımız altı şey.
BigQuery veri platformları
Dataflow ya da Datastream ile beslenen, dbt’de modellenen, Dataplex üzerinden yönetişimi sağlanan, Looker’a, Power BI’a ya da doğrudan uygulamaya sunulan bölümlenmiş ve kümelenmiş veri ambarları. Raporlar ve modeller için tek doğru.
Akış veri hatları
Veri alımı için Pub/Sub; pencereleme, zenginleştirme ve BigQuery ya da Bigtable’a tam bir kez teslim için Dataflow — telematik akışları, tıklama akışları, işlem olayları — dead-letter konuları ve ilk commit’ten itibaren yeniden oynatma ile. Kafka’nın zaten var olduğu yerde değiştirmek yerine köprü kurarız.
Cloud Run ve GKE üzerinde servisler
İş yükü istek biçimliyse Cloud Run üzerinde Go, Node.js ya da Python ile API’ler ve worker’lar; çok sayıda servis çalıştırıyorsanız ya da Kubernetes ekosistemine ihtiyacınız varsa GKE Autopilot; sürüm için Cloud Deploy ya da ArgoCD.
Organizasyon ve landing zone
Her ortam ve iş yükü için klasörler ve projeler, çiğnenmemesi gereken kurallar için organizasyon politikaları, Private Service Connect ile Shared VPC, kişiler için gruplar üzerinden IAM ve makineler için workload identity — geri kalanın devraldığı temel.
Vertex AI üzerinde ML ve üretken yapay zekâ
Vertex AI üzerinde eğitim hatları, model kaydı, uç noktalar ve değerlendirme; kendi proje sınırınızın içinde retrieval tabanlı asistanlar için Gemini; bunların çevresinde Yapay Zekâ & Makine Öğrenmesi ve MLOps pratiğimizden gelen guardrail ve değerlendirme katmanları.
Geçişler
PostgreSQL ve MySQL’i Cloud SQL ya da AlloyDB’ye taşımak için Database Migration Service, Teradata ve Redshift veri ambarları için BigQuery Migration Service, olduğu gibi taşınması gereken sunucular için Migrate to Virtual Machines — Bulut Geçişi yöntemi kapsamında.
Ne zaman tercih edilmeli.
Ağırlık merkezi analitikse Google Cloud’u seçin: terabaytlarla ölçülen bir veri ambarı, yüksek hacimde akan olaylar, ürünün parçası olarak eğitilen ve sunulan modeller. BigQuery’nin depolama ile işlem gücünü ayırması, başka bir yerde bir platform ekibi gerektirecek işi küçük bir veri ekibinin yürütebilmesi demektir. Cloud Run’ın sadeliğini ya da GKE’nin olgunluğunu isteyen konteyner odaklı ekiplere ve kimlik ile grupların hazır geldiği, hâlihazırda Google Workspace kullanan kurumlara uygundur.
İş yükü Windows, .NET Framework ya da SQL Server ise başka yere bakın — Azure lisans maliyetini ve operasyonel yükü azaltabilir — ya da ekibinizin yıllara dayanan AWS deneyimi varsa ve değişimi haklı çıkaracak analitik ağırlıklı bir gereksinim yoksa. Ürün tek ve küçük bir web uygulamasıysa da başka yere bakın; projeler, VPC’ler ve IAM içeren bir bulut organizasyonu, o ürünün ihtiyacından fazlasıdır. Siz taahhüt altına girmeden önce bunu söyleriz.
Sıfıra ölçeklenen ve veritabanıyla özel IP üzerinden konuşan bir Cloud Run servisi.
resource "google_cloud_run_v2_service" "orders_api" {
name = "orders-api-${var.env}"
location = var.region
ingress = "INGRESS_TRAFFIC_INTERNAL_LOAD_BALANCER"
template {
service_account = google_service_account.orders_api.email
vpc_access {
network_interfaces { subnetwork = google_compute_subnetwork.services.id }
egress = "PRIVATE_RANGES_ONLY"
}
+ scaling { min_instance_count = var.env == "prod" ? 1 : 0 }
containers { image = "${var.registry}/orders-api:${var.image_tag}" }
}
}Google Cloud üzerinde tipik bir Odeontech veri ve servis ortamı.
Devrettiğimiz Google Cloud ortamlarında bulunanlar.
- Her şey Terraform’da. Konsolda oluşturulan hiçbir kaynak bir sonraki apply’dan sağ çıkmaz. Planlar pull request’lerde incelenir ve bir dizüstü bilgisayar tarafından değil, bir CI hattı tarafından uygulanır.
- Kod olarak en az yetkili IAM. Her iş yükü için yalnızca ihtiyaç duyduğu rollere sahip bir servis hesabı, kişiler için gruplar üzerinden IAM, indirilmiş anahtar yok, CI ve dış sistemler için workload identity federation.
- Varsayılan olarak özel. Özel IP üzerinde Cloud SQL ve Memorystore, API’ler için Private Google Access, servisin herkese açık olması amaçlanmadıkça Cloud Run’da iç ingress ve herkese açık bucket’ları ve harici IP’leri yasaklayan organizasyon politikaları.
- Kontrolü sizde olan anahtarlarla şifreleme, veri sınıfı gerektirdiğinde: BigQuery, Cloud SQL ve bucket’larda Cloud KMS müşteri yönetimli anahtarlar, rotasyon açık ve anahtar erişimi diğer her yetki gibi gözden geçirilir.
- Gözlemlenebilirlik baştan kurulu. Grafana panolarını besleyen Cloud Monitoring ve OpenTelemetry, kullanıcıların hissettiği belirtiler için SLO tabanlı uyarılar ve kimsenin düzenleyemeyeceği bir projeye yönlendirilen denetim kayıtları.
- Geri yüklendiği denenmiş yedekler. Veri sınıfına göre saklama süresi, önemli veri kümeleri için bölgeler arası kopyalar ve BigQuery anlık görüntüleri, canlıya çıkmadan önce provası yapılmış ve süresi ölçülmüş bir geri yükleme.
- Tasarım girdisi olarak maliyet. Taramaların öngörülebilir olduğu yerde BigQuery bölümleme, kümeleme ve slot rezervasyonları, istikrarlı işlem gücü için committed-use indirimleri, ani yük gösteren her şey için sıfıra ölçeklenme ve her projede uyarılı bütçeler.
- Veri yerleşimi erkenden kararlaştırılır. Bölge seçimi, replikasyon kapsamı ve erişim yolları KVKK ve GDPR için ilk kaynak oluşmadan önce belgelenir, denetimden sonra değil.
Altyapıyla birlikte genellikle teslim edilenler.
- Her organizasyon katmanı ve her iş yükü için, ortamları ve belgelenmiş bir terfi yolu olan bir Terraform reposu
- Bir proje ve IAM haritası: hangi proje neyi tutuyor, hangi grup neyi yapabiliyor ve kayıtlar nereye gidiyor
- Cloud Build ya da GitHub Actions’ta plan alan, tarayan, uygulayan ve devreye alan CI/CD hatları — geri alma varsayılmaz, test edilir
- Veri ambarı için dbt modelleri, testleri ve dokümantasyonu; veri soy ağacı Dataplex’te görünür
- Dört altın sinyal ve veri hattı tazeliği için, kod olarak dışa aktarılmış Grafana panoları ve uyarı politikaları
- Etiketlere dayalı bir maliyet temeli, sizinle belirlenen bir ritimde düzenli olarak gözden geçirilen bütçe, slot ve taahhüt kayıtları ve devreye alma, geri alma, geri yükleme ve yeniden oynatma için runbook’lar
Sık sorulan sorular
Komşu teknoloji yığınları ve onları kullanan hizmetler.
Kurulacak bir veri platformu ya da bir Google Cloud ortamı.
Ne kadar veri olduğunu ve bu verinin hangi koşulları sağlaması gerektiğini anlatın. Bir Google Cloud mühendisi okur ve nasıl yaklaşacağımızı yazılı olarak iletir.