Notlar
Çalışırken aldığım notlar. Belki işine yarar.
üzerinde çalıştığım projeler
Pricoda / Otel Fiyat Karşılaştırma
Birden fazla tur operatörünün sitesinden otel fiyatlarını çekip karşılaştırıyor. Browser kullanmadan HTTP request + HTML parse ile data scraping yapıyor. Cookie yönetimi, captcha recovery, pagination ve duplicate detection var. Arka planda event-driven async pipeline ile job'ları yönetiyor.
Servploy / Sunucu Provisioning
Sunucu üzerinde Docker container, Nginx config, Jenkins pipeline, veritabanı kurulumu gibi tekrar eden altyapı işlerini tek tıkla otomatize ediyor. SSH üzerinden 18 adımlık provisioning akışı çalıştırıyor. Sunucu monitoring, container yönetimi (start/stop/restart), ve canlı terminal var.
Frontend fiyatları görmeden COMPLETED diyen pipeline
Race condition — job COMPLETED oluyordu ama fiyatlar henüz DB'de yoktu. Transaction sınırlarını düzeltmek.
Otomatik fiyat toplama sistemi — coverage tabanlı retry
Günde 3 kez çalışan scheduled search, %90 coverage hedefi, paralel hotel dispatch ve operator throttling.
Residential proxy'den Scraping API'ye geçiş
Decodo Scraping API ile 2 katmanlı mimari, browser action chain ve $19 plan limitleri.
Jenkins API ile pipeline oluşturma
Jenkins REST API üzerinden folder ve pipeline job oluşturma notları.
Uzun süren scraping job'larını arka planda yönetmek
Event-driven pipeline ile async iş yönetimi.
SSH üzerinden sunucu yönetimi notları
Uzak sunucularda komut çalıştırırken dikkat ettiklerim.
Otel fiyatı scraping'inde karşılaştığım sorunlar
Browser kullanmadan HTTP + HTML parse ile fiyat çekmek.
Docker + Nginx ile 8 proje kurunca
Aynı stack'i 8 kez kurunca fark ettiğim detaylar.
Merhaba
Bu site ne, neden var.