Büyük Veri Setlerinde İndekslemeye Adım Adım Giriş

JOIN Sorgularında İndekslerin Etkisi



Veritabanı indekslemenin temel mantığı, tablodaki kayıtlara çok daha hızlı ulaşmak için yardımcı bir veri yapısı oluşturmaya dayanır. Bir indeks, belirli bir sütunun değerlerini sıralı biçimde tutarak sorgu motorunun aradığı satırın yerini doğrudan bulmasını sağlar. Bu sayede motor, tabloyu baştan sona okumak zorunda kalmaz. Ancak her indeks, disk üzerinde ek alan kaplar ve veri eklenip silindiğinde güncellenmesi gerekir. Bu nedenle indeks seçimi, okuma ve yazma maliyetleri arasında bilinçli bir karar olmalıdır. Sık sorgulanan ve filtre koşulunda yer alan sütunlar, indeks için en mantıklı adaylardır. Yüksek seçicilikli sütunlarda indeks, ciddi bir kazanç sağlarken, düşük seçicilikli sütunlarda katkısı sınırlı kalabilir. Tasarım aşamasında bu ayrımın dikkatli yapılması, sistemin uzun vadeli performansı açısından kritik bir adımdır. Kısacası indeks, doğru yerde kullanıldığında sorguları ciddi ölçüde iyileştiren güçlü bir araçtır. Yanlış kullanıldığında ise gereksiz kaynak tüketimine yol açar. Bu yüzden indekslemeyi, uygulamanın gerçek sorgu desenleriyle birlikte planlamak gerekir. Böylece hem depolama alanı hem de yazma performansı dengede olur. Veritabanı yöneticileri bu süreci genellikle sürekli izleme ile sürdürür.


B-ağaç indeks yapısı, veritabanı sistemlerinde en yaygın kullanılan indeks türlerinden biridir ve dengeli bir ağaç mantığıyla çalışır. Ağacın düğümleri, anahtar değerlerini sıralı biçimde tutar ve her düğüm birden fazla anahtar barındırabilir. Bu yapı, disk okumalarını azaltmak için tasarlanmıştır, çünkü her düğüm genellikle bir disk sayfasına karşılık gelir. Kök düğümden yapraklara doğru inen yol, ağacın yüksekliği kadar adım içerir ve bu yükseklik çoğu zaman çok küçük kalır. Yapraklar, gerçek kayıt işaretçilerini ya da satır adreslerini barındırır ve birbirine sıralı biçimde dizilir. Böylece hem nokta sorguları hem de aralık sorguları verimli bir şekilde yanıtlanabilir. Ekleme ve silme işlemleri sırasında ağaç, düğümleri bölerek yapısını korur. Bu dengeleme, en kötü durumda bile sorgu süresinin sabit kalmasını sağlar. Öte yandan her değişiklik, ağacın ilgili yollarında sürekli güncelleme gerektirir. Bu nedenle yoğun yazma yükü altındaki tablolarda bakım maliyeti gözle görülür hale gelebilir. Yine de B-ağaç, genel amaçlı kullanımda güvenilir performansıyla öne çıkar. Çoğu ilişkisel veritabanı motoru varsayılan indeks türü olarak bu yapıyı tercih. Dolayısıyla B-ağaç mantığını kavramak, indeks davranışını tutarlı biçimde yorumlamanın temelini oluşturur.


Tam tarama ile indeksli arama arasındaki fark, sorgu performansını doğrudan şekillendiren en temel kavramlardan biridir. Tam tarama sırasında veritabanı motoru, tablodaki her satırı tek tek okuyarak koşulu sağlayanları belirler. Tablo küçükken bu yaklaşım yeterli bir maliyetle çalışabilir. Ancak tablo milyonlarca satıra ulaştığında aynı yöntem ciddi bir gecikmeye neden olur. İndeksli aramada ise motor, indeks yapısını takip ederek doğrudan ilgili satırlara gider. Bu da okunan veri miktarını büyük ölçüde azaltır. Yine de her zaman indeks kullanmak en iyi sonucu vermez. Sorgu, tablonun büyük bir bölümünü etkiliyorsa tam tarama daha verimli olabilir. Çünkü indeksten sürekli rastgele disk erişimi yapmak, sıralı okumadan daha pahalı olabilir. Motorun bu kararı, istatistiklere ve tahmini satır sayılarına bağlı olarak verilir. Bu nedenle sorgu optimizasyonunda tablo istatistiklerinin doğru tutulması önemlidir. Geliştiricilerin bu iki yöntemin avantajlarını bilmesi, daha sağlam sorgular yazmalarına yardımcı olur.


Sorgu planı okuma ve yorumlama, performans sorunlarını teşhis etmek için vazgeçilmez bir beceridir ve ayrıntılı bilgiler sunar. Sorgu planı, motorun bir sorguyu hangi adımlarla gerçekleştireceğini gösteren bir ağaç yapısıdır. Her düğüm, bir tarama, birleştirme ya da sıralama gibi bir işlemi anlatır. Plan okunurken önce en içteki ve en hızlı tahmin edilen adımlardan başlamak, akışın sırasını anlamayı kolaylaştırır. Tahmini satır sayısı ile gerçek satır sayısı arasındaki büyük fark, istatistik eksikliğine ima edebilir. Maliyet değerleri ise hangi adımın kaynak tükettiğini ortaya koyar. Tam tarama görüldüğünde, filtre koşulunun bir indeksle desteklenip desteklenmediğini kontrol etmek gerekir. Sıralama adımları da çoğu zaman gizli bir maliyet kaynağıdır. Plan üzerinde bellek ya da geçici disk kullanımına dair uyarılar varsa, bunlar dikkatle araştırılmalıdır. Bu bilgiler bir araya getirildiğinde, sorgunun neden beklenenden uzun çalıştığına dair net bir resim oluşur. Düzenli plan analizi, hem yeni yazılan sorguların hem de zamanla değişen veri yapılarının denetimini kolaylaştırır.


Bileşik indekslerde sütun sıralaması, indeksin hangi sorgularda faydalı olacağını belirleyen kritik bir tasarım kararıdır. Bileşik indeks, birden fazla sütunu tek bir yapıda birleştirir ve sütunlar belirli bir sırayla dizilir. Bu sıra, indeksin soldan sağa doğru kullanılabilir olduğunu belirler. Yani ilk sütun için bir koşul olmadan, ikinci ya da üçüncü sütun üzerinden yapılan aramalar çoğu zaman indeksten verimli şekilde yararlanamaz. Eşitlik koşulu olan sütunlar genellikle başa, aralık koşulu olan sütunlar ise arkadaki konumlara yerleştirilir. Bu yaklaşım, indeksin sorgu desenine uygun kullanılmasını sağlar. Aynı sütun kümesi farklı bir sırayla tanımlanırsa, performans tamamen farklı sonuçlar verebilir. Sık yapılan sorguların filtre ve sıralama koşulları, sütun sırasını seçmede ana rehber olmalıdır. Gereksiz çakışan indekslerden uzak durmak da depolama ve bakım maliyetlerini makul tutar. Dikkatli planlanmış bir bileşik indeks, birden fazla sorguya aynı anda katkı sağlayabilir ve sistemin genel verimliliğini ciddi oranda artırır.


Covering indexler, sorgunun ihtiyaç duyduğu tüm sütunları aynı indeks sayfasında barındırdığı için tablo satırına dönme ihtiyacını büyük ölçüde azaltır. Veritabanı yöneticileri, sık çalıştırılan raporlama sorgularını analiz ettiklerinde hangi sütunların döndürüldüğünü net biçimde görebilir. Ek sütun yan tümcesiyle eklenen sütunlar sıralama düzenini bozmadan indeks yaprağına yerleştirilir. Bu sayede koşul ve getirme aşamaları tek bir indeks üzerinden tamamlanır. Sonuç olarak sayfa okuma kullanımı belirgin şekilde düşer. Ancak her kapsama alanı indeksin boyutunu büyütür ve bellek üzerindeki baskıyı yükseltir. Bu nedenle yalnızca gerçekten sorgular için kapsayan indeks oluşturulmalıdır. Tasarım aşamasında sorgu hızı ile depolama maliyeti dengelenmelidir. Doğru uygulandığında rapor süreleri saniyeler yerine çok kısa süreler seviyesine inebilir.


Her yeni indeks, INSERT işlemlerinde ek bir yazma yükü oluşturur. Veritabanı motoru, değişen satır için tüm ilgili indeks yapılarını da yeniden düzenlemek zorundadır. Bu durum batch import senaryolarında belirgin bir yavaşlamaya yol açabilir. Dengeli ağaç yapısında yeni bir anahtar eklendiğinde page split gerçekleşebilir ve bu da fragmantasyonu artırır. Yazma yoğun sistemlerde bu maliyet göz ardı edilmemelidir. Log yazımı da indeks sayısıyla paralel olarak büyür. Bu nedenle kullanılmayan indekslerin her biri yazma performansını sessizce düşürür. Test ortamında ölçüm yapmadan karar vermek hatalı sonuçlar doğurabilir. Üretim benzeri veri hacmiyle yapılan yük testleri en doğru tabloyu verir. Her indeks için sorgu kazancı ile güncelleme bedeli açıkça karşılaştırılmalıdır. Bu karşılaştırma, uygulamanın gerçek kullanım desenine göre yapılmalıdır.


Kullanılmayan indeksler, disk alanını israf eder ve bakım sürelerini uzatır. Metadata görünümleri, indeks kullanım istatistiklerini toplayarak hangi yapıların hiç sorgulanmadığını gösterebilir. Yeterli bir gözlem döneminde hiç seçilmeyen indeksler adaylar olarak işaretlenir. Ancak dönemsel raporlar gibi nadir çalışan sorgular hatalı sonuç üretebilir. Bu nedenle kaldırma işlemi öncesinde iş birimleriyle görüşülmelidir. Yinelenen indeksler de temizlik listesinde yer almalıdır. Örneğin A, B indeksi varken A tek başına bir indeks çoğu durumda gereksizdir. Temizlik küçük gruplar halinde yapıldığında riskler azaltılır. Her silme işleminden sonra sorgu süreleri izlenmeli ve gerekirse geri alma planı hazır tutulmalıdır.


Sorgu planlayıcısı, karar verirken tablodaki veri dağılımını histogramlardan okur. Eski istatistikler, hatalı satır tahmini hesaplarına ve kötü birleştirme yöntemlerine yol açabilir. Örneğin çok sayıda veri eklendikten sonra nested loop yerine hash join tercih edilmesi gerekebilir. Otomatik güncelleme eşikleri yüksek hacimli tablolarda yetersiz kalabilir. Bu durumda zamanlanmış istatistik güncellemesi devreye alınmalıdır. Örnekleme oranı de sonucu etkiler; düşük oranlar hızlı ama daha az sonuç verir. Tam örnekleme daha doğru istatistik sağlar fakat süre maliyeti yüksektir. Sorgu planı önbelleği da istatistik değişikliklerinden hemen ardından etkilenebilir. Bu nedenle güncelleme sonrası plan kararlılığı izlenmelidir.


Partition yapısı, büyük tabloları mantıksal parçalara ayırarak indeks stratejisini yakından etkiler. Her bölüm bağımsız indeksine sahip olur ve bu indeksler ayrı ayrı bakım görür. Partition pruning sayesinde sorgu yalnızca ilgili bölümleri tarar, bu da disk okuması miktarını önemli ölçüde azaltır. Tarih bazlı tablolarda eski verilerin silinmesi partition drop ile hızlı gerçekleşir. Yerel indeksler bölüm bazında yeniden kurulabildiği için bakım süresi kısalır. Global indeksler ise tüm bölümleri kapsadığı için ayrı bir yönetim gerektirir. Bölümleme anahtarının filtre kriterleriyle uyumlu seçilmesi büyük öneme sahiptir. Aksi halde pruning yapılamaz ve performans kazancı kaybolur.


İndekslerin temel mantığı


Veritabanı indeksleri, tablodaki verilere hızlı erişmeyi sağlayan yardımcı yapılardır. Bir tablo büyüdükçe filtreleme işlemlerinin süresi hissedilir biçimde uzayabilir. İndeks, kitabın sonundaki dizin gibi düşünülebilir; aranan kayda doğrudan yönelmeyi mümkün kılar. Bu sayede veritabanı motoru tüm satırları tek tek dolaşmak yerine daha az veriyle sonuca ulaşır. B-ağacı gibi yapılar en yaygın kullanılan indeks türleridir ve organize bir arama yapısı sunar. Ancak her indeks, disk üzerinde fazladan bir alan oluşturur. Bu nedenle indekslemenin dikkatli kararlarla yapılması gerekir. Temel kavramları iyi kavramak, sonraki adımlardaki optimizasyonları oldukça anlamayı sağlar. Özellikle WHERE, JOIN ve ORDER BY ifadelerinde kullanılan sütunlar indeks adayı olarak değerlendirilebilir.


Sık yapılan indeksleme hataları


Pek çok geliştirici, indekslemeyi her sütuna uygulayarak performansı artırabileceğini düşünür. Oysa gereksiz indeksler yazma işlemlerini ağırlaştırır, çünkü her INSERT, UPDATE veya DELETE işleminde indeksin de yenilenmesi gerekir. Bir diğer yaygın hata, düşük seçiciliğe sahip sütunlara indeks eklemektir; örneğin yalnızca iki farklı değer içeren bir durum sütunu çoğu zaman etkisiz olur. Sorguların nasıl yazıldığı da önemlidir; indeksli sütun üzerinde fonksiyon kullanmak veya başına joker karakter koyarak LIKE ifadesi yazmak indeksin devre dışı kalmasına neden olabilir. Ayrıca birleşik indekslerde sütun sırasının ihmal sık görülen bir sorundur. Sorgu planlarını incelemeden tahmine dayalı indeks eklemek, zaman ve kaynak kaybına yol açar. Bu nedenle her değişikliğin öncesinde ve sonrasında ölçüm yapmak gerekir.


Uzman indeksleme ipuçları

Uzmanlar, indeks tasarımına başlamadan önce uygulamanın gerçek sorgu desenlerini incelemek etmeyi öğütler. En çok çalıştırılan ve en uzun süren sorgular belirlendikten sonra bu sorgulara hizmet edecek indeksler tasarlanmalıdır. Kapsayan indeksler, sorgunun ihtiyaç duyduğu tüm sütunları içerdiği için tablo taramaya gereksinimini ortadan kaldırabilir. Kısmi indeksler ise yalnızca belirli bir koşulu sağlayan satırları kapsayarak hem alandan hem de bakım yükünden tasarruf sağlar. Sorgu planlayıcısının kararlarını anlamak için EXPLAIN gibi araçlar tercih edilmeli. İstatistiklerin güncel tutulması da planlayıcının doğru karar vermesi için önemlidir. Uzmanlar ayrıca indeks kullanım istatistiklerini düzenli olarak izleyerek hiç kullanılmayan indekslerin kaldırılmasını tavsiye eder.


Maliyet ve kaynak dengesi


İndekslemenin maliyeti yalnızca disk alanıyla bitmez değildir; bellek kullanımı, yazma gecikmeleri ve bakım süreçleri de bütçeye eklenir. Büyük tablolarda birden fazla indeks, toplam depolama ihtiyacını ciddi ölçüde artırabilir. Bu da bulut ortamlarında doğrudan fatura kalemlerine dahil olur. Öte yandan iyi tasarlanmış birkaç indeks, sunucu kaynaklarının daha verimli kullanılmasını sağlayarak donanım yükseltme ihtiyacını geciktirebilir. Bu nedenle bütçe planlaması yapılırken mevcut sorgu yükü, beklenen büyüme ve kabul edilebilir yanıt süreleri birlikte hesaba katılmalıdır. Küçük ve orta ölçekli projelerde, yalnızca kritik sorgular için yapılan sınırlı indeksleme çoğu zaman en makul yaklaşımdır. Maliyetlerin düzenli izlenmesi, gereksiz yatırımların erken belirlenmesi açısından da değerlidir.


Zaman faktörü ve veritabanı performansı


Pek çok uygulama, belirli dönemlerde yoğun trafik yaşar; örneğin kampanya sezonları, yıl sonu raporlamaları veya tatil dönemleri sorgu yükünü büyük ölçüde artırır. Bu dönemlerde yeni indeks eklemek veya mevcut indeksleri yeniden oluşturmak, kullanıcı deneyimini kötü etkileyebilir. Bu yüzden bakım işlemlerinin trafiğin az olduğu saatlere planlanması önerilir. Büyük tablolarda indeks oluşturma işlemi kilitlenmelere ve uzun bekleme sürelerine yol açabilir; bu nedenle çevrimiçi indeks oluşturma seçeneklerinin değerlendirilmesi faydalıdır. Mevsimsel veri hacmi değişimleri de indeks stratejisinin periyodik olarak gözden yenilenmesini gerektirir. Zamanlama doğru yapıldığında, indeksleme çalışmaları hem sistem kararlılığını korur hem de iş süreçlerini kesintiye uğratmadan sürdürülebilir kılar.


İndeksleme hakkında sıkça sorulanlar

Sıkça sorulan sorulardan biri, hangi sütunlara indeks eklenmesi gerektiğidir; yanıt genellikle WHERE koşullarında, JOIN bağlantılarında ve sıralama işlemlerinde sık kullanılan sütunlar şeklindedir. Bir diğer soru, indekslerin ne kadar sürede kazanç sağladığıdır; bu, veri hacmine, sorgu karmaşıklığına ve donanım imkanlarına göre değişir. Kullanıcılar ayrıca mevcut bir indeksin silinip silinmemesi gerektiğini sorar; bunun için kullanım istatistikleri incelenmeli ve indeks gerçekten kullanılmıyorsa kaldırılması düşünülmelidir. Son olarak, indekslerin veri bütünlüğünü değiştirip değiştirmediği merak edilir; genel olarak indeksler yalnızca performansı etkiler, veriyi değiştirmez. Her projenin koşulları farklı olduğundan, en doğru yanıt test sonuçlarıyla birlikte verilmelidir.

Kitap yazsan alirim.
Cidden guzel bir paylasim, basarili olmus.
Bu konuda daha once hic bu kadar ise yarar bir workshop okumamistim.
Inanilmaz bir calisma. Baskalarinin deneyimlerini de merak ediyorum.
Bu konuda daha once hic bu kadar faydali bir not okumamistim.

Forumdan Konular