Log Hacmi Beklenenin Çok Üstünde, Neyi Kısmalıyım?

Hacim tahmininin tutmaması normaldir. Tahminler genellikle “kaç kullanıcı × günde kaç oturum” diye kurulur, oysa satırların büyük kısmını kullanıcı üretmez.

Kısma kararı vermeden önce bir günlük ham kaydı alın ve kaynağa göre ayrıştırın: hangi cihaz, hangi kural, hangi olay türü kaç satır yazmış. Bu tabloyu çıkarmak yarım gün sürer ve neredeyse her zaman hacmin yarısından fazlasının tek bir yerden geldiğini gösterir.

Hacmi Şişiren Yerler

Dış hattan gelen tarama gürültüsü. İnternete bakan her adres sürekli taranır. Bu paketler zaten reddediliyor, ama her reddi ayrı satır olarak yazan bir kural varsa kayıt üretimi trafikle değil saldırgan sayısıyla ölçeklenir. Çözüm ret kaydını tamamen kapatmak değil. Gürültüyü tek bir kuralda toplayıp o kuralın ayrıntı seviyesini düşürmek, kalan ret kurallarını ayrıntılı bırakmak.

İç ağın kendi gürültüsü. Broadcast, multicast, mDNS, eski NetBIOS trafiği ve yanlış yapılandırılmış yazıcılar. Bunlar hiçbir kurala uymadığı için varsayılan ret kuralına düşer ve orada loglanır. Bir kez temizlendiğinde geri gelmezler.

Aynı olayın iki kere gitmesi. Cihaz hem syslog gönderiyor hem akış kaydı üretiyor, toplayıcı ikisini de tam ayrıntıyla saklıyor. İkisi farklı sorulara cevap verdiği için ikisi de gerekebilir, ama ikisinin de aynı süre boyunca aranabilir olması gerekmez.

Oturum başına birden fazla satır. Bazı cihazlar oturum başlangıcını, bitişini ve uygulama tanımlamasını ayrı kayıtlar olarak yazar. Arıza ararken üçü de işe yarar. Sürekli açık kalmasının bedeli ise üç katı hacimdir.

Yedeklilik. HA çiftinde iki üye de kendi bakışını yazıyorsa, aktif olmayan üyenin kaydı çoğu zaman kimsenin okumadığı bir kopyadır.

Kalıntı ayarlar. Deneme kurulumu sırasında açılan debug seviyesi, kimse kapatmadığı için aylarca açık kalır. Bunu aramak listenin başında olsun.

Neye Dokunulmaz

Kısma sırası şuradan başlamaz. Kayıt zincirinin şu üç parçası hacim gerekçesiyle kısılmaz:

Erişim kaydının kendisi ve onu anlamlı kılan alanlar. NAT çevriminde kaynak port ile çevrim zamanı, hacim açısından pahalıdır ve tam da bu yüzden ilk kısılmaya aday olur. O alan gittiğinde geriye kalan kayıt kimseyi işaret etmez, yani hacmi düşürürken kaydı kullanılamaz hâle getirirsiniz.

Kimlik eşleştirmesini sağlayan DHCP ve kimlik doğrulama kayıtları. Bunlar hacim olarak zaten küçüktür, ama saklama süreleri güvenlik duvarı kaydıyla aynı olmadığında zincir ortadan kopar.

Yönetim erişim kaydı. Cihazda kim ne zaman ne değiştirdi bilgisi, bir olaydan sonra elinizde kalan tek bağımsız iz olabilir.

İndeks ile Arşivi Ayırın

Kurumların “log hacmi” diye tarif ettiği sorun çoğu zaman disk sorunu değil, indeks sorunudur. Aranabilir tutulan her satır, sıkıştırılmış olarak arşivlenen satırdan kat kat pahalıdır. SIEM lisansları da genellikle bu tarafa göre fiyatlanır.

Pratik kurgu şu: son dönemi tam ayrıntıyla ve aranabilir tutun, gerisini sıkıştırılmış arşive alın, arşivden geri yükleme yolunu bir kere deneyip süresini ölçün. Bu son adım atlandığında arşiv teoride vardır, pratikte yoktur.

Saklama sürelerinin kendisini teknik gerekçeyle belirlemeyin. Hangi kaydın ne kadar duracağı yürürlükteki mevzuata ve kurumun hukuk birimine bağlı bir karardır. Teknik ekibin işi o süreyi ucuza mümkün kılmaktır.