Azure Azure Monitoring

Azure Log Analytics Günlüklerinin Arşivlenmesi

Avatar
Written by Emre Martin

Makalenin başlığını ilk okuduğunuzda “iki sene yetmiyor mu ?” diye düşünmüş olabilirsiniz. Evet log analytics üzerinde Data Retention süresini 730 güne çekip log’ların iki sene boyunca Workspace üzerinde saklanmasını sağlayabiliriz tabi Free Tier – Log Analytics kullanmıyorsanız. Ancak bazı şirketler güvenlik, uyumluluk ve denetim gibi sebeblerden toplantığı logların bir kısmını imha ederken bir kısmınıda yaptıkları işe bağlı olarak yillar boyunca arşivlemesi gerekebiliyor durum böyle olunca Log Anaytics’in sağlamış olduğu bu iki sene yeteriz kalıp, log’ların uzun vadede arşivlenebilmesi için farklı bir çözümler sunmamız gerekiyor. Yazının devamında bu çözümleri birlikte inceliyor olacağız.

Log Anaytics Workspace Data Export (Preview)

Data Export önizleme olarak sunulan yeni bir özellik. Log Anallytics workspace üzerinde tabloların yani log’ların neredeyse gerçek zamanlı olarak (ilk log’ların düşmesi 30 dk sürebiliyor) Azure Storage yada Azure Event Hub üzerine sürekli olarak aktarılmasına olanak sağlııyor. Fiyatlandırması gelecekte duyurulucak olan bu özelliği şuan için ücretsiz olarak kullanabilirsiniz.

Görsel Orjinal: buradan. 

Data Export yapılandırması için Azure Portal, Azure CLI yada Rest API’leri kullanabilirsiniz. Şuan için Powershell desteklenmemekte.Limitasyonlar:

  • Özellik genel kullanıma sunulana kadar muhtemelen tüm log’lar desteklenectir ancak şuan için deskteklenen log tablolara buradan göz atabilirsiniz.
  • Şubat ayı için planlanmıs Custom Log Preview ile bunu yapabiliyor olacağınız ancak mevcut özel log’ların dışarı aktarılması desteklenmemekte.
  • Her Workspace içerisinde en fazla 10 aktif aktarma kuralı oluşturabilirsiniz.
  • Aktarma kuralı içerisinde belirlediğiniz hedef (storage account yada event hub) her bir kural için farklı olmalı ve aynı Azure bölgesi içerisinde yer almalıdır (Farklı bir Azure üyeliği altında olabilir).
  • Dışa aktardığınız log’ların isimleri storage account için en fazla 60, Event Hub için en fazla 47 karakter olabilir. Daha fazla karakteri log’lar aktarılmamakta. Ayrıca Event Hub Basic SKU’da maximum event boyutunun 256 KB olduğunu unutmayın.
  • Data export ile aktarılan log’lara filtre uygulanmadan dışa aktarılır yani SecurityEvent log’larının dışa aktarılması için bir kural oluşturduysanız o log üzerinde tüm tablolar dışa aktarılır.

Data Export yapılandırma için buradan yararlanabilirsiniz.

Log Anaytics Workspace Verilerinin Logic App ile Arşivlenmesi

Log’ların arşivlenmesi için kullanabileceğiniz diğer bir yöntem Logic App’in nimetlerinden yararlanmaktır. Bu yöntemde ihtiyacınız olan sorgu, dilediğiniz bir zamanda Log Analytics connector kullanılarak Workspace üzerinde çalıştırılır ve Storage Connector ile sorgunun çıktısı Azure storage üzerine yazdırılabilir.

Data export’un aksine bu yöntemde log’ları filtreleyebilir sadece belirli bir tablonun dışa aktarılmasını sağlayabilirsiniz, aslında bu Connector limitasyonlarına takılmamak için yapılması gereken birşeydir.

Connector Limitasyonları:

  • Bir sorgunun çıktısı en fazla 500.000 satır ve 64.000.000 bytes olabilir.
  • 10’dk dan uzun süren sorgular çalıştırılamaz.
  • Dakika’da en fazla 100 sorgu çalıştırılabilir.

Log Analytics – Logic App yapılandırma için buradan yararlanabilirsiniz.

Log Anaytics Workspace Verilerinin Local Makina üzerine indirilmesi

Son seçenek olarak buradan erişebileceğiniz script ile dilediğiniz sorgunun çıktısınız ExportDirectory parametresi ile belirlileyeceğiniz bir dizine tek sefer olarak indirebilir yada dilerseniz Azure Automation ile Hybrid Worker kullanarak devalı çalışacak bir otomasyon oluşturabilirsiniz.

Görüşmek üzere.

Yazar Hakkında

Avatar

Emre Martin

Cloud Solutions Architect