ERPakademi » VERİ MADENCİLİĞİ

Veri Madenciliği ve Elektronik Ticaret

editor3 — Sun, 15 Nov 2009 21:41:09 +0000

Bu bildiride, veri madenciliği (data mining) konusunun elektronik ticaretteki (electronic commerce, e-commerce) uygulamaları vurgulanacaktır. Veri madenciliğinin tarihçesi, günümüzdeki kullanım alanları ve eksiklikleri tespit edilecektir. Veri madenciliğinin elektronik ticarete kazandıracağı faydalar belirtilecek, veri madenciliği teknikleri ve yöntemleri incelenecektir.

1. Giriş

Verilerin dijital ortamda saklanmaya başlanması ile birlikte, yeryüzündeki bilgi miktarının her 20 ayda bir kendini iki katına çıkardığı günümüzde veri tabanlarının sayısı da benzer, hatta daha yüksek bir oranda artmaktadır. Yüksek kapasiteli işlem yapabilme gücünün ucuzlamasının bir sonucu olarak, veri saklama hem daha kolay olmuş, hem de verinin kendisi de ucuzlamıştır.

Günümüzde oldukça yaygınlaşan elektronik ticaret ve online alışveriş mekanizmalarının da artmasıyla birlikte, bu alanda birbirlerine rakip olan firmaların çalışmaları, veri madenciliğinin önemini ön plana çıkarmaktadır.

Araştırmacıların, geniş, çok hacimli ve dağınık veri setleri üzerinde yapmış oldukları çalışmalar sonucu aşağıdaki sonuçlara varılmıştır.

• Veri madenciliği ve bilgi keşfi (data mining & knowledge discovery), özellikle elektronik ticaret, bilim, tıp, iş ve eğitim alanlarındaki uygulamalarda yeni ve temel bir araştırma sahası olarak ortaya çıkmaya başlamıştır. Veri madenciliği, eldeki yapısız veriden, anlamlı ve kullanışlı bilgiyi çıkarmaya yarayacak tümevarım işlemlerini formüle analiz etmeye ve uygulamaya yönelik çalışmaların bütününü içerir. Geniş veri kümelerinden desenleri, değişiklikleri, düzensizlikleri ve ilişkileri çıkarmakta kullanılır. Bu sayede, web üzerinde filtrelemeler, DNA sıraları içerisinde genlerin tespiti, ekonomideki eğilim ve düzensizliklerin tespiti, elektronik alışveriş yapan müşterilerin alışkanlıkları gibi karar verme mekanizmaları için önemli bulgular elde edilebilir.

• Sayısal verinin miktarı, son 10 yılda bir patlama yaşayarak tahminlerin dışında bir artış göstermiştir. Buna karşılık, bilim adamlarının, mühendislerin ve analistlerin sayısı değişmemektedir. Bu orantısızlığı gidermek için yeni araştırma problemlerinin çözümleri birkaç gruba ayrılabilir :

1. Geniş hacimli ve çok boyutlu veri madenciliği için yeni algoritma ve sistemlerin geliştirilmesi,
2. Yeni veri tiplerinin madenciliği için yeni algoritma, teknik ve sistemlerin geliştirilmesi,
3. Dağıtık veri madenciliği için algoritma, protokol ve altyapıların geliştirilmesi,
4. Mevcut veri madenciliği sistemlerinin kullanımının ilerletilip geliştirilmesi,
5. Veri madenciliği için özel gizlilik ve güvenlik modellerinin geliştirilmesi.

• Tüm bu uğraşların başarıya ulaşması ve sonuç verebilmesi için hükümetin ve çok disiplinli ve disiplinler arası çalışan iş sahalarının desteği gereklidir.

• İlgili sistemlerin, ölçülmüş altyapıların ve test ortamlarının oluşturulmasını gerektiren önemli deneysel bileşenlerin gerçekleştirilmesi gerekir.
2. Veri Madenciliği Nedir?

Veri madenciliği, eldeki verilerden üstü kapalı, çok net olmayan, önceden bilinmeyen ancak potansiyel olarak kullanışlı bilginin çıkarılmasıdır. Bu da; kümeleme, veri özetleme, değişikliklerin analizi, sapmaların tespiti gibi belirli sayıda teknik yaklaşımları içerir (William J. Frawley, Gregory Piatetsky – Shapiro, Cristopher J. Matheus).

Başka bir deyişle, veri madenciliği, verilerin içerisindeki desenlerin, ilişkilerin, değişimlerin, düzensizliklerin, kuralların ve istatistiksel olarak önemli olan yapıların yarı otomatik olarak keşfedilmesidir.

Temel olarak veri madenciliği, veri setleri arasındaki desenlerin ya da düzenin, verinin analizi ve yazılım tekniklerinin kullanılması ile ilgilidir. Veriler arasındaki ilişkiyi, kuralları ve özellikleri belirlemekten bilgisayar sorumludur. Amaç, daha önceden fark edilmemiş veri desenlerini tespit edebilmektir.

Veri madenciliğini istatistiksel bir yöntemler serisi olarak görmek mümkün olabilir. Ancak veri madenciliği, geleneksel istatistikten birkaç yönde farklılık gösterir. Veri madenciliğinde amaç, kolaylıkla mantıksal kurallara ya da görsel sunumlara çevrilebilecek nitel modellerin çıkarılmasıdır. Bu bağlamda, veri madenciliği insan merkezlidir ve bazen insan – bilgisayar arayüzü birleştirilir.

Veri madenciliği sahası, istatistik, makine bilgisi, veri tabanları ve yüksek performanslı işlem gibi temelleri de içerir.

Veri madenciliği konusunda bahsi geçen geniş verideki geniş kelimesi, tek bir iş istasyonunun belleğine sığamayacak kadar büyük veri kümelerini ifade etmektedir. Yüksek hacimli veri ise, tek bir iş istasyonundaki ya da bir grup iş istasyonundaki disklere sığamayacak kadar fazla veri anlamındadır. Dağıtık veri ise, farklı coğrafi konumlarda bulunan verileri anlatır.

3. Yeni Uygulamalar

Veri madenciliği disiplini, bugünkü teknoloji ile tam olarak desteklenemeyen yeni yeteneklere sahip uygulamalara ihtiyaç doğurmuştur. Bu uygulamalar, genel olarak 4 ana kategoride toplanmaktadır.

a) İş ve Elektronik Ticaret Verileri : Geri ofis, ön ofis ve ağ uygulamaları iş süreçleri sırasında geniş çaplarda veri üretirler. Bu veriyi karar verme mekanizmalarında efektif olarak kullanmak, ilgili ticari kuruluşun temel yapı taşlarından olmalıdır.

b) Bilimsel, Mühendislik ve Sağlık Bakım Verileri : Günümüzde bilimsel veriler, iş sahası verilerinden daha da karmaşık hale gelmişlerdir. Buna ek olarak, bilim adamları ve mühendisler uygulama sahası bilgilerini kullanarak simülasyon ve sistem kullanımının arttırılması hedefindedirler.

c) Web Verileri : Internet ve web üzerindeki veriler hem hacim hem de karmaşıklık olarak hızla artmaktadır. Sadece düz metin ve resimden başka akan (streaming) ve nümerik veriler de web verileri arasında yer almaktadır.
Bunların dışında da veri madenciliğinin faydalı olabileceği ve kullanılabileceği sahalar şunlar olarak özetlenebilir.

a) Perakendecilik – marketçilik
b) Bankacılık
c) Taşımacılık / Ulaşım / Konaklama
d) Eğitim Öğretim
e) Finansal Servisler

4. Veri Madenciliğindeki Problemler

Veri madenciliği girdi olarak ham veriyi sağlamak üzere veri tabanlarına dayanır. Bu da veri tabanlarının dinamik, eksiksiz, geniş ve net veri içermemesi durumunda sorunlar doğurur. Diğer sorunlar da verinin konu ile uyumsuzluğundan doğabilir.

Sınıflandırmak gerekirse başlıca sorunlar şunlardır :

• Sınırlı Bilgi : Veri tabanları genel olarak veri madenciliği dışındaki amaçlar için tasarlanmışlardır. Bu yüzden, öğrenme görevini kolaylaştıracak bazı özellikler bulunmayabilir.

• Gürültü ve Eksik Değerler : Veri özellikleri ya da sınıflarındaki hatalara gürültü adı verilir. Veri tabanlarındaki eksik bilgi ve bu yanlışlardan dolayı veri madenciliği amacına tam olarak ulaşmayabilir. Bu bilgi yanlışlığı, ölçüm hatalarından, ya da öznel yaklaşımdan olabilir.

• Belirsizlik : Yanlışlıkların şiddeti ve verideki gürültünün derecesi ile ilgilidir. Veri tahmini bir keşif sisteminde önemli bir husustur.

• Ebat, güncellemeler ve konu dışı sahalar : Veri tabanlarındaki bilgiler, veri eklendikçe ya da silindikçe değişebilir. Veri madenciliği perspektifinden bakıldığında, kuralların hala aynı kalıp kalmadığı ve istikrarlılığı problemi ortaya çıkar. Öğrenme sistemi, kimi verilerin zamanla değişmesine ve keşif sisteminin verinin zamansızlığına karşın zaman duyarlı olmalıdır.
5. Veri Madenciliğini Etkileyen Eğilimler

Temel olarak veri madenciliğini 5 ana harici eğilim etkiler :

a) Veri : Veri madenciliğinin bu kadar gelişmesindeki en önemli etkendir. Son yirmi yılda sayısal verinin hızla artması, veri madenciliğindeki gelişmeleri hızlandırmıştır. Bu kadar fazla veriye bilgisayar ağları üzerinden erişilmektedir. Diğer yanda bu verilerle uğraşan bilim adamları, mühendisler ve istatistikçilerin sayısı hala aynıdır. O yüzden, verileri analiz etme yöntemleri ve teknikleri geliştirilmektedir.

b) Donanım : Veri madenciliği, sayısal ve istatistiksel olarak büyük veri kümeleri üzerinde yoğun işlemler yapmayı gerektirir. Gelişen bellek ve işlem hızı kapasitesi sayesinde, birkaç yıl önce madencilik yapılamayan veriler üzerinde çalışmayı mümkün hale getirmiştir.

c) Bilgisayar Ağları : Yeni nesil internet, yaklaşık 155 Mbits/sn lik hatta belki de daha da üzerinde hızları kullanmamızı sağlayacak. Bu da günümüzde kullanılan bilgisayar ağlarındaki hızın 100 katından daha fazla bir sürat ve taşıma kapasitesi demektir. Böyle bir bilgisayar ağı ortamı oluştuktan sonra, dağıtık verileri analiz etmek ve farklı algoritmaları kullanmak mümkün olacaktır. Bundan 10 yıl önceki bilgisayar ağları teknolojisinde hayal edemediklerimizi artık kullanabiliyoruz. Buna bağlı olarak, veri madenciliğine uygun ağların tasarımı da yapılmaktadır.

d) Bilimsel Hesaplamalar : Günümüz bilim adamları ve mühendisleri, simülasyonu bilimin üçüncü yolu olarak görmekteler. Veri madenciliği ve bilgi keşfi, bu 3 metodu birbirine bağlamada önemli rol almaktadır : teori, deney ve simülasyon.

e) Ticari Eğilimler : Günümüzde ticaret ve işler çok karlı olmalı, daha hızlı ilerlemeli ve daha yüksek kalitede servis ve hizmet verme yönünde olmalı, bütün bunları yaparken de minimum maliyeti ve en az insan gücünü göz önünde bulundurmalıdır. Bu tip hedef ve kısıtların yer aldığı iş dünyasında veri madenciliği, temel teknolojilerden biri haline gelmiştir. Çünkü veri madenciliği sayesinde müşterilerin ve müşteri faaliyetlerinin yarattığı fırsatlar daha kolay tespit edilebilmekte ve riskler daha açık görülebilmektedir.
6. Elektronik Ticaret ve Veri Madenciliği

Günümüzde giderek yaygınlaşan ve gelişen bir sektör haline gelen elektronik ticaret, bilgisayar ve internet kullanıcılarının vazgeçemedikleri bir alışkanlık haline gelmiştir. Bilgisayarlar aracılığıyla istenilen ürün veya ürünlere ulaşmak, sipariş vermek mümkün olmaktadır. Kapsam olarak oldukça genişlediği gibi internet mağazalarının müşteri sayıları ve alışveriş kapasiteleri de tahminlerin ötesinde artışlar göstermektedir.

Internet üzerinde alışveriş yapmak isteyenler için büyük kolaylıklar ve geniş imkanların sağlanmaya çalışıldığı günümüzde, sadece internet bağlantısı olan bir bilgisayar ile elektrikli ev aletlerinden kaset ve CD’ ye, gıda maddelerinden otomobile kadar her şeyi satın almak mümkün hale gelmiştir. İnsanlara da daha kolay geldiği için, elektronik ticaret siteleri oldukça rağbet görmektedir.

İşte bu rekabet içerisinde, ürünlerini internet üzerinden satışa sunan firmalar, farklı satış stratejileri ve sunum taktikleri geliştirerek birbirlerine üstünlük sağlamaya çalışmaktadırlar. Böyle bir ortamda veri madenciliğinin önemi daha da artmıştır. Çünkü benzer kalite ve fiyattaki ürünlerin satıldığı bir pazarda, mevcut müşterilerinin alışveriş alışkanlıklarını, ürünlerin satış grafikleri ve desenlerini ya da müşteri sınıflarının belirlenmesi ve bu sonuçlara göre karar mekanizmalarının çalıştırılması, ilgili ticari kuruluşun rekabet edebilmesi ve hayatta kalabilmesini sağlayacaktır.

Günümüzde, milyonlarca ticari faaliyet gerçekleşmekte ve bu faaliyetlerde milyarlarca müşteri yer almakta. Bu ticari işlemlerin sonucunda da büyük ölçeklerde veri toplanmaktadır. Yakın zaman öncesine kadar, bu veriler sadece stoklanmak üzere kaydedilmiş ve bir daha kullanılmamışlardır. Ancak, ticari rekabet arttıkça ve ürün satmak zorlaştıkça, bu verilere yeniden başvurulmuş ve bazı gizli özelliklerin ortaya çıkarılmasına uğraşılmıştır. Böylelikle veri madenciliği ortaya çıkmıştır.

Ticari işlemler sırasında, iş sahasında büyük riskler ve büyük fırsatlar yer almaktadır. Örneğin müşterinin fatura ücretini ödeyip ödeyemeyeceği kesin değildir ve satıcı firma bu riski göze almalıdır. Ya da bir müşterinin ne kadar para harcayacağı ya da bundan sonra ne alabileceği gibi konularda büyük fırsatlar çıkabilir. İşte bütün bunların düzgün biçimde analiz edilip belirlenmesi, bunun için de eldeki verilerin incelenmesi gerekmektedir.

Veri madenciliğinin tam anlamıyla gerçekleştirilebileceği en uygun alan, elektronik ticarettir. Bu ticaretin işlemleri sırasındaki her türlü bilgi zaten elektronik ortamda tutulmaktadır. Müşteri ve ürün bilgileri de benzer şekilde veri tabanlarında yer almaktadırlar. Hacim ya da boyut ne olursa olsun birbirleriyle ilişkilendirilmiş bu verilerin arasına gizlenmiş olan desenler ya da düzensizlikler, en kolay tespit edilebilen ve göze çabuk çarpan kurallar olarak çıkarılabilir.

Örnek olarak, büyük bir süpermarketin en basit fatura kayıtları incelendiğinde, tıraş bıçağı alan müşterilerin %56 sının kalem pil de aldığı ortaya çıkmıştır. Buna dayanarak firma, tıraş bıçağı ve kalem pil reyonlarını bir araya getirmek suretiyle kalem pil satışlarını %14 arttırmıştır. Bu ve buna benzer örnekler her zaman karşımıza çıkacaktır. Ürünler ve satışları arasındaki bu ilişkilerin belirlenmesiyle, satış stratejileri değiştirilip kazancın artırılması mümkündür.

7. Veri Madenciliği İşlevleri

Veri madenciliğine işlevleri açısından bakılacak olursa, veri madenciliği aktiviteleri 3 sınıf altında toplanmıştır. : Keşif (discovery), tahmini modelleme (predictive modeling) ve adli analiz (forensic analysis).
Keşif, ne olabileceği konusunda önceden belirlenmiş bir fikir ya da hipotez olmadan, veri tabanı içerisinde gizli desenleri arama işlemidir. Geniş veri tabanlarında kullanıcının pratik olarak aklına gelmeyecek ve bulmak için gerekli doğru soruları bile düşünemeyeceği birçok gizli desen olabilir. Buradaki asıl amaç, bulunacak desenlerin zenginliği ve bunlardan çıkarılacak bilginin kalitesidir.

Basit bir örnek vermek gerekirse, bir ülkenin nüfus kayıtlarını düşünelim. Kullanıcı, eldeki bu veri tabanına “Bankacıların yaş ortalaması nedir?” şeklinde bir ilk soru sorabilir. Sistemin bu soruya 47 olarak cevap verdiğini varsayalım. Kullanıcı, artık “yaş”la ilgili daha ilginç veriler bulma yoluna gidebilir. Sistem, bu andan itibaren, bir analist gibi hareket edecek ve kurallar çıkarmaya çalışacaktır. Örneğin “Eğer Meslek=Sporcu ise, Yaşı %71 kesinlike 30’dan küçüktür.” kuralının anlamı, eğer veri tabanından 100 adet Sporcu seçilirse, bunların 71 adedinin yaşı, 30’dan küçüktür demektir. Benzer olarak sistem, “Eğer Meslek=Sporcu ise, Yaşı %97 kesinlikle 60’dan küçüktür” sonucunu da çıkarabilir. Bu da 100 sporcudan en az 97 sinin 60 yaşından küçük olduğunu belirtir.

Tahmini modellemede, veri tabanından çıkarılan desenler, geleceği tahmin için kullanılır. Bu model, kullanıcının bazı alan bilgilerini bilmese bile kayıt etmesine izin verir. Sistem, bu boşlukları, önceki kayıtlara bakarak tahmin yoluyla doldurur. Keşif, verideki desenleri bulmaya yönelikken, tahmini modelleme, bu desenleri yeni veri nesnelerini bulmak için uygular.

Az önceki örneği baz alırsak, artık mesleği sporcu olan birinin yaşını yaklaşık olarak tahmin edebilmekteyiz. Kayıtlar arasında yaşı bilinmeyen fakat mesleği sporcu olan birini bize söylediklerinde, yaşının %71 kesinlik oranıyla 30’dan küçük, hatta %97 kesinlikle de 60’dan küçük olduğunu tahmin edebiliriz. Burada keşif, genel bilgiyi bulmamıza yardımcı olur ama tahmini modelleme, daha spesifik bilgileri tahmin etmekte kullanılır.

Adli analiz, normal olmayan ya da sıra dışı veri elemanlarını bulmak için, çıkarılmış desenleri uygulama işlemidir. Sıra dışı olanı bulmak için ilk önce sıradan kısmı tespit etmek gerekir. Örneğimize göre 60 yaşından sonra hala spor yapan %3’lük bir kesimin olduğunu biliyoruz ancak sebebini bilmiyoruz. Bunlar sıra dışı eleman olarak kabul edilmektedirler. Kimisi normalin dışında sağlıklı olabilir ya da yaş ile ilgisi olmayan sporlarla (örneğin golf) uğraşıyor olabilirler. Ya da bu veri tabanındaki bilginin yanlış olabileceğini de gösteriyor olabilir. Göründüğü gibi adli analiz, keşifte aranılan genel bilginin tersine, sıra dışı ve özel durumları araştırır.

8. Sonuç

Veri madenciliği ve bilgi keşfi, bilime, mühendisliğe, tıp sahasına, eğitime ve bilhassa ticari hayata yeni uygulamalar kazandıran bir disiplin olarak ortaya çıkmaya başlamıştır. Veri madenciliği sağlam olarak şu iki temele dayanır :
a) Son 20 yılda farklı sahalarda yapılan araştırmalardaki ilerlemeler
b) Bilişim, bilgisayar ağları ve bilgisayar teknolojilerindeki gelişimler.

Bilhassa dijital veri miktarında artış patlaması ve buna karşılık, bu veriler üzerinde araştırma ve uygulama yapan kişilerin sayısının değişmemesi, çalışmaları veri madenciliğine doğru zorlamıştır. Özellikle e-ticaret in de gelişimi ve beklenmeyen gelişme hızı da veri madenciliğinin önemini bir kat daha arttırmıştır.

Elektronik ticaret kavramının artık vazgeçilmez olduğu günümüzde, ticari rekabette üstünlük sağlamak için, şimdiye kadar sadece kayıt için tutulan verilerin incelenmesine başlanmış ve bu veriler arasında gizlenmiş olabilecek ve yeni fırsatlar doğuracak desen ve kuralların aranması çalışmaları hız kazanmıştır. Elde edilen sonuçların başarılı olması veri madenciliğinin gerekliliğini ispatlamıştır.

Ancak, veri madenciliği basite alınmayacak kadar ciddi bir çalışmadır. Bu konudaki çalışmalara hükümet ya da ticaret kollarının önde gelen kuruluşları destek vermeli ve gerekli imkanları sağlamalıdırlar. Özellikle veri yataklarının temini konusunda hassas davranan firmalar, bu konuda daha açık görüşlü olmaya davet edilmektedirler.

Veri madenciliğin ileride varacağı hedef ve gereksinimler olarak şu an için yeni ve hızlı algoritmalar, akıllı sistemler, yapay sinir ağlarının bu konu ile uygulamaları, özel güvenlik mekanizmaları geliştirilmelidir. Ayrıca yeni veri modelleri üzerinde de çalışmalar yapılmaktadır.
Kaynaklar :
1) Robert Grossman – 1999 : Data Mining Research
2) Tukey, J – 1973 : Exploratory Data Analysis
3) Alan Rae, Data Mining Student Notes – The Queen’s University of Belfast
4) SPSS Inc. Chicago, Illionis – http://www.spss.com/datamine/
5) Birmingham University, Andy Pryke – http://www.andypryke.com/university/dm_docs/
6) Data Warehousing Information Center – http://www.dwinfocenter.org/
7) Information Discovery Inc. – http://www.datamining.com

ÇOK BOYUTLU VERİ GÖRSELLEŞTİRME TEKNİKLERİ

editor3 — Sun, 15 Nov 2009 21:40:17 +0000

Birçok veri madenciliği uygulamasında verilerin birbiri ile olan ilişkilerinin iyi anlaşılması büyük önem taşır. Bunu gerçekleştirmek için en iyi yol verinin görselleştirilmesidir. Veri görselleştirme teknikleri, bilgisayar grafikleri, görüntü işleme, bilgisayar görüşü (computer vision), kullanıcı arayüzü tasarımı gibi birçok bilim dalının birleşiminden oluşur. Bu teknikler sayesinde bankalar, sayısal kütüphaneler, İnternet siteleri ve metin veritabanları gibi büyük veritabanlarının görselleştirilmesi mümkün olmaktadır.

1. GİRİŞ

Veri görselleştirme, insanın algılama yetenekleri ve insanlar arası yorumlama farklarını dikkate alarak analiz gerçekleştirmeye olanak verir. Veri görselleştirme teknikleri ile etkili bir biçimde verinin portresinin çıkarılması sağlanabilir ve veri hakkında genel bir kanıya varılabilir [1, 2,3].

2. ÇOK BOYUTLU VERİTABANLARI

Çok boyutlu veritabanları bilgi keşfi (information retrieval), görüntü işleme, veri madenciliği, örüntü tanıma ve karar destek sistemleri gibi birçok uygulama alanında önem kazanmaktadır. Günümüzde Veritabanı yönetim sistemleri eski örneklerine göre çok daha karmaşıktır. Modern uygulamalarda veritabanı kavramı yalnızca ilişkisel veya nesne yönelimli olarak iki türe değil, uygulama alanlarına özel birçok farklı türe ayrılmaktadır [15].

2.1. Çokluortam veritabanları (Multimedia Databases)

Çokluortam veritabanları birçok farklı biçimde görüntü, ses ve video verileri içerirler. Fotoğrafik görüntüler, uydu görüntüleri, uzaktan algılama resmleri (remotely sensed images) [16], tıbbi görüntüler (iki boyutlu X ışınları ve üç boyutlu beyin MRI taramaları), jeolojik görüntüler, biyometrik tanımlama (biometric identification) görüntüleri (parmak izi, retina gibi [17]) gibi farklı çokluortam verileri depolamak üzere özelleştirilmiş birçok uygulama bulunmaktadır. Bu uygulamalarda amaç, hedef olarak seçilmiş bir nesneye en fazla benzeyen nesneleri bulmaktır. Bu sebeple her görüntü renk, şekil, desen gibi özelliklerden oluşan özellik vektörlerine (feature vectors) dönüştürülür. Benzerlik (similarity), özellik vektörleri arasındaki uzaklık hesaplanarak bulunur.

2.2. Zaman serileri veritabanları

Bu veritabanları finansal, tıbbi ve bilimsel verilerin analizinde, veri madenciliğinde ve karar verme sürecinde kullanılırlar. Zaman serileri veritabanları zaman serisi şeklindeki verileri Ayrık Fourier Dönüşümü (Discrete Fourier Transform) [18] veya Ayrık Dalgacık Dönüşümü (Discrete Wavelet Transform) [19] gibi dönüşüm yöntemleri ile çok boyutlu noktalara dönüştürürler. Benzerlik arama işlemi dönüştürülmüş veriler üzerinde gerçekleştirilir.

2.3. DNA veritabanları

Genetik materyal (DNA) bir canlının tüm hücresel fonksiyonları için gerekli tüm bilgileri depolamaktadır. DNA, dört harfli alfabesi olan bir metin dizisidir. Bu dört harf A,C,G ve T olarak dört farklı çeşit nükleotidi temsil eder. Yeni bir metin dizisi (örneğin bilinmeyen bir hastalığa ait olabilir), eski dizilerin herhangi bir bölümü eşleştirilmeye çalışılır. Eşleştirmenin amacı belirli bir uzaklık fonksiyonu kullanılarak aranan metne en fazla uyan bölümü bulmaktır.

2.4 Doküman veritabanları

Bu veritabanları çoğunlukla belirli bir dile ait kelimeler veya metinlere ait özellik vektörleri içerirler. Çok fazla sayıda boyuta sahip olabilirler. İnternet’in doğuşu ile birlikte gelişme göstermiştir. İnternet arama motorları, on-line veritabanları, doğal dil işleme, doküman sınıflandırma gibi alanlarda yoğun olarak kullanılmaktadır.
Yukarıda açıklanan veritabanları çok boyutlu veri nesnesi şeklinde temsil edilen ve sayısal verilerden oluşan özellik vektörlerine sahiptir. Bu yüzden bu tür veritabanlarına genel olarak “çok boyutlu veritabanı” adı verilir. Çok boyutlu veri tabanları, anahtar (key) ifade tabanlı geleneksel sorgular yerine “benzerlik tabanlı” (similarity based) veya içerik tabanlı bilgi çekme (content based retrieval) sorgularına gereksinim duyarlar. Bu tür veri tabanlarında benzer örüntüler arama süreci büyük önem taşır. Çünkü bu süreç tahmin etme, karar verme, bilgisayar destekli tıbbi muayene, hipotez doğrulama ve veri madenciliği için kritik öneme sahiptir [20].

3. VERİ GÖRSELLEŞTİRMEDE AMAÇ

İnsanın algılama sistemi yalnızca 3 boyut ile sınırlı olduğu için daha fazla boyut içeren veriler insanın algılama sınırını aşmaktadır. Veri görselleştirme teknikleri çok boyutlu veriyi 2 veya 3 boyuta indirgeyerek görselleştirirken, diğer taraftan da veriler arasındaki ilişkiyi muhafaza edebilmelidir. Bu indirgeme sırasında bir miktar kayıp olması kaçınılmazdır. Görselleştirmede temel hedeflerden biri bu kaybı minimum düzeyde tutmaktır.

Veri görselleştirmenin iki temel amacı bulunmaktadır. Birinci amaç fikirlerin, kuralların ve kavramların daha iyi anlaşılmasıdır. Tüm bunlar bir bilgi olduğu için bu tür görselleştirmelere “bilgi görselleştirmesi” (knowledge visualization) denir. Diğer amaç ise grafiklerin ve resimlerin yeni fikirler oluşturmak, yeni ilişkiler kurmak, bir hipotezin doğruluğunu sınamak, yeni yapılar keşfetmek veya bu yapıları düzenlemektir. Özetle, bu işlemler insanın görsel algılama sistemini mantıksal problemlerin çözümü için kullanmaktır [20]. Bu tür görselleştirmelere “veri görselleştirme” (data visualization) veya “görsel bilgi keşfi” (visual data exploration) [7] denir.

4. ÇOK BOYUTLU VERİ GÖRSELLEŞTİRME TEKNİKLERİ

Çok boyutlu veri görselleştirme araçları, bu alandaki birçok çalışmaları ile tanınan Kriegel [7] ve Keim [6] tarafından altı temel sınıfa ayrılmıştır. Bunlar, geometrik izdüşüm teknikleri, ikon tabanlı teknikler, piksel tabanlı teknikler, hiyerarşik teknikler, graf tabanlı teknikler ve karma teknikler olarak literatüre girmiştir.

4.1. Geometrik İzdüşüm Tabanlı Teknikler

Bu tür tekniklerin en bilineni iki boyutlu veri setini x ve y eksenleri boyunca kartezyen koordinat sistemine işaretleyen saçılım grafikleridir (scatterplots).

Paralel Koordinatlar [7], k-boyutlu veri setini 2 boyutlu uzaya haritalayan görselleştirme tekniği Şekil 1’de görüldüğü gibi k adet birbirine paralel konumlandırılmış eksenlerden oluşur. Her eksen veri setine ait bir alan ile ilişkilendirilmiştir. Bir alandaki değer aralığı, o alana ait eksen üzerinde ölçeklenmiştir. Her eksen üzerindeki değer işaretlendikten sonra bu değerler düz çizgiler ile birleştirilir. Bu tekniğin en büyük dezavantajı birkaç bin adetten daha fazla nesne içeren veri setleri için uygun olmamasıdır. Nesne sayısı arttıkça üst üste binen çok sayıda çizgi görüntüyü yorumlanabilir olmaktan çıkarmaktadır.

4.2. İkon Tabanlı Teknikler

İkon tabanlı teknikler her birçok boyutlu veri nesnesini bir ikon şeklinde sembolize ederler. İkonun her bir görsel özelliği verinin içerdiği değerlere göre değişir. Bu türün ilk örneklerinden biri Chernoff yüzleri tekniğidir [8]. Her veri nesnesi için bir insan yüzü çizilir. Nesneye ait ilk iki boyut yüz resminin 2 boyutlu düzlemdeki konumu belirtir. Diğer boyutların aldığı değerler ile orantılı olarak insan yüzünün burun, ağız, kulak, göz ve yüz şekli değiştirilir (Şekil 2). Bu tekniğin en büyük dezavantajı insan yüzündeki bazı organların diğerlerine göre daha fazla dikkat çekmesidir. Örneğin gözler kulaklardan daha dikkatli algılandığı için karşılaştırma yanılgıları oluşabilir [6].

Çubuk şekiller (stick figures) tekniği ise beş kollu çubuk şeklinde ikonlar kullanır [9]. Şekil 3.a’da bir çubuk şekil ve Şekil 3.b’de çubuk şekiller ailesi ile 12 adet veri nesnesi görselleştirilmiştir. Veri nesnesinin ilk iki özelliği çubukların ebatını belirlemekte, diğer özellikler ise ikonun kollarının açısını belirlemekte kullanılır.

4.3. Piksel Tabanlı Teknikler

Piksel tabanlı tekniklerde her bir boyuta ait değer renkli bir piksel ile temsil edilir. Şekil 4’de altı boyutlu bir verinin piksel tabanlı görselleştirilmesi görülmektedir.

Her boyut ayrı bir dikdörtgen alt pencere içinde konumlandırılarak sahip olduğu değer ile orantılı bir renk ile temsil edilmektedir [10]. Bu teknik çok boyutlu büyük veri setlerinin görselleştirilmesi için elverişlidir.
Şekil 5’de 7000 noktadan oluşan 8 boyutlu ve 6 küme içeren sentetik bir veri seti için spiral dizilim ve eksenlere göre dizilim şeklinde iki farklı sorgu bağımlı görselleştirme görülmektedir. Her bir veri noktasının sorgu noktasına uzaklığını parlak sarıdan yeşile, mavi, koyu kırmızı ve siyah renkler ile kodlanmıştır. Sorgu noktasına en yakın olan nesneler parlak sarı, en uzak olanlar ise siyah ile gösterilmiştir.

4.4. Hiyerarşik Teknikler

Hiyerarşik teknikler k-boyutlu uzayı alt uzaylara ayırırlar ve bunları hiyerarşik olarak görüntülemeyi sağlarlar. Bu türün en önemli temsilcilerinden biri n-Vision veya diğer adı ile “dünya içinde dünyalar” (worlds-within-Worlds) [11] adlı sistemdir.

n-Vision aracı k-boyutlu uzayı birçok üç boyutlu alt uzaya ayırarak görselleştirir. Şekil 6’da altı boyutlu uzayın görüntülenmesi görülmektedir. İlk üç boyut dış koordinat sistemi ile sonraki üç boyut ise iç koordinat sistemi ile gösterilmiştir.

4.5. Graf Tabanlı Teknikler

Graf tabanlı teknikler özel yerleşim algoritmaları, sorgulama dilleri ve soyutlama teknikleri kullanarak etkili graflar oluştururlar. Bu alandaki en önemli araçlar Hy+ ve SeeNet araçlarıdır.

Hy+, yapısal veri setlerini görselleştirmek için kullanılan sorgulama ve görselleştirme sistemidir [4]. Bu araç web sörf oturumları e-posta transferleri gibi verilerin görselleştirilmesinde kullanılır.

SeeNet, hiyerarşik ağların bağlantı ağırlıkları kullanılarak görselleştirilmesini sağlayan bir araçtır [13]. Bu araç anlamsal düğüm yerleştirme (semantic node placement), yüksek ağırlıklı bağlantılar arasındaki uzaklıkları en aza indirme gibi özelliklere sahiptir. Şekil 7’de bir işyerinde belirli bir zaman dilimi içerisinde gerçekleşen e-posta bağlantıları görselleştirilmektedir [12]. Şekilde düğümlerin boyu bir kişiye ait olan e-posta sayısını, düğümlerin rengi personelin işyerindeki pozisyonunu, bağlantının kalınlığı ise iki düğüm arasındaki e-posta trafiğinin büyüklüğünü göstermektedir.

4.6. Karma Teknikler

Karma teknikler görselleştirmenin açıklayıcı niteliğini arttırmak için birden fazla görselleştirme tekniğini bir veya daha fazla pencere içerisinde kullanırlar. Görüntüleme farklı pencereler içerisinde yapıldığında pencereler arasında bağlantı kurmak için farklı etkileşimler ve dinamik yöntemler kullanmak gereklidir. Bu konuda kullanılabilecek yöntemler [14] numaralı referansta incelenebilir.
4. SONUÇ

Bu çalışmada çok boyutlu ve çok büyük veritabanlarında etkin olarak çalışabilen görselleştirme araçları incelenmiştir. Bu sistemler, yüksek ölçeklenebilirlik özellikleri ile gelecek yıllarda daha da artacak olan boyut ve büyüklüklere uyum sağlamakta geleneksel yöntemlere göre daha avantajlıdırlar.

KAYNAKLAR

[1] Carlis, J.V. ; Konstan, J.A.; “Interactive Visualization of Serial Periodic Data.” In UIST’98 Conference Proceedings. New York, NY: ACM Press, USA (1998) 29-38.
[2] Derthick, M.; Kolojejchick, J.; Roth, S. F.; “An interactive visualization environment for data exploration”. In Proc. of KDD-97, Kanada (1997) 2-9.
[3] Keim, D.A; Kriegel, H.P.; “Visualization Techniques for Mining Large Databases: A Comparison”, IEEE Trans. Knowledge and Data Eng., vol. 8, no. 6, USA (1996) 923-938.
[4] Card, S.K.; Mackinlay, J.D.; Shneiderman, B.; “Readings in Information Visualization: Using Vision to Think”, Morgan Kaufmann Publishers, San Francisco, USA (1999).
[5] Bertin, J.: “Graphics and Graphic Information Processing”, De Gruyter, Berlin, Germany (1981).
[6] Keim, D.A.: “Visual Database Exploration Techniques”, Proc. Tutorial KDD ’97 Intl. Conf. Knowledge Discovery and Data Mining, California, USA, (1997).
[7] Inselberg, A.; Dimsdale, B.: “Parallel Coordinates: A Tool for Visualizing Multidimensional Geometry”, Proc. IEEE Visualization’90, USA (1990) 361-375.
[8] Chernoff, H.: “The Use of Faces to Represent Points in k-Dimensional Space Graphically”, Journal of American Statistical Assoc., vol. 68, USA (1973) 361-368.
[9] Pickett, R.M.; Grinstein G.G.: “Iconographic Displays for Visualizing Multidimensional Data,” Proc. IEEE Conf. Systems, Man, and Cybernetics, (1988) 514-519.
[10] Keim, D.A.; Kriegel, H.P.: “VisDB: Database Exploration Using Multidimensional Visualization,” IEEE Computer Graphics and Applications, vol. 14, no. 5, USA (Eylül 1994) 40-49.
[11] Feiner, S.; Beshers, C.: “Worlds within Worlds: Metaphors for Exploring n-Dimensional Virtual Worlds”, Proc. of User Interface Software and Technology, (1990), 76-83.
[12] Keim, D.A.: “Visual Data Mining”, Tutorial Notes, Proc of VLDB, Atina, Yunanistan, (1997).
[13] Becker, R.A.; Eick, S.; Wilks, A.R.: “Visualizing Network Data”, Trans. On Visualization and Computer Graphics 1(1), (1995), 16-28.
[14] Cristina, M.; Oliveira, F.D.; Levkowitz, H.: “From visual data exploration to visual data mining: a survey.”, IEEE Transactions on Visualization and Computer Graphics, 9(3), (2003), 378-394.
[15] Li, Y.: “Efficient Similarity Search in High Dimensional Data Spaces”, Doktora Tezi, New Jersey Institue of Technology, Department of Computer Science, (2004).
[16] Richards, J.: “Remote Sensing Digital Image Analysis, An Introduction”, Wiley and Sons, New York, USA (1993).
[17] Jain, A.; Lin, H.; Pankanti, S.; Bolle, R.: “An identity-authentication system using fingerprints.”, Proceedings of the IEEE, 85(9), (1997), 1365-1388.
[18] Agrawal, R., Faloutsos, C.; Swami, A.: “Efficient similarity search in sequence databases.”, In Proc. 4th International Conf. On Foundations of Data Organization and Algorithms (FODO), (1993), 69-84.
[19] Press, W.; Teukolsky, S.; Vetterling, W.; Flannery, B.: “Numerical Recipes in C, the Art of Scientific Computing”, Cambridge University Press, Cambridge, UK, 2nd Edition, (1992).
[20] Faloutsos, C.: “Searching Multimedia Databases by Content”, Kluwer Academic Publishers, Boston, MA, (1996).

Veri Madenciliği Ve Uygulama Programları

editor3 — Sun, 15 Nov 2009 21:38:30 +0000

Günümüzde çeşitli uygulamalardan, internet, web logları gibi kaynaklardan giderek daha fazla veri toplanmakta ve veri tabanlarında saklanmaktadır. Fakat, bu veriler halen birçok uygulamada sadece raporlama amaçlı olarak kullanılmaktadır. Oysa bu veriler, içerisinde şirketler ve kuruluşlar için çok kıymetli örüntüleri barındırmaktadır. Bu da şirketlerin ve kuruluşların veri yönünden zengin fakat bilgi yönünden fakir olduğu sonucunu doğurmaktadır. Verinin bilgiye dönüştürülmesi noktasında veri madenciliği kavramı ile karşılaşılmaktadır. Veri madenciliği çalışmaları yapmak için birçok program geliştirilmiştir. Bu programlardan biri SQL Server 2005 bir diğeri ise WEKA programıdır. Bu çalışmada veri madenciliği hakkında bilgi verilmiştir. Ayrıca Sql Server 2005 ve WEKA’da bir uygulama geliştirme aşamaları anlatılmıştır.

1. GİRİŞ

Günümüzde birçok kaynaktan veri alıp bu verileri veritabanlarında saklayan kurumların amaçlarından biri de ham verileri bilgiye dönüştürmektir. Örneğin; Bankalara hergün binlerce kişi kredi alabilmek için başvuruda bulunmaktadır. Bankalar da başvuruda bulunan kişilerden taleplerini belirten bir form doldurmalarını istemektedir. Bu formla birlikte bireylerin demografik özelliklerini de içeren veriler veritabanlarında saklanmaktadır. Böylece istenildiği zaman bu bilgilere ulaşılabilmekte veya bu bilgiler analiz edilebilmektedir.

Sadece verilere ulaşmak ve onları sorgulamak yeterli değildir. Veri tek başına değersizdir. Önemli olan varolan veriyi bilgiye dönüştürmektir. Örneğin; Banka elindeki eski verileri kullanarak yeni başvuruda bulunan kişilerin kredi taleplerini onaylayıp onaylamayacağına karar verebilir. Böylece banka sakladığı eski verilerini yeni kredi taleplerini onaylarken bilgi olarak kullanmış olmaktadır.

Bu işlem yani veriyi bilgiye dönüştürme işlemi veri madenciliği olarak adlandırılmaktadır. Veri madenciliği ile birçok alanda çalışmalar yapılmış ve yapılmaktadır. Chang ve Leu çalışmalarında proje karlılık değişkenlerini tanımlayabilmek için bir veri madenciliği modeli oluşturmuşlardır [1]. Hou, Lian, Yao, Yuan çalışmalarında bir havalandırma sistemi yapmak için veri madenciliği tabanlı sensör hatası tanımlama ve doğrulama modeli gerçekleştirmişlerdir [2]. Bayam, Liebowitz, Agresti çalışmalarında yaşlı sürücülerin kaza yapmalarına etken olan faktörleri veri madenciliği süreci ile belirlemişlerdir [3]. Wang ve Hong çalışmalarında veri madenciliği tekniklerini kullanarak bir müşteri karlılık yönetim sistemi geliştirmişlerdir [4]. Delen, Walker, Kadam çalışmalarında veri madenciliği tekniklerini kullanarak bir hastanın göğüs kanserinden ölüp ölmeyeceğini tahmin eden bir model geliştirmişlerdir [5]. Rushing, Ramachandran, Nair, Graves, Welch, Lin ise çalışmalarında bilim adamları ve mühendisler için bir veri madenciliği toolbox’ı geliştirmişlerdir[6].

Veri madenciliği uygulamalarını gerçekleştirmek için bugüne kadar birçok araç geliştirilmiştir. Bu araçlardan biri microsoft firması tarafından geliştirilen ve yeni piyasaya sürülen SQL Server 2005 ürünüdür. Bir diğer ürün ise Waikato Üniveristesi tarafından java paltformu üzerinde açık kodlu olarak geliştirilen de devamlı güncellenen WEKA’dır.

Makalenin bundan sonraki bölümlerinde sırasıyla veri madenciliği kavramı, veri madenciliği süreçleri, SQL Server 2005 ile veri madenciliği uygulaması geliştirme adımları ve WEKA ile veri madenciliği uygulaması geliştirme adımları hakkında bilgi verilmiştir.
2. VERİ MADENCİLİĞİ

Büyük veritabanlarından gizli kalmış örüntüleri çıkarma sürecine veri madenciliği adı verilmektedir. Geleneksel yöntemler kullanılarak çözülmesi çok zaman olan problemlere veri madenciliği süreci kullanılarak daha hızlı bir şekilde çözüm bulunabilir [7]. Veri madenciliğinin ana amacı elimizde bulunan veriden gizli kalmış örüntüleri (patterns) çıkarmak, elimizdeki verinin değerini arttırmak ve veriyi bilgiye dönüştürmektir [8].

Bugün veri madenciliğinin; bankacılık, pazarlama, sigortacılık, telekomünikasyon, borsa, sağlık, endüstri, bilim ve mühendislik gibi birçok dalda uygulama alanı bulunmaktadır. Bu dallardaki uygulama alanlarına aşağıdaki gibi örnekler verilebilir.

• Bankacılık: Risk analizleri ve usulsüzlük tespiti.
• Pazarlama: Çapraz satış analizleri, müşteri segmentasyonu.
• Sigortacılık: Müşteri kaybı sebeplerinin belirlenmesi, usulsüzlüklerin önlenmesi.
• Telekomünikasyon: Hile tespiti, hatların yoğunluk tahminleri.
• Borsa: Hisse senedi fiyat tahmini, genel piyasa analizleri.
• Tıp: Tıbbi teşhis, uygun tedavi sürecinin belirlenmesi.
• Bilim ve Mühendislik: Amprik veriler üzerinde modeller kurularak bilimsel ve teknik problemlerin çözümlenmesi.
• Endüstri: Kalite kontrol, lojistik.

Veri Madenciliği bir yöntem değildir bir süreçtir. Bu süreçte ana unsur süreci gerçekleştiren uygulamacıdır. Süreçte bulunan adımlar doğru olarak yerine getirilmediği sürece istenilen sonuca ulaşılması mümkün değildir. Aşağıda veri madenciliği süreçleri ve bu süreçlerin anlamları açıklanmıştır.

2.1 Veri Toplama

Veri madenciliğinin birinci adımı veri toplamadır. İş dünyasında veriler birçok farklı ortamda depolanmaktadır. Örneğin; Microsoft’da veriler yüzlerce OLTP veritabanında ve 70’in üzerinde veri ambarında(data warehouse) saklanmaktadır. Burada ilk adım veri tabanlarından veya veri ambarlarından yapılacak uygulama için uygun verileri çekmektir [9].

Daha sonra, yani veri toplama işlemi bittikten sonra, veriler test ve analiz veri seti olarak iki gruba ayrılmalıdır. Genellikle yapılan uygulamalarda verilerin %80’i analiz %20’si ise test verisi olarak ayrılır [9].

2.2 Veri Temizleme ve Dönüştürme
Veri dönüşümünün amacı ise, elimizdeki kaynak veriyi farklı formatlara veya değerlere dönüştürmektir [9]. Örneğin; Veritabanındaki mantıksal(boolean) bir alan integer bir tipe dönüştürülebilir. Bunun sebebi ise kullanılan bazı veri madenciliği algoritmalarının integer veri tipiyle Boolean veri tipine göre daha başarılı sonuçlar üretmesidir.
Veri temizleme işleminin amacı, veriler içindeki uygun olmayan veya hatalı girilmiş verileri ayıklamaktır [9]. Bu işlemde eksik veriler uygun değerler ile doldurulur. Eğer eksik veri çok ise bu kaydın silinmesi gerekir.
2.3 Model Kurma

Model kurma veri madenciliğinin çekirdeğidir. Modeli doğru bir şekilde kurabilmek için yapılacak projenin amacı çok iyi bir şekilde kavranmış olmalıdır. Her amaçla ile ilgili birden fazla algoritma mevcuttur. Bu durumda eldeki veriler üzerinde uygun algoritmaların hepsi çalıştırılır ve en doğru sonucu veren algoritma kullanılır.

2.4 Model Değerlendirme

Eldeki veriler üzerinde uygun algoritmalar çalıştırıldıktan sonra en doğru sonucu hangisinin verdiğini bulmak için çeşitli yöntemler mevcuttur. Örneğin, tahmine yönelik sayısal veriler varsa ve kullanılan modelin doğruluğu test edilmek isteniyorsa MAPE (Mean Absolute Percentage Error) yöntemini kullanabilir.

2.5 Raporlama

Raporlama veri madenciliği bulgularını göstermek için önemli bir dağıtım kanalıdır. Birçok veri madenciliği aracı elde edilen modelden kullanıcıların daha önceden tanımladığı raporları göstermek için gerekli araçlara sahiptir [9].

2.6 Tahmin(Scoring)
Birçok veri madenciliği projesinde, örüntüleri(patterns) bulmak çalışmanın yarısıdır. Esas amaç, tahmin için modeli kullanmaktır. Tahmin veri madenciliği terminolojisinde scoring olarak da adlandırılır. Tahmin yapabilmek için eğitilen model ve yeni durumları içeren veri setinin olması gerekir [9]. Böylece, eğitilen model kullanılarak yeni durumlar için tahminde bulunulabilir.

2.7 Uygulama Entegrasyonu
Bu aşamada kurulan veri madenciliği modeli gerçek zamanlı olarak çalıştırmak üzere geliştirilen uygulama içerisine gömülür.
2.8 Model Yönetimi
Her bir veri madenciliği modeli bir yaşam döngüsüne sahiptir. Bazı uygulamalarda işler, özellikler durağandır ve modelin yeniden eğitilmesine gerek yoktur. Fakat birçok iş özellikleri sık sık değişir. Yeni veriler geldikçe modelin yeniden eğitilmesine gerek vardır. Yani bir model kurulduktan sonra eğer çok sık olarak veri setinde değişiklik yapılıyorsa model sık sık güncellenmelidir [9].

3. SQL SERVER 2005’TE VERİ MADENCİLİĞİ

SQL Server 2000 sürümünde de veri madenciliği uygulamalarına destek vermekteydi. SQL Server 2005 sürümüyle veri madenciliği uygulamalarına verdiği desteği artırmış ve uygulama geliştiricilerin projelerini daha kolay ve rahat geliştirebilecekleri bir ortam sunmuştur. SQL Server 2005 sürümünde veri madenciliği uygulamaları yapmak için Business Intelligence Development Studio isimli geliştirme ortamı kullanılmaktadır. Bu ortam Visual Studio ürününün içerisine entegre edilmiştir.

Bir veri madenciliği uygulaması gerçekleştirebilmek için öncelikle Analysis Service’in çalışıyor olması gerekmektedir. Bundan sonraki adımda ise Visual Studio geliştirme ortamına girildikten sonra yeni bir proje oluştururken Business Intelligence Project seçeneği içerisindeki proje seçeneklerinden Analysis Services Project seçeneği seçilmelidir. Bu adımdan sonra Şekil 1’de gösterilen ekran ile karşılaşılmaktadır.

Bu açılan ekranda sağ tarafta Solution Explorer Penceresi ve bu pencerenin içerisinde de proje içerisinde gerçekleştirilmesi gereken adımları gösteren seçenekler bulunmaktadır. Aşağıda başlangıç seviyesinde bir uygulama oluşturmak için kullanılması gereken seçenekler ve görevleri anlatılmaktadır

3.1 Data Source

Bu seçenek kullanılarak ulaşılmak istenen veri kaynağı ile bağlantı kurulması sağlanmaktadır. Bu işlemi gerçekleştirmek için bu seçenek üzerinde sağ tuşa tıklanarak New Data Source menü seçeneği seçilmelidir. Bundan sonra ekrana gelen wizard ekranı takip edilerek gerekli veri kaynağına bağlanma işlemi tamamlanır.

3.2 Data Source Views

Bilindiği gibi bir veri madenciliği uygulamasında veri tabanında bulunan tüm tablolar ve bu tablolar içerisindeki tüm alanlar kullanılmaz. Bu tablolar içerisinden uygulamada kullanılacak olanlar seçilmeli ve bunlar üzerinde işlem yapılmalıdır. Data Source Views seçeneği ile veri tabanından uygulamada kullanılacak olana tabloların ve bu tablolardaki alanların seçilmesi sağlanmaktadır. Bu aşamada veri kaynağına ulaşmak için bir önceki adımda oluşturulan bağlantı kullanılır. Bu işlemi gerçekleştirmek için bu seçenek üzerinde sağ tuşa tıklanarak New Data Source View menü seçeneği seçilmelidir. Bundan sonra ekrana gelen wizard ekranı takip edilerek gerekli veri kaynağından istenilen verilerin seçilmesini sağlayan view oluşturulur. Bu aşama sonucunda Şekil 2’deki ekran ile karşılaşılır.

Bir view oluşturulduktan sonra bu view üzerindeki tablolarda sanal kolonlar açılabilmekte veya view’e sanal tablolar eklenebilmektedir. Bu da veri madenciliğinin adımlarından biri olan veri dönüştürme işleminin daha kolayca bitirilmesine yardımcı olmaktadır.

3.3 Mining Structures

Gerekli view oluşturlduktan sonra geriye uygun modelin seçimesi kalmaktadır. Sql Server 2005 Microsoft Clustering, Microsoft Decision Trees, Microsoft Linear Regression, Microsoft Logistic Regression, Microsoft Naive Bayes, Microsoft Neural Network, Microsoft Sequence Clustering, Microsoft Time Series modellerinin veriler üzerinde uygulanmasına izin vermektedir. Bu seçenekler içerisinden uygulama için uygun olan seçenek seçilerek model kurulur.

Bu aşamadan sonra modeli eğitmek için Mining Model Viewer seçeneği seçilir. Bu seçenek yardımıyla model, seçilen algoritma kullanılarak eğitilir ve sonuçlar bulunur. Modelin doğruluğu test etmek için Model Accuracy Chart seçeneği seçilir. Eğer bir sayısal tahmin yapılıyorsa buradaki seçeneklerden Lift Chart seçeneği kullanılarak modelin doğruluğu test edilebilir.

Eğer modelin doğruluğu onaylanmışsa ve yeni verilerin sonuçları kurulan modele göre alınacaksa Mining Model Prediction seçeneği kullanılır.

4. WEKA’DA VERİ MADENCİLİĞİ

WEKA bir proje olarak başlayıp bugün dünya üzerinde birçok insan tarafından kullanılmaya başlanan bir veri madenciliği uygulaması geliştirme programıdır. WEKA java platformu üzerinde geliştirilmiş açık kodlu bir programdır WEKA programı http:// www.cs.waikato.ac.nz/ml/weka/ adresinden indirilebilmektedir.

WEKA ilk çalıştırıldığında Şekil 3’deki ekran ile karşılaşılmaktadır. Bu ekranda WEKA ile çalışmak istenilen mod seçilebilmektedir. Bunlar komut modunda çalışmayı sağlayan Simple CLI, projenyi adım adım görsel ortamda gerçekleştirmeyi sağlayan Explorer ve projeyi sürükle bırak yöntemiyle gerçekleştirmeyi sağlayan KnowledgeFlow seçenekleridir.

Burada projeyi adım adım gerçekleştirmeyi sağlayan explorer seçeneği ile veri madenciliği projesi gerçekleştirme aşamaları hakkında bilgi verilecektir.

Explorer seçeneği seçildikten sonra üzerinde çalışılacak verilerin seçilmesi, bu veriler üzerinde temizleme ve dönüştürme işlemlerinin gerçekleştirilebilmesini sağlayan Şekil 4. deki ekran ile karşılaşılmaktadır.

WEKA arff isimli dosya formatını desteklemektedir. Herhangi bir text soyadaki verileri weka ile işlemek olanaksızdır. Yarıca veri tabanlarına bağlanılarak da veriler weka ortamına çekilebilmektedir. Bunun dışında şu anda geliştirilmiş araçlar kullanılarak veri tabanlarındaki bilgiler arff formatına çevrilerek WEKA’da işlenebilmektedir.

Bu adımdan sonra yapılacak olan projenin amacına göre açılan sayfadaki uygun tabdaki (Classify, Cluster, Associate) uygun algoritma veya algoritmalar seçilerek veriler üzerine uygulanmakta ve en doğru sonucu veren algoritma seçilebilmektedir.

5. İKİ PROGRAMIN KARŞILAŞTIRILMASI

Öncelikle WEKA SQL Server 2005’e göre daha fazla algoritmayı desteklemektedir. Ayrıca WEKA’da elimizdeki verilerden hangisini giriş parametresi olarak seçebileceğimizi belirlememizde yardımcı olan birçok algoritma da verilmiştir. Sql Server 2005’de bu işlem uygulama geliştirme aşamasında algoritma seçimi olmadan tek bir seçenekle kullanıcıya öneri olarak verilmektedir. WEKA’yı uygulamalara entegre edebilmek için java dilini bilmek gerekmeketdir. Oysa SQLSERVER 2005 ile geliştirilen bir veri madenciliği modeline .NET destekleyen tüm diller ile kolayca ulaşmak mümkündür. Sql Server 2005 WEKA’ya göre daha kolay kullanılabilir bir arayüze sahiptir.

4. SONUÇLAR

Gartner Araştırma şirketinin yaptığı bir çalışmaya göre, gelecek birkaç yıl içerisinde daha fazla uygulama içerisinde veri madenciliği komponentleri eklenmiş olacaktır [9]. Bu da gösteriyor ki veri madenciliği önümüzdeki yıllarda daha fazla önem kazanmaya başlayacak ve daha fazla şirket verilerini bilgiye dönüştürmek isteyecektir.

Bu bağlamda varolan veri madenciliği araçları da kendilerini yenileyeceklerdir. SQL Server 2005 ve WEKA bu alanda kendine iyi bir yer edineceklerdir.

KAYNAKLAR

[1] Chang, A.,S., Leu, S., ‘Data mining model for identifying project profitability variables’,International Journal of Project Management, October 2005
[2] Hou, Z., Lian, Z., Yao, Y., Yuan, X., ‘Data mining based sensor fault diagnosis and validation for building air conditioning system’, Energy Conversion and Management, January 2006
[3] Bayram, E. , Liebowitz, J. , Agresti, W. , ‘Older drivers and accidents: A meta analysis and data mining application on traffic accident data’, Expert Systems with Applications, vol 29, October 2005,pp598-629.
[4] Wang, H., Hong, W., ‘Managing customer profitability in a competitive market by continuous data mining’, Industrial Marketing Management, July 2005
[5] Delen, D., Walker, G., Kadam, A., ‘Predicting breast cancer survivability: a comparison of three data mining methods’, Artificial Intelligence in Medicine, vol 34, June 2005, pp113-127
[6] Rushing, J., Ramachandran, R., Nair, U., Graves, S., Welch, R., Lin, H., ‘ADaM: a data miningtoolkit for scientists and engineers’, Computers & Geosciences, vol 31, June 2005, pp607-618
[7] Hung, S., Yen, D., C., Wang, H., ‘Applying data mining to telecom churn management’, Expert Systems with Applications, October 2005, pp. 1-10
[8]http://www.sqlnedir.com/Members/ArticleDetail.aspx?Id=81
[9] Tang, Z., MacLennan, J. ,”Data Mining with Sql Server 2005″, Wiley, 2005

Veri Madenciliği Ve Uygulama Programları (366 kB)

Veri Madenciliği Ve Uygulama Programları

editor3 — Sun, 15 Nov 2009 21:37:14 +0000

1. GİRİŞ

2.1 Veri Toplama

2.4 Model Değerlendirme

2.5 Raporlama

3. SQL SERVER 2005’TE VERİ MADENCİLİĞİ

3.1 Data Source

3.2 Data Source Views

3.3 Mining Structures

Eğer modelin doğruluğu onaylanmışsa ve yeni verilerin sonuçları kurulan modele göre alınacaksa Mining Model Prediction seçeneği kullanılır.

4. WEKA’DA VERİ MADENCİLİĞİ

Burada projeyi adım adım gerçekleştirmeyi sağlayan explorer seçeneği ile veri madenciliği projesi gerçekleştirme aşamaları hakkında bilgi verilecektir.

5. İKİ PROGRAMIN KARŞILAŞTIRILMASI

4. SONUÇLAR

Bu bağlamda varolan veri madenciliği araçları da kendilerini yenileyeceklerdir. SQL Server 2005 ve WEKA bu alanda kendine iyi bir yer edineceklerdir.

KAYNAKLAR

Veri Madenciliği Ve Uygulama Programları (366 kB)

İşletme Bakım Programları – II

Editor — Tue, 27 Oct 2009 07:48:32 +0000

Bir önceki yazıda İşletme Bakım Programlarının genel karakteristikleri üzerine bilgi vermiştik. Konunun daha da netleşmesi açısından, bu yazıda bir İşletme Bakım Projesi’nin adımlarından bahsedeceğiz. Alacağımız yazılım örneği ise, SAP yazılımının PM (Plant Maintenance) modülüdür.

Projenin amacı
* Tüm makine ve ekipmanların düzenli olarak planlı bakım işlemlerinin yapılmasının sağlanarak, arızadfan kaynaklanabilecek üretim performans kayıplarının minimuma indirgenmesi
* Bu süreç çerçevesinde oluşan arızaların kataloglarının oluşturulması ve daha sonraki analizlerle arıza kaynaklarının tesbit edilip, minimuma indirgeme çalışmalarının başlatılması
* Bakım ve onarım faaliyetleri üzerinde oluşan masrafların net olarak izlenebilmesi
* Teknik malzeme bazında sağlıklı bir şekilde, malzemelerin kontrolu ve yönetimi
* Bakım işinde çalışan atelye ve teknik personelin sistematik olarak çalışmasını sağlayıp, bakım personelinin kontrol ve denetiminin sağlıklı bir şekilde yapılmasıdır.

İşletme Bakım Projesinin aşamaları

1.Proje Planının hazırlanması

1.1. Proje ekibinin oluşturulması.

1.2. İşletme teknik organizasyon ve hiyerarşinin oluşturulması.

1.3. Işletmede farklı sorumluluk alanları bulunan bakım Planlama Grupları oluşturulması.

1.4. İş yerlerinin (atelyeler) ve yetki gruplarının oluşturulması.

1.5. Bakım veya onarım işlemi yapıldığında, bu işleme ait masrafların nereye atılacağını bildiren masraf yeri kodları /belli bir hiyerarşiye bağlı olarak) oluşturulması . Bu kodlar ekipmanın bağlı bulunduğu yere göre ve/veya ekipmanın hizmet verdiği yere göre tasarlanabilir.

1.6. Teknik birim hiyerarşisine bağlı olarak, teknik birim ana verilerinin hazırlanması. (Teknik birim kodu, tanımı, masraf yeri, planlama yeri, bakım planlama grubu kod numarası, sorumlu işyeri, yetki grubu, faaliyete geçme tarihi vb.)

1.7. Üzerinde direkt bakım işlemi yapılan makina veya makinalar grubu ya da sistemin ana verilerinin hazırlanması (trafolar, bantlar vb.)

1.8. Malzeme ana verilerinin hazırlanması (minimum stok, maksimum stok, parti büyüklüğü, yeniden sipariş noktası vb.)

1.9. Yazılımının kullanılacağı, iş süreç senaryolarının hazırlanması.

1.9.1. Arızi bakım-onarım senaryosu (bildirimin yaratılması-onaylanması, BO siparişinin yaratılması-onaylanması, BO siparişinin teyidinin verilmesi, BO siparişinin kapatılması vb.)

1.9.2. İş isteği senaryosu (bildirimin yaratılması-onaylanması, iş isteği siparişinin yaratılması-onaylanması, sipariş teyidi, siparişin kapatılması)

1.9.3. Planlı bakım senaryosu (tüm planlı bakım işlemleri)

1.9.4. Malzeme yönetimi senaryosu (depoların, malzemelerin ve yetkilerin yaratılması)

1.10 Planlı bakım ana verilerinin hazırlanması

1.10.1. Bakım stratejisinin belirlenmesi (bakım periyodları, toleranslar vb.)

1.10.2. İş planlarının hazırlanması (bakım formları)

1.10.3. Bakım kalemlerinin hazırlanması (iş planı, bakım stratejisi ve ekipmanın birleştirildiği bilgi yapıları)