Yapay Siniflandirma

İnsan (Homo sapiens)[değiştir

112235
Uydu görüntü verisinin yapay sinir ağları ile sınıflandırılması / Classification of satellite imagery data with artificial neural networks
Yazar:COŞKUN ÖZKAN
Danışman: DOÇ.DR. FİLİZ SUNAR ERBEK
Yer Bilgisi: İstanbul Teknik Üniversitesi / Fen Bilimleri Enstitüsü / Jeodezi ve Fotogrametri Mühendisliği Ana Bilim Dalı
Konu:Jeodezi ve Fotogrametri = Geodesy and Photogrammetry
Dizin:Sınıflandırma = Classification ; Uydu görüntüleri = Satellite images ; Uzaktan algılama = Remote sensing ; Veriler = Data ; Yapay sinir ağları = Artificial neural networks Onaylandı
Doktora
Türkçe
2001
246 s.

UYDU GÖRÜNTÜ VERİSİNİN YAPAY SINIR AĞLARI İLE SINIFLANDIRILMASI ÖZET Uzaktan algılanmış uydu görüntü verilerini kullanan bir çok farklı disiplin için bu verilerden elde edilecek tematik bilgiler önemlidir. İhtiyaç duyulan bu tematik bilgiler, çok spektrumlu orijinal uydu görüntü verilerinin, renk veya doku ile hedef kategorilerini temsil eden kodlanmış tematik haritalara indirgenmesiyle elde edilir. Sınıflandırma olarak adlandırılan bu işlem çıkarılacak kategorileri temsil eden örnekleme alanlarının kullanılmasıyla kontrollü bir şekilde gerçekleştirilebilir. Bir çok disiplin tarafından uzaktan algılamanın sonuç ürünü olarak istenen bu tematik haritaları yüksek doğrulukla etkin bir şekilde üreten sınıflandırma yöntemleri geliştirmek yoğun çalışmaların yapıldığı önemli bir araştırma konusudur. Literatürde yoğun olarak kullanılan klasik istatistiksel sınıflandırma yöntemlerine (Maksimum Olabilirlik, Mahalanobis uzaklığı vb.) ek olarak son yıllarda Yapay Zeka yaklaşımları sınıflandırma problemlerinin çözümünde kullanılmaya başlanmıştır. Temelde insan zeki davranışlarını makineye aktarmaya çalışan yapay zeka uygulamaları genel olarak; Bulanık (Fuzzy) Mantık, Uzman Sistemler, Genetik ve Tabu Arama ve Yapay Sinir Ağlan (YSA) olarak alt başlıklara ayrılmaktadır. Bunlardan YSA teknikleri literatürde çok spektrumlu uydu görüntü verilerinin sınıflandırılması için üzerinde en çok araştırmanın yapıldığı alan olmuştur. Dağılımdan bağımsız, hataları ve gürültüyü tolere edebilen, değişen çevre şartlarına kendini uyarlayabilen, öğrenme ve genelleme yeteneğine sahip karakterinden dolayı bir çok bilimsel alanda olduğu gibi uzaktan algılama biliminde de YSA'nın etkin kullanım alanları araştırılmaktadır. Bu çalışmada çok spektrumlu LANDSAT TM görüntü verisinin sınıflandırılması için hem klasik Maksimum Olabilirlik yöntemi ile farklı YSA sınıflandırma algoritmalarının karşılaştırılması, hem de kullanılan bu YSA sınıflandırma algoritmalarının kendi aralarında karşılaştırılması amaçlanmıştır. Ayrıca farklı YSA yapılan için optimum ağ topolojisinin ve Çok Katmanlı Perseptron (MLP) YSA yapısı için optimum öğrenme algoritmasının belirlenmesi amaçlanmıştır. Bu amaçlar için LANDSAT TM uydu sistemine ait İstanbul ili İkitelli bölgesi civarını kapsayan uzaktan algılamış görüntü verisi çalışma verisi olarak seçilmiştir. Uzaktan algılanmış görüntü verisinin sahip olduğu 7 spektral kanaldan, ısıl kanal olan 6. kanal dışındaki diğer 6 kanal belirtilen amaçların gerçekleştirilmesi için kullanılmıştır. Gerçekleştirilen sınıflandırma uygulamalarında çalışma verisi piksel tabanlı olarak ele alınmıştır. Kontrollü sınıflandırma işleminin en kritik aşaması olan eğitim alanlarının seçimi için görüntünün ISODATA kontrolsüz sınıflandırma algoritmasından elde edilen T.& YffeSEKÖCRETÎM KURUU» tokUmaktasyon merkepsınıflandırma görüntüsü ile bütün bölgeyi kapsayan 1/5000 ölçekli fotogrametrik hava fotoğraflarından yararlanılmıştır. Yapılan bu analizlerle belirlenen toplam 12 arazi sınıfı Matlab platformunda yazılan bir kod aracılığıyla poligon vektörler kullanılarak seçilmiştir. Bu kod elde edilen eğitim alanlarını hem Maksimum Olabilirlik hem de YSA sınıflandırma algoritmalarında kullanılabilecek bir formatta üretmiştir. Oluşturulan eğitim bölgelerinin ayırt edilebilirlik analizleri, dönüştürülmüş diverjans değerlerinin hesaplanmasıyla kantitatif olarak yapıldığı gibi bütün ikili alt kanal kombinasyonlarının oluşturduğu iki boyutlu saçılım grafikleri üzerine sınıf yoğunlukları, sınıfların ortalama değerleri etrafında standart sapma değerlerine göre konumlandırılarak grafik olarak da yapılmıştır. Ayrıca 3. ve 4. kanalların oluşturduğu iki boyutlu özellik uzayı üzerinde sınıflara ait logaritmik Gauss olasılık yoğunluk fonksiyonları da birbirlerine göre derecelendirilerek hazırlanmıştır. Bu grafikler üzerinde de sınıfların dağılımları birbirlerine göre incelenmiştir. Literatüre uygun olarak, eğitim bölgelerinin seçildiği aynı bölgelerden fakat eğitim verilerini içermeyen test verileri seçilmiştir. Test verilerinin oluşturulmasındaki amaç, herhangi bir sınıflandırma algoritmasının elde edeceği sınıflandırma performansını istatistiksel olarak yansız değerlendirmek ve böylece bu sınıflandırma algoritmasının eğitim verisinden yararlanarak elde ettiği analitik sınıflandırma yeteneğinin ne kadar genel olduğunu objektif olarak ortaya koymaktır. Eğitim ve test verilerinin hazırlanmasından sonra ilk uygulama olarak Maksimum Olabilirlik (MO) sınıflandırma yöntemi Matlab platformunda literatüre uygun olarak yazılan program kodu ile gerçekleştirilmiştir. YSA uygulaması kapsamında, literatürde çok spektrumlu uzaktan algılanmış görüntü verilerinin sınıflandırılması için kullanılmış olan 3 farklı YSA yapısı uygulanmıştır. Bu yapılar aşağıda verilmiştir: 1- MLP (Çok Katmanlı Perseptron) 2- LVQ (Learning Vector Quantization) 3- RBF (Radial Basis Function) Yine literatürde MLP öğrenme algoritmaları içinde çok spektrumlu uydu görüntü verilerinin sınıflandırılması için çok sık kullanılmış standart geri yayılma (Delta) öğrenme algoritmasına ek olarak 9 farklı MLP öğrenme algoritması ile birlikte toplam 1 0 öğrenme algoritması ele alınmıştır. MLP YSA yapıları için kullanılan geri yayılma öğrenme algoritmaları; 1- Delta 2- Delta-Bar-Delta (DBD) 3- Genişletilmiş Delta-Bar-Delta (EDBD) 4- BFGS Kuasi-Newton (BFGS) 5- Eşleştirmeli Gardiyent Powell-Beale (EGPB) xvı6- Eşleştirmeli Gradiyent Fletcher-Reeves (EGFR) 7- Eşleştirmeli Gradiyent Polak-Ribiere (EGPR) 8- Tek Adım Sekant Kuasi-Newton (TAS) 9- Esnek Geri Yayılma (EG) 10- Ölçeklendirilmiş Eşleştirmeli Gradiyent (ÖEG) olarak belirlenmiştir. YSA giriş verisi, kullanılan 6 kanal (TM 1, 2, 3, 4, 5 ve 7. kanallar) için oluşturulmuştur. YSA giriş katmanı, görüntü giriş verisindeki her bir kanalı bir işlemci eleman temsil edecek şekilde toplam 6 işlemci elemandan oluşurken çıkış katmanı ise her bir sınıfı bir işlemci eleman temsil edecek şekilde toplam 12 işlemci elemandan oluşmuştur. Bütün YSA algoritmaları için görüntü giriş verisi ağın yakınsama hızını ve kabiliyetini artırmak amacı ile YSA içindeki işlemsel ölçeğe uygun olarak [-1 +1] kapalı aralığına lineer olarak ölçeklenmiştir. Ağ çıkış verileri de ait olduğu sınıf için 1 ve ait olmadığı diğer sınıflar için 0 değerini alacak şekilde hazırlanmıştır. Bütün MLP öğrenme algoritmaları için 9 farklı ağ topolojisi uygulanmıştır. Tek ara katmanlı ağların ara katmanlarında 12, 15, 18, 24 ve 30 işlemci eleman kullanılırken, iki ara katmanlı ağların 1. ve 2. ara katmanlarında sırasıyla 9-15, 12-24, 18-24 ve 24- 30 işlemci eleman kullanılmıştır. Delta, DBD ve EDBD öğrenme algoritmalarının çıkış katmanlarında "softmax" aktivasyon fonksiyonu kullanılırken, diğer öğrenme algoritmalarının çıkış katmalarında tanjant hiperbolik (TANH) aktivasyon fonksiyonu kullanılmıştır. Ara katmanlarında sigmoid aktivasyon fonksiyonunun kullanıldığı EDBD algoritması dışındaki diğer tüm MLP öğrenme algoritmaları için ara katmanlarda TANH aktivasyon fonksiyonu kullanılmıştır. LVQ YSA yapısı uygulamasında, bu yapının sahip olduğu dezavantaj ları ortadan kaldıran LVQ1 ve LVQ2 mekanizmaları birlikte kullanılmıştır. Ağ topolojisi belirlenirken KOHONEN ara katmam için kullanılan işlemci eleman sayısı üretilecek sınıf sayısının 1 'den 24 'e kadar olan sayılarla çarpılmasıyla belirlenmiştir. Bu şekilde her bir sınıf için kullanılacak referans vektörü sayısı l'den 24'e kadar geniş bir aralıkta göz önüne alınmıştır. RBF YSA yapısında ağ topolojileri PROTO ara katmanında 50, 100 ve 200 işlemci eleman kullanılarak belirlenmiştir. Ayrıca değiştirilmiş RBF yapısı için PROTO katmanında 50 ve MLP karakterli 2. ara katmanda 18 işlemci eleman kullanılmıştır. RBF YSA yapısının PROTO katmanında radyal karakterli Gauss fonksiyonu kullanılırken, çıkış katmanında TANH fonksiyonu kullanılmıştır. Değiştirilmiş RBF yapısının ikinci ara katmanında da TANH fonksiyonu kullanılmıştır. YSA'nın eğitim sırasında örnek veriyi ezberleyerek genelleme kaybına uğramasını önlemek için her 100 epokta ağ durdurulmuştur. Bu şekilde oluşturulan her bir XV11istasyon noktasında eğitim ve test verileri için sınıflandırma genel doğruluk (GD), Kappa ve karesel ortalama hata (MSE) değerleri hesaplanmıştır. İncelenen sınıflandırma problemi için en optimal epok, ağın test verisi GD değerine göre belirlenmiştir. Ağın test verisi için maksimum GD değerini verdiği epoktaki ağ yapısı en optimum ağ yapısı olarak değerlendirilmiştir. Ağı diğer yapılara ve Maksimum Olabilirlik yöntemine karşı temsil eden performans kriterleri (GD, Kappa ve MSE) bu epoktaki ağ yapısı kullanılarak hesaplanmıştır. Maksimum Olabilirlik ve YSA sınıflandırma yöntemlerinin özellik uzayındaki sınıflandırma karakteristiklerini grafik olarak incelemek için 6 boyutlu orijinal özellik uzayı 2 boyuta indirgenmiştir. Bu amaçla bitki örtüsü ayrımının daha iyi olduğu ve korelasyon değeri diğer kanal kombinasyonlarına göre oldukça düşük olan, görüntünün 3. ve 4. kanalları seçilmiştir. Bu kanalların oluşturduğu iki boyutlu örnek özellik uzayı için bütün sınıflandırma algoritmaları yeniden düzenlenmiştir. Bütün YSA yapılan ve öğrenme algoritmaları giriş katmanında 2, ara katmanında 1 8 ve çıkış katmanında 12 işlemci eleman bulunacak şekilde tekrar düzenlenmiştir. Bu uygulamada da en optimum ağ yapısı maksimum test verisi GD değerini üreten epoktaki ağ yapısı olarak seçilmiştir. Bu ağ yapılarının ürettiği karar bölgeleri incelenerek algoritmaların sınıflandırmadaki analitik davranış karakteristikleri anlaşılmaya çalışılmıştır. Ayrıca elde edilen bütün sınıflandırma sonuç görüntüleri, mevcut 1/5000 ölçekli fotogrametrik hava fotoğraflarıyla karşılaştırılarak, farklı sınıflandırma yöntemlerinden elde edilen sınıflandırma sonuçlarının arazi doğrulukları, eğitim ve test verisi dışında görüntünün bütününde de görsel olarak yapılmıştır. Son olarak MLP öğrenme algoritmalarından BFGS, EGPB, EGFR, EGPR, TAS, EG ve ÖEG algoritmaları için sürekli ve kesintili eğitimin etkisi incelenmiştir. XV111

CLASSIFICATION OF SATELLITE IMAGERY DATA WITH ARTIFICIAL NEURAL NETWORKS SUMMARY The thematic information extracted from the remote sensing data is the end product needed by many different scientific branches that use the remote sensing data. These thematic information is obtained by reducing the spectral data into the colour coded or texture coded maps. This process, which is called as classification, can be done as supervised by using the train data that represents each class. Many researches have been done many studies lately to develop new classification methods for production of these thematic maps efficiently and accurately. Besides the common methods used intensely in literature (Maximum Likelihood, Mahalanobis distance etc.), the artificial intelligence approaches have been used to solve the problems based on the classification recently. The artificial intelligence which basically aims to mimic the intelligence of human beings onto the machines is generally divided into Fuzzy Logic, Expert Systems, Genetic and Tabu Search and Artificial Neural Networks (ANN). Among these, the ANN techniques are the most common and basic method which the most researches have been applied to classification problems in literature. Because of its distribution free nature that can tolerate the error and noise, can be adaptive against the changing environmental conditions and can learn and generalise, as in many disciplines, the effective application areas have been investigated in remote sensing, as well. In this study for classification of multispectral LANDS AT TM imagery, it was aimed to compare both classification abilities of different ANN classification algorithms with the standard maximum likelihood method and classification performances of these ANN classification algorithms among each other. In addition, it was also aimed to determine the optimum net topology and backpropagation learning algorithm. For these purposes, multispectral LANDSAT TM imagery consists of about İkitelli region of Istanbul province was selected as working data. Among the 7 spectral channels of TM imagery, the 6 channels remaining except thermal 6th channel were used to realize the purposes declared above. In the classification applications, the working data was considered as pixel-based. In the selection of the training areas which is the most critic phase of classification procedure, the classification result of ISODATA clustering algorithm and 1/5000 scaled photogrammetric aerial photographs were used together. By these analysis, total 12 classes determined were selected with the polygon vectors through a program coded in Matlab. This cod generated the training areas in a format available for both maximum Likelihood and ANN techniques.As the discrimination analysis of training areas done quantitatively by calculating the transformed divergence values, the graphical analysis were done by positioning the classes according to their standard deviation values around the mean values onto the two dimensional scatter diagrams of all possible sub-channels. In addition, the graphics of the logarithmic Gauss probability density functions of classes were prepared shading relatively to each other. These graphics were examined relatively in terms of the distributions of the classes. According to the literature, test data which did not consist of the same patterns from the same regions were selected being parallel to the training areas selection. The aim of the test data is to obtain the classification performance of any algorithm as unbiased and thus to show the generalisation skill of this classification technique gathered analytically from the training data objectively. After the selection of training and test data, firstly Maximum Likelihood classification algorithm was applied. For this, a program written in Matlab program was used. In the application of ANN classification, the 3 ANN structures that were used in literature for classification of multispectral satellite data were selected. These ANN structures used in this study are as follows: 1- MLP (Multi Layer Perceptron) 2- LVQ (Learning Vector Quantization) 3- RBF (Radial Basis Function). In addition to the Delta learning rule which was used in literature intensely, 10 MLP learning rules were totally used as considering 9 algorithms used rarely in literature. 10 different backpropagation learning algorithms used in this study are as follows: 1- Delta 2- Delta-Bar-Delta (DBD) 3- Extended Delta-Bar-Delta (EDBD) 4- BFGS Quasi Newton (BFGS), 5- Conjugate Gradient Powell-Beale (CGPB) 6- Conjugate Gradient Fletcher-Rieves (CGFR) 7- Conjugate Gradient Polak-Ribiere (CGPR) 8- One Step Secant (OSS) 9- Resilient Backpropagation (RPROP) 10- Scaled Conjugate Gradient (SCG) xxThe input data for ANN was constructed with 6 channels of TM imagery except the 6th thermal channel. Input layer of ANN consisted of 6 neurons representing the 6 channels and The output layer of ANN consisted of 12 neurons representing the 12 classes, separately. In ANN application, the image input data were scaled linearly [-1 +1] closed interval according to the internal processing scale characteristic of ANN. The output data were set as 1 for true class and as 0 for false class. For all MLP learning rules, 9 different net topology were used. In the unique hidden layered nets, 12, 15, 18, 24, and 30 processing elements were used in the hidden layers. In the two hidden layered nets, 9-15, 12-24, 18-24, and 24-30 processing elements were used in the first and second hidden layers, respectively. While softmax activation function was used in the output layers of Delta, DBD and EDBD learning rules, tangent hyperbolic (TANH) activation function was used in the output layers of the other learning rules. Except the EDBD learning rule which sigmoid activation function was used in hidden layers, TANH activation function was used in the hidden layers of the other MLP learning rules. In the application of LVQ ANN structure, LVQ1 and LVQ 2 variations of standard LVQ structure which eliminates the poor directions of standard LVQ algorithm were used in together. The network topology of LVQ in the KOHONEN hidden layer was determined by factoring the number of classes with coefficients from 1 to 24, separately. Thus the numbers of the reference vectors per class were considered in a wide range of 1 to 24. In the RBF ANN application, the network topologies were determined using 50, 100 and 200 processing elements in the PROTO hidden layer. In addition standard RBF network, a modified RBF network was employed with an 50 processing elements in the PROTO hidden layer and 18 processing elements in the second hidden layer which behaved as a MLP hidden layer. While Gauss based radial basis activation function was being used in PROTO hidden layer, TANH activation function was used for output layer. TANH activation function was also used in the second hidden layer of the modified RBF network. In the training phase, the network was stopped at each 1 00 epoch in order to prevent the loss of generalisation ability of ANN and in these station points, the classification overall accuracy (OVA), Kappa coefficients and mean square error (MSE) values for both train and test data were computed. For the classification problem of interest, the epoch which produced the highest test data OVA value was chosen as the optimal training epoch for that ANN structure. The performance measures for this network which would be used to compare with other networks were calculated through the network structure of this optimum epoch. In order to examine the characteristics of the Maximum Likelihood and ANN classification methods graphically, the original feature space having 6 dimensions was reduced into the 2 dimensions. These two dimensions were selected as TM 3 and 4 channels. These channels provide higher vegetation discrimination than other XX1 T.C YÜKSEKÖ?RETİM KUSUW DOKÜMANTASYON MERKEZİchannel combinations and have generally lower correlation value. All the network topologies were reorganised suitable to this new input size. For two dimensions feature space classification, all the network topologies were redesigned as 2 processing elements for input layer, 18 processing elements for hidden layer and 12 processing elements for output layer. In this application, the decision regions for the networks which gave the highest OVA values were examined, as well. By examining the decision regions of these algorithms, it was tried to take out their analytical characteristics of classification behaviour. In addition to these analysis, the ground truth of the classified images in not only the train and test regions but also the rest of the images were done visually by comparing 1/5000 scaled aerial photogrammetric photographs. Finally, the effects of continuos and stationary training strategies were compared with each other for BFGS, CGPB, CGFR, CGPR, OSS, RPROP and SCG learning rules of MLP. xxu

kaynağı değiştir]

Sınıflandırmanın tarihi milattan önceye dayanır. Eski Yunan bilginlerinden Hippocrates (Hipokrat) (MÖ 460-377), hayvan türlerini saymış olmakla beraber, çalışmasının takibeden bölümlerinde bunların sınıflandırılması için çaba sarf etmemiştir. Yaşam formlarının sınıflandırılmasına ait bilinen en eski çalışma, YunanfilozofAristoteles (Aristo) (MÖ 354-291) tarafından yapılmıştır. Aristoteles yaptığı sınıflandırmada yaşam ortamlarını (hava, kara ve su) temel olarak almıştır.

Sevillakadısıİbn-i Rüşd, 1172 yılında, Aristoteles'in kitabını de Anime (Hayvanlar) adıyla kısaltıp tercüme etmiştir. Bu kitap daha sonraları Mitchell the Scot tarafından latinceye çevrilmiştir.

Bilimsel sınıflandırmanın gelişmesinde, sonraki önemli değişiklik İsviçreli profesör Conrad Gesner (1516-1565) tarafından yapılmıştır. Gesner'in çalışmaları aynı zamanda, yaşam alanında bilinen en eski derlemelerdir. Gesner'in 1558 yılındaki biyolojik gözlemleriyle bilim dünyasına sağladığı katkılar, ölümünden ancak 58 yıl sonra basılabilmiştir. Ulisse Aldrovandi'nin 1602 yılında yayımlanan araştırmaları, böceklerin sınıflandırılmasına dair ilk denemelerdir.

Yeni Dünya (Amerika)'nın bir bölümünün keşfedilmesi hayvan yaşamının yeni keşfedilen formlarına ait örnekler verilmesine ve tanımlamalar yapılmasına neden olmuştur. 16. yüzyılın sonları ve 17. yüzyılın başları, hayvanlar üzerine dikkatli araştırmaların yapılmaya başlandığı dönemdir. Bu çalışmalar öncelikle ailesel türlere yönelmiştir. Böylece organların benzerliği ile başlayan sınıflandırma yavaş yavaş gelişerek anatomik temellere dayandırılmaya başlanmıştır. Girolamo Fabrizio (1537 - 1619), Petrus Severinus (1580 - 1656), William Harvey (1578 - 1657), Edward Tyson (1650 - 1708), Marcello Malpighi (1628 - 1694), Jan Swammerdam (1637 - 1680) ve Robert Hooke (1635 - 1702) bilimsel sınıflandırmanın gelişmesinde katkıları olan bilim insanlarıdır.

İngiliz doğacı John Ray (1627-1705) bitkiler, hayvanlar ve din teolojisi hakkında önemli eserler yayımlamıştır. Historia Plantarum adlı eserinde bitkilerin sınıflandırılmasına getirdiği yaklaşım modern taksonomi için önemli bir adımdır. Ray bu eserinde daha önce kullanılan sınıflandırma sistemlerini reddetmiş, bunun yerine gözlemler sonucu ortaya çıkan benzerliklere ve farklılıklara göre bir sınıflandırma yapma yoluna gitmiştir.

Sanat açısından büyük değer taşıyan çizimler, Anna Maria Sibylla Merian (1647-1717) tarafından yapılmıştır. Merian sadece ressam değil, aynı zamanda bir tabiat araştırıcısıydı. 1699 yılında Güney Amerika'nın bugün bile en vahşi doğasının bulunduğu Surinam bölgesinde yaptığı çalışmaları 1705 yılında 54 Tablo halinde yayınlanmıştır. Merian, Entomoloji literatürüne aynı zamanda sanat yönünden en değerli ilk eserleri kazandırmıştır.

Linnaeus Taksonomisi[değiştir

nest...

102084 102085 102086 102087 102088