Alternatívák a STATISTICA helyettesítésére. Neurális hálózatok

A STATISTICA Automated Neural Networks az egyetlen neurális hálózati szoftvertermék a világon, amely teljesen le van fordítva oroszra!

A neurális hálózatok módszerei egyre szélesebb körben elterjedtek az alapkutatástól az adatelemzés gyakorlati alkalmazásaiig, az üzleti életben, az iparban stb.

az egyik legfejlettebb és leghatékonyabb neurális hálózati termék a piacon. Számos egyedi előnnyel és gazdag funkcióval rendelkezik. Például az automatikus neurális hálózatkereső eszköz egyedi képességei, , lehetővé teszik, hogy a rendszert ne csak a neurális hálózatok szakértői, hanem a neurális hálózatok számítástechnikájában kezdők is használják.

Milyen előnyei vannak a használatnak ?

Elő- és utófeldolgozás, beleértve az adatkiválasztást, névleges kódolást, skálázást, normalizálást, a hiányzó adatok eltávolítását osztályozási, regressziós és idősoros problémák értelmezésével;

Kivételes egyszerű használat és páratlan analitikai teljesítmény; például egy egyedi automatikus neurális hálózat keresőeszköz Automatizált neurális hálózat (ANN) végigvezeti a felhasználót a különféle neurális hálózatok létrehozásának minden szakaszán, és kiválasztja a legjobbat (egyébként ezt a feladatot hosszú „próbálkozás és hiba” folyamattal oldják meg, és komoly elméleti ismereteket igényel);

A legmodernebb, optimalizált és legerősebb hálózati tanító algoritmusok (beleértve a konjugált gradiens módszereket, Levenberg-Marquardt algoritmust, BFGS, Kohonen algoritmust); a hálózat minőségét befolyásoló összes paraméter teljes ellenőrzése, mint például az aktiválási és hibafunkciók, a hálózat összetettsége;

Szinte korlátlan méretű neurális hálózatok és neurális hálózati architektúrák együtteseinek támogatása;

Gazdag grafikus és statisztikai lehetőségek, amelyek megkönnyítik az interaktív feltáró elemzést;

Teljes integráció a rendszerrel STATISTIKA; minden eredmény, grafikon, jelentés stb. tovább módosítható hatékony grafikus és elemző eszközökkel STATISTIKA(például a várható maradványok elemzéséhez, részletes jelentés elkészítéséhez stb.);

Zökkenőmentes integráció erőteljes automatizált eszközökkel STATISTIKA; teljes értékű makrók rögzítése bármilyen elemzéshez; saját neurális hálózati elemzések és alkalmazások létrehozása segítségével STATISTIKA Visual Basic kihívás STATISTICA automatizált neurális hálózatok minden olyan alkalmazásból, amely támogatja a COM technológiát (például automatikus neurális hálózat elemzés MS Excel táblázatban vagy több C, C++, C#, Java stb. nyelven írt egyedi alkalmazás kombinálása).

Válogatás a legnépszerűbb hálózati architektúrákból, beleértve a többrétegű perceptronokat, a radiális alapfunkciókat és az önszerveződő jellemzőtérképeket.
Szerszám elérhető Automatikus hálózati keresés, amely lehetővé teszi különböző neurális hálózati architektúrák automatikus felépítését és azok összetettségének szabályozását.
A legjobb neurális hálózatok megőrzése.

Támogatja a különböző típusú statisztikai elemzéseket és prediktív modellek felépítését, beleértve a regressziót, az osztályozást, az idősorokat folyamatos és kategorikus függő változókkal, a klaszteranalízist a dimenziócsökkentéshez és a megjelenítéshez.

Támogatja több modell betöltését és elemzését.

Választható lehetőség forráskód generálására C, C++, C#, Java, PMML (Predictive Model Markup Language) nyelven, amely könnyen integrálható külső környezetbe saját alkalmazások létrehozásához.

Kódgenerátor

Kódgenerátor STATISTICA automatizált neurális hálózatok forrásrendszer programkódot generálhat neurális hálózati modellekhez C, Java és PMML (Predictive Model Markup Language) nyelven. A kódgenerátor egy kiegészítő alkalmazás a rendszerhez STATISTICA automatizált neurális hálózatok, amely lehetővé teszi a felhasználók számára, hogy a neurális hálózat elemzése alapján egy C vagy Java fájlt generáljanak a modellek forráskódjával, és integrálják azt független külső alkalmazásokba.

A kódgenerátor megköveteli STATISTICA automatizált neurális hálózatok.

Létrehozza a neurális hálózati forráskód verzióját (fájlként C, C++, C# vagy Java nyelven).

A C vagy Java kódfájl ezután beágyazható külső programokba.

STATISTIKAAutomatizált Neurális hálózatok a neurális hálózati számítástechnikában

A neurális hálózatok használata sokkal többet foglal magában, mint az adatok neurális hálózati módszerekkel történő feldolgozását.

STATISTICA automatizált neurális hálózatok (SANN) számos funkcionalitást biztosít a nagyon összetett feladatok elvégzéséhez, beleértve a legújabbakat is Neurális hálózati architektúrákÉs Tanulási algoritmusok, hanem a neurális hálózati architektúrák felépítésének új megközelítései is, amelyek képesek a különféle aktiválási és hibafüggvények számbavételére, ami megkönnyíti az eredmények értelmezését. Ezenkívül a szoftverfejlesztők és az alkalmazásbeállításokkal kísérletező felhasználók értékelni fogják azt a tényt, hogy meghatározott kísérletek elvégzése után egy egyszerű és intuitív felületen STATISTICA automatizált neurális hálózatok (SANN),A neurális hálózati elemzések kombinálhatók egy egyedi ,alkalmazásban. Ez akár a COM függvénykönyvtár használatával is elérhető STATISTIKA, amely teljes mértékben tükrözi a program összes funkcióját, vagy C/C++ nyelvű kód használata, amelyet a program generál, és segít egy teljesen betanított neurális hálózat futtatásában.

Modul STATISTICA automatizált neurális hálózatok teljesen integrálva a rendszerbe STATISTIKAÍgy az adatok elemzésre történő szerkesztéséhez (előkészítéséhez) (transzformációk, megfigyelések kiválasztásának feltételei, adatellenőrző eszközök stb.) hatalmas választék áll rendelkezésre.

Mint minden teszt STATISTIKA, a program "csatolható" egy távoli adatbázishoz helyszíni feldolgozó eszközök segítségével, vagy összekapcsolható élő adatokkal, így a modellek betanítása vagy futtatása (például a becsült értékek kiszámításához vagy az osztályozáshoz) automatikusan minden alkalommal, amikor az adatok megváltoznak. .

Adatskálázás és névérték konverzió

Mielőtt az adatokat bevinnénk a hálózatba, azokat bizonyos módon elő kell készíteni. Ugyanilyen fontos, hogy a kimeneti adatok helyesen értelmezhetők legyenek. BAN BEN STATISTICA automatizált neurális hálózatok (SANN) lehetőség van a bemeneti és kimeneti adatok automatikus skálázására; A névleges értékű változók automatikusan újrakódolhatók (például Gender=(Férfi, Nő)), beleértve az 1-ből N kódolási módszert is. STATISTICA automatizált neurális hálózatok (SANN) eszközöket is tartalmaz a hiányzó adatok kezeléséhez. Vannak kifejezetten az idősorok elemzésére kifejlesztett adatelőkészítő és -értelmezési eszközök. Hasonló eszközök széles választékát is megvalósítják STATISTIKA.

Az osztályozási feladatokban lehetőség van olyan konfidenciaintervallumok beállítására, amelyek STATISTICA automatizált neurális hálózatok (SANN) azután a megfigyelések egyik vagy másik osztályhoz való hozzárendelésére szolgál. Speciális beépítéssel kombinálva STATISTICA automatizált neurális hálózatok (SANN) a Softmax aktivációs függvény és a keresztentrópia hibafüggvények alapvető valószínűségelméleti megközelítést biztosítanak az osztályozási problémákhoz.

Neurális háló modell kiválasztása, neurális hálózatok együttesei

A neurális hálózati modellek sokfélesége és a sok beállítandó paraméter (hálózatméretek, tanuló algoritmus paraméterei stb.) megzavarhatja egyes felhasználókat. De ezért van egy automatikus neurális hálózat keresőeszköz, , amely képes automatikusan megkeresni a megfelelő hálózati architektúrát bármilyen bonyolultságú, lásd alább. Rendszerben STATISTICA automatizált neurális hálózatok (SANN) A gyakorlati problémák megoldásához használt neurális hálózatok minden fő típusát megvalósították, beleértve:

többrétegű perceptronok (közvetlen jelátvitelű hálózatok);

radiális bázisfüggvényeken alapuló hálózatok;

önszerveződő Kohonen térképek.

A fenti architektúrákat regressziós, osztályozási, idősoros (folyamatos vagy kategorikus függő változókkal) és klaszterezési problémákban használják.

Ráadásul a rendszerben STATISTICA automatizált neurális hálózatok (SANN) végrehajtva Hálózati együttesek, amely a fenti hálózatok véletlenszerű (de jelentős) kombinációiból jött létre. Ez a megközelítés különösen hasznos zajos és alacsony dimenziós adatok esetén.

A csomagban STATISTICA automatizált neurális hálózatok (SANN) Számos eszköz áll rendelkezésre, amelyek segítik a felhasználót a megfelelő hálózati architektúra kiválasztásában. A rendszer statisztikai és grafikus eszközei magukban foglalják a teljes sokaságra és az egyes megfigyelésekre vonatkozó hisztogramokat, mátrixokat és hibagrafikonokat, a helyes/helytelen osztályozás végleges adatait, valamint minden fontos statisztikai adatot, például a variancia magyarázatát, automatikusan kiszámítja.

Adatok megjelenítése egy csomagban STATISTICA automatizált neurális hálózatok (SANN) Scatterplotok és 3D válaszfelületek vannak megvalósítva, hogy segítsenek a felhasználónak megérteni a hálózat „viselkedését”.

Természetesen a felsorolt forrásokból szerzett bármilyen információt felhasználhat további elemzésekhez más módon is. STATISTIKA, valamint későbbi jelentésekben való szerepeltetéshez vagy testreszabáshoz.

STATISTICA automatizált neurális hálózatok (SANN) automatikusan megjegyzi a legjobb hálózati lehetőséget azokból, amelyeket a feladattal való kísérletezés során kapott, és bármikor hivatkozhat rá. A hálózat hasznosságát és előrejelző képességét automatikusan tesztelik egy speciális tesztsorozaton, valamint a hálózat méretének, hatékonyságának és a téves besorolás költségeinek becslésével. ben megvalósítva STATISTICA automatizált neurális hálózatok (SANN) Az automatikus keresztellenőrzési és súlyszabályozási eljárások segítségével gyorsan megállapíthatja, hogy a hálózat alul- vagy túlbonyolított-e egy adott feladathoz.

A csomag teljesítményének javítása érdekében STATISTICA automatizált neurális hálózatok Számos hálózati konfigurációs lehetőség jelenik meg. Így megadhat egy lineáris kimeneti hálózati réteget a regressziós feladatokban, vagy egy softmax aktiválási függvényt a valószínűségi becslési és osztályozási problémákban. A rendszer információelméleti modelleken és számos speciális aktiválási függvényen alapuló keresztentrópia hibafüggvényeket is megvalósít, beleértve az azonos, exponenciális, hiperbolikus, logisztikai (szigmoid) és szinuszfüggvényeket mind a rejtett, mind a kimeneti neuronokhoz.

Automatizált neurális hálózat (különféle neurális hálózati architektúrák automatikus keresése és kiválasztása)

A csomag része STATISTICA automatizált neurális hálózatok (SANN) egy automatikus neurális hálózat keresőeszköz, Automatizált neurális hálózat (ANN) - Automatizált hálózati keresés (ANS), amely számos különböző architektúrájú és összetettségű neurális hálózatot értékel, és kiválasztja az adott feladathoz a legjobb architektúrájú hálózatokat.

A neurális hálózat létrehozásakor jelentős időt fordítanak a megfelelő változók kiválasztására és a hálózati architektúra heurisztikus kereséssel történő optimalizálására. STATISTICA automatizált neurális hálózatok (SANN)átveszi ezt a munkát, és automatikusan heurisztikus keresést végez Ön helyett. Ez az eljárás figyelembe veszi a bemeneti dimenziót, a hálózat típusát, a hálózat méreteit, az aktiválási funkciókat, és még a szükséges kimeneti hibafüggvényeket is.

Ez egy rendkívül hatékony eszköz összetett technikák alkalmazásakor, lehetővé téve, hogy automatikusan megtalálja a legjobb hálózati architektúrát. Ahelyett, hogy órákat töltene a számítógép előtt ülve, hagyja a rendszert STATISTICA automatizált neurális hálózatok (SANN) ezt a munkát Ön helyett.

A legjobb hálózati típus és architektúra megtalálására irányuló kísérletek sikere jelentősen függ a hálózati tanulási algoritmusok minőségétől és sebességétől. Rendszerben STATISTICA automatizált neurális hálózatok (SANN) Az eddigi legjobb képzési algoritmusokat alkalmazták.

Rendszerben STATISTICA automatizált neurális hálózatok (SANN) Két gyors másodrendű algoritmust valósítottak meg - a konjugált gradiens módszereket és a BFGS algoritmust. Ez utóbbi egy rendkívül hatékony modern nemlineáris optimalizáló algoritmus, és a szakértők erősen ajánlják a használatát. A BFGS-algoritmusnak létezik egy egyszerűsített, kevesebb memóriát igénylő változata is, amelyet akkor használ a rendszer, ha a számítógép RAM-képessége meglehetősen korlátozott. Ezek az algoritmusok általában gyorsabban konvergálnak, és pontosabb megoldást adnak, mint az elsőrendű pontos algoritmusok, mint például a Gradient Descent.

Hálózati képzés iteratív folyamata a rendszerben STATISTICA automatizált neurális hálózatok (SANN) kíséri az aktuális edzési hiba automatikus kijelzése és a tesztkészleten függetlenül számított hiba, valamint megjelenik a teljes hiba grafikonja is. Az edzést bármikor megszakíthatja egy gombnyomással. Ezen kívül lehetőség van leállási feltételek beállítására, amelyek mellett az edzés megszakad; ilyen feltétel lehet például egy bizonyos hibaszint elérése, vagy a teszthiba stabil növekedése adott számú áthaladáson - „korszakon” (ami a hálózat ún. átképzését jelzi). Ha túlillesztés történik, a felhasználónak nem kell törődnie: STATISTICA automatizált neurális hálózatok (SANN) automatikusan megjegyzi a képzési folyamat során szerzett legjobb hálózat egy példányát, és ez a hálózati opció mindig elérhető a megfelelő gombra kattintva. A hálózati betanítás befejezése után egy külön tesztkészleten ellenőrizheti a munka minőségét.

A hálózat betanítása után ellenőriznie kell a munka minőségét és meg kell határoznia a jellemzőit. Erre a célra a csomagban STATISTICA automatizált neurális hálózatok (SANN) Van egy sor képernyőn megjelenő statisztika és grafikus eszköz.

Abban az esetben, ha több modell (hálózatok és együttesek) van megadva, akkor (ha lehetséges) STATISTICA automatizált neurális hálózatok (SANN)összehasonlító eredményeket jelenít meg (például több modell válaszgörbéjét ábrázolja egy grafikonon, vagy több modell előrejelzőjét egy táblázatban jeleníti meg). Ez a tulajdonság nagyon hasznos az ugyanazon az adatkészleten betanított különböző modellek összehasonlításához.

Minden statisztikát külön-külön számítunk ki a képzési, érvényesítési és tesztkészletekre vagy ezek bármilyen kombinációjára, a felhasználó belátása szerint.

A következő összesítő statisztika automatikusan számítódik: a hálózat négyzetes középhibája, az osztályozási problémák ún. zavarmátrixa (ahol a helyes és helytelen osztályozás összes esetét összegezzük), valamint a regressziós problémák korrelációi. A Kohonen hálózat rendelkezik egy Topológiai térkép ablakkal, amelyben vizuálisan megfigyelheti a hálózati elemek aktiválását.

Kész megoldások (egyedi alkalmazások segítségével STATISTICA automatizált neurális hálózatok)

Egyszerű és kényelmes rendszerfelület STATISTICA automatizált neurális hálózatok (SANN) lehetővé teszi a neurális hálózati alkalmazások gyors létrehozását a problémák megoldására.

Előfordulhat olyan helyzet, amikor ezeket a megoldásokat egy meglévő rendszerbe kell integrálni, például egy tágabb számítási környezet részévé tenni (ezek lehetnek külön kidolgozott és a vállalati számítástechnikai rendszerbe beépített eljárások).

A betanított neurális hálózatok többféle módon alkalmazhatók új adatkészletekre (előrejelzésre): Mentheti a betanított hálózatokat, majd alkalmazhatja őket egy új adatkészletre (előrejelzéshez, osztályozáshoz vagy előrejelzéshez); A kódgenerátor segítségével automatikusan generálhat programkódot C (C++, C#) vagy Visual Basic nyelven, majd felhasználhatja új adatok előrejelzésére bármilyen Visual Basic vagy C++ (C#) programozási környezetben, azaz beágyazhat egy teljesen betanított neurális hálózatot a számítógépébe. Alkalmazás. Összefoglalva, a rendszer összes funkciója STATISTIKA, beleértve STATISTICA automatizált neurális hálózatok (SANN), COM objektumként (Component Object Model) használható más alkalmazásokban (például Java, MS Excel, C#, VB.NET stb.). Például megvalósíthat egy automatizált elemzést, amely a következővel készült STATISTICA automatizált neurális hálózatok (SANN) MS Excel táblákba.

Tanulási algoritmusok listája

Gradiens Descent

Konjugált gradiensek

Kohonen képzés

K-Means módszer a radiális alapú függvényhálózathoz

Hálózatméret korlátozások

Egy neurális hálózat szinte bármilyen méretű lehet (azaz méretei többszörösére vehetők a ténylegesen szükségesnél és ésszerűnél); többrétegű perceptronok hálózatánál egy rejtett neuronréteg megengedett. Valójában minden gyakorlati feladatnál a programnak csak a számítógép hardveres képességei szabnak határt.

e-kézikönyv

A rendszer részeként STATISTICA automatizált neurális hálózatok (SANN) van egy jól illusztrált tankönyv, amely teljes és világos bevezetést ad a neurális hálózatokhoz, valamint példákat. A részletes, környezetfüggő súgórendszer bármely párbeszédpanelen elérhető.

Forráskód generátor

A forráskód-generátor egy kiegészítő termék, amely lehetővé teszi a felhasználók számára, hogy a rendszeren alapuló saját alkalmazásokat egyszerűen létrehozzák STATISTICA automatizált neurális hálózatok (SANN). Ez a kiegészítő termék elkészíti a neurális hálózati modell forrásrendszerkódját (fájlként C, C++, C# vagy Java nyelven), amely külön-külön lefordítható és ingyenes terjesztés céljából integrálható a programjába. Ezt a terméket kifejezetten vállalati rendszerfejlesztőknek, valamint azoknak a felhasználóknak tervezték, akiknek át kell alakítaniuk a STATISTICA automatizált neurális hálózatok (SANN), külső alkalmazásokba komplex elemzési problémák megoldására. (Megjegyzendő, hogy az engedély megszerzéséhez a felhasználóknak tájékoztatniuk kell a sitessia alkalmazottait a programok terjesztéséről a generált kód segítségével).

A STATISTICA-ban a folyamatos előrejelzési probléma regressziós problémaként jelenik meg. A probléma összefüggésében a neurális hálózatot nemlineáris függvénynek tekintjük, amelynek összetettségét „félparametrikusan” szabályozzuk - a hálózat elemeinek száma befolyásolja a megoldás összetettségét, de természetesen az elemző nem látja a regressziós függvény explicit formáját.

Szükséges egy neurális hálózat kiépítése, amely az áthaladó transzport számától és típusától függően kiszámítja az ólom légkörbe történő kibocsátását. Az adatokat a Lead.xls fájl tárolja.

Nyissa meg a Svinets.xls fájlt a Statistica csomagban. Megjelenik a Fájl megnyitása ablak.

Rizs. 4. 33. Importálás ablak.

Ki kell választani a „Kiválasztott lap importálása” opciót, és ki kell választani az adatlap nevét:

Rizs. 4. 34. Excel munkalap kiválasztása a Statistica csomagba történő importáláshoz.

A következő ablakban meg kell adni a valós adatparamétereket, amelyek általában automatikusan kerülnek meghatározásra és megjelenítésre (kivéve az utolsó három jelölőnégyzetet).

Rizs. 4. 35. Importálási terület beállítása.

Ezt követően az importált adatok megjelennek az ablakban.

Rizs. 4. 36. Eredmények importálása.

Futtassa az elemzőcsomagot neurális hálózatok segítségével. Ehhez válassza a „Neurális hálózatok” elemet az „Elemzés” menüből.

Rizs. 4. 37. Adatfeldolgozási módszer kiválasztása - „neurális hálózat”.

ezután megjelenik a STATISTICA Neural Networks csomagablak:

Rizs. 4. 38. Indítóablak a „neurális hálózatok” elemzéséhez.

Lépjen a „Gyors” fülre, ahol be kell állítania a feladat típusát - Regression, és az eszközt - Network Designer.

Rizs. 4. 39. A neurális hálózattervező indítása.

Ezután az „OK” gombra kattintva átvált a kimeneti (függő) és bemeneti (független) változók kiválasztására. Elsőnek a „Lead”-et választjuk, utolsónak pedig az összes kategória autóinak számát. A "Nem" és az "Utca" oszlopok kihasználatlanul maradnak.

Rizs. 4. 40. Bemeneti és kimeneti adatok kiválasztása neurális hálózathoz.

Az „Ok” gombra kattintva visszatér a „Gyors” fülre. Ezután az „Ok” gombra ismételt kattintással a neurális hálózat kialakítása ablakba kerül. A „Gyors” lapon ki kell választania a hálózat típusát - többrétegű perceptron,

Rizs. 4. 41. Neurális hálózat típusának kiválasztása.

az „Elemek” fülön pedig megadhatja a rétegek szükséges számát, az egyes neuronok számát, valamint az aktiválási funkció típusát:

Rizs. 4. 42. Az idegsejtek rétegszámának és típusának beállítása.

Rizs. 4. 43. Neurális hálózat betanítási módszerének kiválasztása.

Itt a „Minták” gombra kattintva beállíthatja a képzési, ellenőrzési és tesztpéldák számát. Ha a teszt- és vezérlőpéldák számát nullára állítja, akkor a hálózat az összes példa alapján lesz betanítva:

Rizs. 4. 44. Határozza meg a képzéshez és a teszteléshez szükséges adatokat.

Visszatérve a fő képzési ablakhoz, kattintson a „Felhasználó” gombra, és lépjen az „Interaktív” fülre, és kérje, hogy az edzési folyamat grafikonon jelenjen meg:

Rizs. 4. 45. A grafikon típusának megadása a tanulási folyamat bemutatásához.

Végül az „Ok” gombra kattintva elindítja a tanulási folyamatot, melynek eredménye megjelenik a grafikonon:

Rizs. 4. 46. Neurális hálózat betanítása.

Az „Ok” gombra kattintva a találati ablakba kerül, ahol az ablaklapok között mozogva tanulmányozhatja a létrehozott hálózat különféle jellemzőit:

Rizs. 4. 47. Neurális hálózatok modellezésének eredményei.

Így például a „Speciális” lapon van egy „Hálózati architektúra” gomb, amelyre kattintva megtekintheti a felépített hálózat topológiáját:

Rizs. 4. 48. A felépített neurális hálózat nézete.

valamint a „Felhasználói megfigyelések” gomb, ahol új kezdeti adatokat adhat meg a hálózatnak, és választ kaphat egy már betanított hálózattól.

Milyen hasonlóságok és különbségek vannak a neurocomputing és a statisztika nyelvei között az adatelemzésben? Nézzünk egy egyszerű példát.

Tegyük fel, hogy van megfigyelésekés kísérletileg mérjük N funkcionális kapcsolatot reprezentáló pontpárok. Ha megpróbálja meghúzni a legjobb egyenest ezeken a pontokon keresztül, ami a statisztika nyelvén azt jelenti, hogy az ismeretlen függőség leírására használjuk lineáris modell

(ahol a megfigyelés közbeni zajt jelöli), akkor a megfelelő probléma megoldása lineáris regresszió le lesz redukálva a paraméterek becsült értékeinek megtalálására, amelyek minimalizálják a másodfokú összeget maradékok.

Ha a paraméterek megtalálhatók, akkor az érték megbecsülhető y bármilyen értékre x, vagyis megvalósítani interpolációÉs extrapoláció adat.

Ugyanez a probléma megoldható egyrétegű hálózat használatával, egyetlen bemenettel és egyetlen bemenettel lineáris kimeneti neuron. Link súlya aés küszöb b megkaphatjuk a maradék azonos értékének minimalizálásával (amelyet ebben az esetben négyzetes középértéknek nevezünk hiba) közben kiképzés hálózatok, például a visszaterjesztés módszerével. A neurális hálózat tulajdonságai általánosítás ezután a kimeneti érték előrejelzésére szolgál a bemeneti értékből.

25. ábra Lineáris regresszió és az azt megvalósító egyrétegű perceptron.

Ha ezt a két megközelítést összehasonlítjuk, az azonnal szembeötlik, hogy módszereik leírásakor a statisztika vonzó. képletekÉs egyenletekés a neurocomputing to neurális architektúrák grafikus leírása.

1 Ha emlékszünk arra, hogy a bal félteke képletekkel és egyenletekkel, a jobb félteke pedig grafikus képekkel operál, akkor megérthetjük, hogy a statisztikákkal összehasonlítva: jobb agyfélteke” neurális hálózati megközelítés.

Egy másik lényeges különbség, hogy a statisztikai módszereknél nem mindegy, hogy az eltérést hogyan minimalizálják – mindenesetre modell változatlan marad, míg a neurocomputing esetében a főszerep az tanítási módszer. Más szavakkal, a neurális hálózat megközelítésétől eltérően a statisztikai módszerek modellparamétereinek becslése nem függ a minimalizálási módszertől. Ugyanakkor a statisztikusok figyelembe veszik a maradvány típusának megváltoztatását, mondjuk az által

Hogyan alapvető változás a modellben.

Ellentétben a neurális hálózati megközelítéssel, amelyben a legtöbb időt a hálózatok képzésére fordítják, a statisztikai megközelítésben ezt az időt a probléma alapos elemzésére fordítják. A statisztikusok szakértelmét felhasználva választ ki egy modellt a területre jellemző adatok és információk elemzése alapján. A neurális hálózatok - ezek az univerzális közelítők - használata általában előzetes tudás nélkül történik, bár bizonyos esetekben nagyon hasznos. Például a vizsgált lineáris modell esetében a négyzetes közép hiba használata a paraméterek optimális becsléséhez vezet, ha a zajérték normális eloszlású, és minden tanítási pár esetében azonos szórással. Ugyanakkor, ha ismert, hogy ezek az eltérések eltérőek, akkor a súlyozott hibafunkciók

lényegesen jobb paraméterértékeket adhat.

A legegyszerűbb vizsgált modellen kívül más, bizonyos értelemben ekvivalens statisztikai és neurális hálózati paradigmák modelljére is hozhatunk példákat.

3. táblázat. Hasonló technikák

A Hopfield hálózatnak nyilvánvaló kapcsolata van az adatklaszterezéssel és a faktoranalízissel.

1 Faktoranalízis tanulásra használják szerkezetek adat. Fő előfeltétele az ilyen jelek létezésének feltételezése - tényezőket, amely közvetlenül nem figyelhető meg, de több megfigyelhető elsődleges jellemzővel értékelhető. Például olyan jelek, mint pl termelés volumeneÉs állóeszközök költsége, olyan tényezőt tud meghatározni, mint termelési lépték. Ellentétben a neurális hálózatokkal, amelyek képzést igényelnek, a faktoranalízis csak bizonyos számú megfigyeléssel működik. Bár elvileg az ilyen megfigyelések számának csak eggyel többnek kellene lennie, mint a változók számának, ajánlatos az értékek számának legalább háromszorosát használni. Ez még mindig kisebbnek tekinthető, mint a neurális hálózat betanítási mintája. Ezért a statisztikusok rámutatnak a faktoranalízis előnyére, mivel kevesebb adatot használnak fel, és ezáltal gyorsabb modellgenerálást eredményeznek. Ez ráadásul azt is jelenti, hogy a faktorelemzési módszerek megvalósítása kisebb teljesítményű számítástechnikai eszközöket igényel. A faktoranalízis másik előnye, hogy fehérdobozos módszer, i.e. teljesen nyitott és érthető – a felhasználó könnyen megértheti, hogy a modell miért hoz egy adott eredményt. A faktoranalízis és a Hopfield-modell közötti kapcsolat jól látható, ha felidézzük egy megfigyelési halmaz minimális bázisvektorait (memóriaképek - lásd 5. fejezet). Ezek a vektorok olyan tényezők analógjai, amelyek egyesítik a memóriavektorok különböző összetevőit - elsődleges jellemzőket.

1 Logisztikus regresszió egy bináris osztályozási módszer, amelyet széles körben használnak a pénzügyi döntéshozatalban. Lehetővé teszi, hogy megbecsülje egy esemény megvalósulásának (vagy nem valósulásának) valószínűségét néhány független változó értékétől függően - előrejelzők: x 1,...,x N. A logisztikus regressziós modellben ennek a valószínűségnek analitikus formája van: Pr( x) =(1+exp(-z)) -1, ahol z = a 0 + a 1 x 1 +...+ a N x N. A neurális hálózat analógja nyilvánvalóan egyrétegű perceptron nemlineáris kimeneti neuronnal. A pénzügyi alkalmazásokban a logisztikus regressziót részesítik előnyben a többváltozós lineáris regresszióval és a diszkriminanciaanalízissel szemben, számos okból. Különösen automatikusan biztosítja, hogy a valószínűség az intervallumhoz tartozzon, és kevesebb korlátozást ír elő a prediktorértékek eloszlására. Ez utóbbi nagyon fontos, mivel a pénzügyi mutatók értékeinek arányok formájában történő eloszlása általában nem normális, és „erősen ferde”. A neurális hálózatok előnye, hogy ez a helyzet nem jelent számukra problémát. Ráadásul a neurális hálózatok érzéketlenek a prediktor értékek korrelációjára, míg a regressziós modell paramétereinek becslésére szolgáló módszerek ebben az esetben gyakran pontatlan értékeket adnak.

Megjegyzés: Neurális hálózatok és statisztikák. Neurális hálózatok és fuzzy logika. Neurális hálózatok és szakértői rendszerek. Neurális hálózatok és statisztikai fizika.

Az állatokat a következőkre osztják:

a császáré,

bebalzsamozott,

megszelídített,

balekok,

szirénák,

mesés,

egyéni kutyák,

ebbe az osztályozásba tartozik,

rohangál, mint egy őrült

számtalan,

a legfinomabb teveszőr ecsettel festve,

mások,

összetört egy virágvázát,

legyekre emlékeztető távolságból.

H. L. Borges: John Wilkins analitikus nyelve

A neurocomputing számos érintkezési ponttal rendelkezik más tudományágakkal és azok módszereivel. Különösen a neurális hálózatok elmélete használja a statisztikai mechanika és az optimalizálási elmélet apparátusát. A neurocomputing alkalmazási területei esetenként erősen átfednek vagy szinte egybeesnek a matematikai statisztika, a fuzzy halmazelmélet és a szakértői rendszerek alkalmazási területeivel. A neurocomputing összefüggései és párhuzamai rendkívül sokrétűek, és egyetemességét jelzik. Ebben a kiegészítőnek tekinthető előadásban, mivel némileg több matematikai felkészültséget igényel, ezek közül csak a legfontosabbakról lesz szó.

Neurális hálózatok és statisztikák

Mivel a neurális hálózatokat ma már sikeresen használják adatelemzésre, célszerű összehasonlítani őket régebbi, jól kidolgozott statisztikai módszerekkel. A statisztikai irodalomban időnként találkozhatunk azzal az állítással, hogy a leggyakrabban használt neurális hálózati megközelítések nem mások, mint a hatástalan regressziós és diszkrimináns modellek. Ezt már korábban megjegyeztük többrétegű neurális hálózatok valójában megoldhat olyan problémákat, mint a regresszió és az osztályozás. Azonban először is a neurális hálózatok által végzett adatfeldolgozás sokkal változatosabb – ne feledjük például a Hopfield hálózatok vagy a Kohonen jellemzőtérképek általi aktív osztályozást, amelyeknek nincs statisztikai analógja. Másodszor, a neurális hálózatok pénzügyekben és üzleti életben való felhasználásával kapcsolatos számos tanulmány feltárta előnyeiket a korábban kifejlesztett statisztikai módszerekkel szemben. Nézzük meg közelebbről a neurális hálózatok és a matematikai statisztika módszereinek összehasonlításának eredményeit.

A neurális hálózatok leíró nyelvek?

Mint már említettük, egyes statisztikusok azzal érvelnek, hogy az adatfeldolgozás neurális hálózati megközelítéseit egyszerűen újra felfedezik és újrafogalmazzák, de jól ismert statisztikai elemzési módszerek. Más szavakkal, a neurocomputing egyszerűen egy új nyelvet használ a régi tudás leírására. Példaként álljon itt egy idézet Warren Searle-től:

Sok neurális hálózatkutató mérnök, fizikus, idegtudós, pszichológus vagy informatikus, akik keveset tudnak a statisztikákról és a nemlineáris optimalizálásról. A neurális hálózatok kutatói folyamatosan újra felfedezik azokat a módszereket, amelyek évtizedek, évszázadok óta ismertek a matematikai és statisztikai irodalomban, de gyakran képtelenek megérteni e módszerek működését.

Ez a nézőpont első pillantásra ésszerűnek tűnhet. A neurális hálózatok formalizmusa valóban univerzális nyelvnek vallhatja magát. Nem véletlen, hogy már McCulloch és Pitts úttörő munkájában kimutatták, hogy a neurális hálózat leírása egyenértékű a propozíciós logika leírásával.

Valójában azt tapasztaltam, hogy az 1961-es dolgozatban kidolgozott technikával (...) könnyen meg tudtam válaszolni az agykutatók (...) vagy informatikusok által feltett összes kérdést. Fizikusként azonban jól tudtam, hogy az elmélet, amely mindent megmagyaráz, valójában semmit sem magyaráz meg: legjobb esetben is egy nyelv. Eduardo Cayanello

Ezért nem meglepő, hogy a statisztikusok gyakran felfedezik, hogy az általuk ismert fogalmaknak megvannak analógjai a neurális hálózatelméletben. Warren Searle összeállított egy kis szószedetet az e két területen használt kifejezésekről.

11.1. táblázat. Hasonló kifejezések szószedete

Neurális hálózatok	Statisztikai módszerek.
Jelek	változók
bemenetek	független változók
kilép	előrejelzett értékek
célértékeket	függő változók
hiba	maradó
képzés, alkalmazkodás, önszerveződés	fokozat
hibafüggvény, Ljapunov függvény	értékelési kritérium
edzés képek (párok)	megfigyelések
hálózati paraméterek: súlyok, küszöbértékek.	Becsült paraméterek
magas rendű neuronok	kölcsönhatás
funkcionális kapcsolatok	átalakítás
felügyelt tanulás vagy heteroasszociáció	regressziós és diszkriminanciaanalízis
felügyelet nélküli tanulás vagy automatikus társítás	adattömörítés
versenyképes tanulás, adaptív vektorkvantálás	klaszteranalízis
általánosítás	interpoláció és extrapoláció

Mi a különbség a neurális hálózatok és a statisztika között?

Milyen hasonlóságok és különbségek vannak a neurocomputing és a statisztika nyelvei között az adatelemzésben? Nézzünk egy egyszerű példát.

Tételezzük fel, hogy megfigyeléseket végeztünk és kísérletileg megmértük a funkcionális függést reprezentáló N pontpárt. Ha ezeken a pontokon keresztül próbáljuk meghúzni a legjobb egyenest, ami a statisztika nyelvén azt jelenti, hogy lineáris modellt használunk az ismeretlen függés leírására , (ahol a megfigyelés közbeni zajt jelöli), akkor a megfelelő lineáris regressziós feladat megoldása lesz redukálva megtaláljuk azon paraméterek becsült értékét, amelyek minimalizálják a négyzetes maradékok összegét.

Ha a paraméterek megtalálhatók, akkor meg lehet becsülni y értékét bármely x értékre, azaz interpolálni és extrapolálni az adatokat.

Ugyanez a probléma megoldható a használatával egyrétegű hálózat egyetlen bemenettel és egyetlen lineáris kimeneti neuronnal. Az a kapcsolati súlyt és a b küszöböt úgy kaphatjuk meg, hogy a hálózati betanítás során ugyanannyi maradékot (ezt ebben az esetben négyzetes középhibának nevezzük) minimalizáljuk, például a backpropagation módszerrel. A neurális hálózat generalizációs tulajdonsága a kimeneti érték előrejelzésére szolgál a bemeneti értékből.

Rizs. 11.1.

Ha ezt a két megközelítést összehasonlítjuk, az azonnal feltűnő, hogy módszereik leírásakor a statisztika képletekre és egyenletekre hivatkozik, a neurocomputing pedig a neurális architektúrák grafikus leírására.

Ha emlékszünk arra, hogy a bal agyfélteke képletekkel és egyenletekkel, a jobb félteke pedig grafikus képekkel operál, akkor megérthetjük, hogy a statisztikával összevetve ismét megjelenik a neurális hálózati megközelítés „jobb félteke” jellege.

További lényeges különbség, hogy a statisztikai módszereknél nem mindegy, hogyan minimalizálják az eltérést - mindenesetre a modell változatlan marad, míg a neurocomputingnál a képzési módszeré a főszerep. Más szavakkal, a neurális háló megközelítéssel ellentétben a statisztikai módszerek modellparamétereinek becslése nem függ minimalizálási módszer. Ugyanakkor a statisztikusok figyelembe veszik a maradvány típusának megváltoztatását, mondjuk az által

Mint egy alapvető változás a modellben.

Lényegesen jobb paraméterértékeket tud adni.

A legegyszerűbb vizsgált modellen kívül más, bizonyos értelemben ekvivalens statisztikai és neurális hálózati paradigmák modelljére is hozhatunk példákat.

A Hopfield hálózatnak nyilvánvaló kapcsolata van az adatklaszterezéssel és a faktoranalízissel.

Faktoranalízis adatszerkezet tanulmányozására használják. Fő előfeltétele az ilyen jelek létezésének feltételezése - olyan tényezők, amelyek közvetlenül nem figyelhetők meg, de több megfigyelhető elsődleges jellel értékelhetők. Például az olyan jellemzők, mint a termelési mennyiség és az állóeszközök költsége meghatározhatnak olyan tényezőt, mint a termelés mértéke. Ellentétben a neurális hálózatokkal, amelyek képzést igényelnek, a faktoranalízis csak bizonyos számú megfigyeléssel működik. Bár elvileg az ilyen megfigyelések számának csak eggyel többnek kellene lennie, mint a változók számának, ajánlatos az értékek számának legalább háromszorosát használni. Ez még mindig kisebbnek tekinthető, mint a neurális hálózat betanítási mintája. Ezért a statisztikusok rámutatnak a faktoranalízis előnyére, mivel kevesebb adatot használnak fel, és ezáltal gyorsabb modellgenerálást eredményeznek. Ez ráadásul azt is jelenti, hogy a faktorelemzési módszerek megvalósítása kisebb teljesítményű számítástechnikai eszközöket igényel. A faktoranalízis másik előnye, hogy fehérdobozos módszer, i.e. teljesen nyitott és érthető – a felhasználó könnyen megértheti, hogy a modell miért hoz egy adott eredményt. A faktoranalízis és a Hopfield-modell kapcsolata a vektorok felidézésével látható minimális alapon megfigyelések sorozatához (memóriaképek – lásd 5. előadás). Ezek a vektorok olyan tényezők analógjai, amelyek egyesítik a memóriavektorok különböző összetevőit - elsődleges jellemzőket.

A betegek megfigyelésének egy bizonyos története során adatok halmozódtak fel, és a STATISTICA rendszerben egy táblázatban tárolódnak. A megfelelő adattáblázat a 6. ábrán látható.

6. ábra A forrásadattábla töredéke

A vizsgálat célja egy olyan neurális hálózati modell felépítése, amely adott kiindulási adathalmaz (beteg vizsgálati adatok, vizsgálati eredmények, felvétel előtti kezelés) alapján a kórházban előírt kezelés alapján prognózist adna a beteg számára. kezelés (kórházi felvételi értékek I-APFARA, BAB, BKK, diuretikumok, központilag ható gyógyszerek) kellő pontossággal.

Az a tény, hogy a probléma nemlineáris, kétségtelen. Természetesen megkísérelhetjük a probléma megoldását a STATISTICA Nemlineáris Becslés modul segítségével, nevezetesen a modul által kínált iteratív eljárások felhasználásával a függvény típusának „tapogatására”. Itt azonban számos olyan probléma adódik, amelyek jelentősen meghosszabbítják a megoldás keresésének folyamatát. Közülük a legfontosabb egy hipotézis megfogalmazása a vizsgált függőség explicit formájára vonatkozóan, ami egyáltalán nem nyilvánvaló.

További kutatások nélkül nehéz bármit is mondani a függőség nyilvánvaló típusáról. Sőt, meg kell említeni, hogy még egy tényezőt nem vettünk figyelembe. Általában egy ilyen probléma megoldása nemlineáris becslési módszerekkel nagyon sokáig tarthat, vagy nem vezet semmire. Ilyen kritikus helyzetekben, amikor ismert, hogy

A változók között kapcsolat van;

A kapcsolat határozottan nemlineáris;

Nehéz bármit is mondani a függőség nyilvánvaló formájáról,

A neurális hálózati algoritmusok segítenek. Nézzük meg a probléma megoldásának módját a STATISTICA Neurális hálózatok modulban.

Sajnos nincsenek univerzális szabályok arra vonatkozóan, hogy egy adott probléma megoldásához melyik neurális hálózati topológiát kell követni. Ezért ésszerű eljárásra van szükség a megfelelő hálózat megtalálásához.

A STATISTICA rendszer Neural Networks modulja tartalmaz egy eljárást, amely megszervezi a kívánt hálózati konfiguráció keresését. Ez az eljárás abból áll, hogy nagyszámú, különböző architektúrájú hálózatot építünk fel és tesztelünk, majd ezek közül kiválasztjuk az adott probléma megoldására legalkalmasabb hálózatot. Ezt az eszközt intelligens problémamegoldónak hívják. A Neurális hálózatok modul elindításához a STATISTICA - Statisztika rendszer főmenüjének azonos nevű parancsát kell használni. (7. ábra)

7. ábra A Neurális hálózatok modul indítása

Nagyon gyakori a következő tézis: „A neurális hálózatok olyan univerzális struktúrák, amelyek lehetővé teszik bármilyen algoritmus megvalósítását.” Próbáljunk meg, vakon elhitve ezt az állítást, olyan neurális hálózatot építeni, amely azonnal (értsd: előzetes feltáró elemzés nélkül) „elkapja” a javasolt függőséget.

Az egyik legfontosabb kérdés, amelyet a modern tudomány még nem oldott meg, egy olyan neurális hálózat szerkezetének kérdése, amely képes lenne reprodukálni a kívánt többdimenziós nemlineáris függőséget. Valójában Kolmogorov teljességre vonatkozó tétele, amelyet 1957-ben bizonyított, kimondja, hogy egy neurális hálózat képes bármilyen (nagyon fontos - folytonos) függvény reprodukálására. Ez azonban nem kínál receptet a kutatónak egy ilyen hálózat létrehozására. 1988-ban számos szerző általánosította Kolmogorov-tételét, és kimutatta, hogy bármilyen folytonos függvény közelíthető egy háromrétegű, egy rejtett rétegű neurális hálózattal és egy visszaterjedési algoritmussal bármilyen pontossággal. Így esetünkben a pozitív szempont az a tudat, hogy a hálózatnak háromrétegűnek kell lennie, de itt sincsenek olyan szabályok, amelyek meghatározzák a kapcsolatot „bármilyen fokú pontosság” és a köztes neuronok száma között, így. rejtett rétegnek nevezzük.

Összegezve a fentieket, megjegyezzük, hogy nincsenek univerzális szabályok arra vonatkozóan, hogy egy adott probléma megoldásához melyik neurális hálózati topológiát kell követni. Ezért ésszerű eljárásra van szükség a megfelelő hálózat megtalálásához.

A STATISTICA rendszer Neural Networks modulja egy egyedi eljárást tartalmaz, amely megszervezi a kívánt hálózati konfiguráció keresését. Ezt az eszközt intelligens problémamegoldónak hívják. Használjuk ezt az eszközt, és keressünk egy neurális hálózatot, amely képes lesz megoldani a problémánkat.

8. ábra: Neurális hálózatok modul indítópultja

A párbeszédpanel Gyors lapján, a Probléma típusa részben javasoljuk, hogy válassza ki a problémák osztályát, amelyekkel szembesülünk. Célunk egy többváltozós kapcsolat vagy más szóval többváltozós nemlineáris regresszió felépítése. Ez azt jelenti, hogy a Probléma típusa részben meg kell adni a Regressziót.

A feladatok osztályának eldöntése után meg kell határozni az Elemzés elvégzéséhez szükséges változókat. A változók kiválasztásához használja a Változók gombot. Ha erre a gombra kattint, megjelenik a Bemenet (független), kimenet (függő) és választóváltozók kiválasztása párbeszédpanel. Ebben a párbeszédpanelben meg kell adnia két változólistát. Folyamatos kimenetek esetünkben a Kórházi felvétel ACEI/ARB, Kórházi BAB felvétel, Kórházi BKK felvétel, Vízhajtók kórházi felvétele és Központi hatású gyógyszerek kórházi felvétele változók. Példánkban a folyamatos bemenetek 1-61 kezdeti paramétert tartalmaznak.

9. ábra Változók kiválasztása elemzéshez

Az elemzés kiválasztása részben két lehetőség áll rendelkezésre: Intelligens problémamegoldó és Egyéni hálózattervező. A neurális hálózati paraméterek automatikus kiválasztásához az első opcióra van szükség, amely alapértelmezés szerint be van állítva. Az elemzés folytatásához kattintson az OK gombra.

A következő lépésben megjelenik az Intelligens problémamegoldó beállítása párbeszédpanel.

A Gyors rész olyan opciókat tartalmaz, amelyek felelősek a neurális hálózat keresési algoritmusának végrehajtási idejéért. Ezen a lapon meg kell adni a tesztelendő hálózatok számát (hogy megtudja, alkalmasak-e a megfogalmazott probléma megoldására), és azt is meg kell adni, hogy ezek közül a hálózatok közül hány kerüljön be a zárójelentésbe.

A tesztelt hálózatok részben 100-at, a megtartott hálózatokat 10-et jelezünk (10. ábra)

A Típusok lap megadja, hogy a tesztelési folyamatban milyen típusú neurális hálózatokat használnak. A nemlineáris regresszió problémájának megoldására a többrétegű perceptron a legalkalmasabb, ezért a 11. ábrán jelölt hálózatokat választjuk.

10. ábra: A tesztelendő hálózatok számának beállítása

11. ábra Hálózati architektúra kiválasztása

Ezután a keresési és tesztelési folyamat megszervezéséhez meg kell jelölni a neuronok számában bekövetkezett változások tartományát a neurális hálózat egyes rétegeiben. A feladathoz javasolt értékek a 12. ábrán láthatók.

12. ábra A betanítási, kontroll- és tesztminták méretének feltüntetése

Most, az összes képzési paraméter beállítása után, a hálózatkeresési eljárás elindításához kattintson az OK gombra.

A keresési algoritmus állapota az IPS Training In Progress párbeszédpanelen jelenik meg.

Amíg a megfelelő neurális hálózat keresési algoritmusa fut, ez a párbeszédpanel információkat nyújt az algoritmus végrehajtási idejéről, valamint a figyelembe vett neurális hálózatokról. A keresési algoritmus célja, hogy számba vegye a neurális hálózati konfigurációkat, és válassza ki a legjobbat a hálózati kimenet minimális hibája és a maximális teljesítmény szempontjából.

Tetszett a cikk? Oszd meg

Nyomtassa ki ezt a cikket