Алтернативи за замяна на STATISTICA. Невронни мрежи

STATISTICA Automated Neural Networks е единственият в света софтуерен продукт за невронни мрежи, напълно преведен на руски!

Методологиите на невронните мрежи стават все по-разпространени в различни области на дейност от фундаментални изследвания до практически приложения на анализ на данни, бизнес, индустрия и т.н.

е един от най-модерните и най-ефективни продукти за невронни мрежи на пазара. Предлага много уникални предимства и богати функции. Например уникалните възможности на автоматичния инструмент за търсене на невронни мрежи, , позволяват системата да се използва не само от експерти в невронните мрежи, но и от начинаещи в областта на изчисленията с невронни мрежи.

Какви са ползите от използването на ?

Предварителна и последваща обработка, включително селекция на данни, кодиране на номинална стойност, мащабиране, нормализиране, изтриване на липсващи данни с интерпретация за класификация, регресия и проблеми с времеви редове;

Изключителна лекота на използване плюс ненадмината аналитична мощ; например, несравним автоматичен инструмент за търсене в невронни мрежи Автоматизирана невронна мрежа (ANN)ще преведе потребителя през всички етапи на създаване на различни невронни мрежи и ще избере най-добрия (в противен случай тази задача се решава чрез дълъг процес на "проба и грешка" и изисква сериозно познаване на теорията);

Най-модерните, оптимизирани и мощни алгоритми за мрежово обучение (включително спрегнати градиентни методи, алгоритъм на Левенберг-Марквард, BFGS, алгоритъм на Кохонен); пълен контрол върху всички параметри, които влияят върху качеството на мрежата, като функции за активиране и грешки, сложност на мрежата;

Поддръжка на ансамбли от невронни мрежи и архитектури на невронни мрежи с почти неограничен размер;

Богати графични и статистически възможности, които улесняват интерактивния проучвателен анализ;

Пълна интеграция със системата СТАТИСТИКА; всички резултати, графики, отчети и т.н. могат да бъдат допълнително модифицирани с помощта на мощни графични и аналитични инструменти СТАТИСТИКА(например за анализиране на прогнозирани остатъци, създаване на подробен отчет и т.н.);

Пълна интеграция с мощни автоматизирани инструменти СТАТИСТИКА; запис на пълноценни макроси за всеки анализ; създаване на собствени анализи на невронни мрежи и използване на приложения СТАТИСТИКАОбаждане на Visual Basic STATISTICA Автоматизирани невронни мрежиот всяко приложение, което поддържа COM технология (например автоматичен анализ на невронни мрежи в електронна таблица на MS Excel или комбинация от няколко потребителски приложения, написани на C, C++, C#, Java и др.).

Селекция от най-популярните мрежови архитектури, включително многослойни персептрони, радиални базисни функции и самоорганизиращи се карти.
Има инструмент Автоматично търсене в мрежа, което ви позволява автоматично да изграждате различни архитектури на невронни мрежи и да коригирате тяхната сложност.
Запазване на най-добрите невронни мрежи.

Поддръжка за различни видове статистически анализи и изграждане на прогнозни модели, включително регресия, класификация, времеви редове с непрекъсната и категорична зависима променлива, клъстерен анализ за намаляване на размерността и визуализация.

Поддържа зареждане и анализиране на множество модели.

Опционална възможност за генериране на изходен код в C, C++, C#, Java, PMML (Predictive Model Markup Language), който може лесно да се интегрира във външната среда за създаване на ваши собствени приложения.

Генератор на кодове

Генератор на кодове STATISTICA Автоматизирани невронни мрежиможе да генерира изходния системен код на модели на невронни мрежи в C, Java и PMML (предсказуем език за маркиране на модели). Генераторът на кодове е допълнително приложение към системата STATISTICA Автоматизирани невронни мрежи, което позволява на потребителите да генерират C или Java файл с изходния код на модели въз основа на извършен анализ на невронни мрежи и да го интегрират в независими външни приложения.

Генераторът на код изисква STATISTICA Автоматизирани невронни мрежи.

Генерира версия на изходния код на невронната мрежа (като C, C++, C# или Java файл).

След това C или Java файлът с кода може да бъде вграден във външни програми.

СТАТИСТИКАавтоматизиран Невронни мрежив компютърните невронни мрежи

Използването на невронни мрежи включва много повече от просто обработване на данни с помощта на методи на невронни мрежи.

STATISTICA Автоматизирани невронни мрежи (SANN)предоставя разнообразни функционалности за работа с много сложни задачи, включително не само най-новите Архитектури на невронни мрежиИ Алгоритми за обучение, но също и нови подходи за изграждане на архитектури на невронни мрежи с възможност за изброяване на различни функции за активиране и грешки, което улеснява интерпретирането на резултатите. В допълнение, разработчиците на софтуер и потребителите, които експериментират с настройките на приложенията, ще оценят факта, че след провеждане на предварително зададени експерименти в прост и интуитивен интерфейс STATISTICA Автоматизирани невронни мрежи (SANN), анализите на невронни мрежи могат да се комбинират в персонализирано приложение. Това се постига или чрез използване на библиотеката с функции COM СТАТИСТИКА, което напълно отразява цялата функционалност на програмата, или използвайки C / C ++ код, който се генерира от програмата и помага за стартирането на напълно обучена невронна мрежа.

Модул STATISTICA Автоматизирани невронни мрежинапълно интегриран със системата СТАТИСТИКА, като по този начин е наличен огромен избор от инструменти за редактиране (подготвяне) на данни за анализ (трансформации, условия за избор на наблюдения, инструменти за валидиране на данни и др.).

Като всички анализи СТАТИСТИКА, програмата може да бъде „прикрепена“ към отдалечена база данни с помощта на инструменти за обработка на място или свързана с живи данни, така че моделите да се обучават или изпълняват (например за изчисляване на прогнозирани стойности или класификация) автоматично всеки път, когато данните се променят.

Мащабиране на данни и преобразуване на рейтинг

Преди данните да могат да бъдат въведени в мрежата, те трябва да бъдат подготвени по някакъв начин. Също толкова важно е изходът да може да се интерпретира правилно. IN STATISTICA Автоматизирани невронни мрежи (SANN)има възможност за автоматично мащабиране на входни и изходни данни; също така променливи с номинални стойности могат да бъдат автоматично прекодирани (например Пол=(Мъж, Жена)), включително с помощта на метода на кодиране 1-of-N. STATISTICA Автоматизирани невронни мрежи (SANN)съдържа и инструменти за работа с липсващи данни. Има инструменти за подготовка и интерпретация на данни, специално предназначени за анализ на времеви редове. Голямо разнообразие от подобни средства също се прилага в СТАТИСТИКА.

При проблеми с класификацията е възможно да се зададат доверителни интервали, които STATISTICA Автоматизирани невронни мрежи (SANN)след това се използва за присвояване на наблюдения към определен клас. В комбинация със специална внедрена в STATISTICA Автоматизирани невронни мрежи (SANN)Функция за активиране на Softmax и функции за кръстосана ентропийна грешка, това осигурява фундаментален вероятностен подход към проблемите с класификацията.

Избор на модел на невронна мрежа, ансамбли от невронни мрежи

Разнообразието от модели на невронни мрежи и множеството параметри, които трябва да бъдат зададени (размери на мрежата, параметри на алгоритъм за обучение и т.н.) могат да объркат друг потребител. Но за това има автоматичен инструмент за търсене на невронни мрежи, , който може автоматично да търси подходяща мрежова архитектура с всякаква сложност, вижте по-долу. В системата STATISTICA Автоматизирани невронни мрежи (SANN)са внедрени всички основни типове невронни мрежи, използвани при решаване на практически задачи, включително:

многослойни перцептрони (мрежи с директно предаване на сигнала);

мрежи на радиални базисни функции;

самоорганизиращи се карти на Кохонен.

Горните архитектури се използват при регресия, класификация, времеви редове (с непрекъсната или категорична зависима променлива) и проблеми с групирането.

Освен това в системата STATISTICA Автоматизирани невронни мрежи (SANN)изпълнени Мрежови ансамбли, формирана от произволни (но значими) комбинации от горните мрежи. Този подход е особено полезен за шумни и нискоразмерни данни.

В опаковката STATISTICA Автоматизирани невронни мрежи (SANN)Налични са множество инструменти, които помагат на потребителя да избере подходящата мрежова архитектура. Статистическият и графичен инструментариум на системата включва хистограми, матрици и графики на грешки за цялата съвкупност и за индивидуални наблюдения, окончателни данни за правилна/неправилна класификация и всички важни статистики, например обяснената пропорция на дисперсията, се изчисляват автоматично .

За визуализиране на данни в пакет STATISTICA Автоматизирани невронни мрежи (SANN)внедрени диаграми на разсейване и 3D повърхности на отговор, за да помогнат на потребителя да разбере "поведението" на мрежата.

Разбира се, можете да използвате всякаква информация, получена от изброените източници, за допълнителен анализ по друг начин. СТАТИСТИКА, както и за по-късно включване в отчети или за персонализиране.

STATISTICA Автоматизирани невронни мрежи (SANN)автоматично запомня най-добрата версия на мрежата от тези, които сте получили, докато експериментирате със задачата, и можете да се обърнете към нея по всяко време. Полезността на мрежата и нейната способност за прогнозиране се тестват автоматично на специален тестов набор от наблюдения, както и чрез оценка на размера на мрежата, нейната ефективност и цената на грешна класификация. Внедрена в STATISTICA Автоматизирани невронни мрежи (SANN)автоматичните процедури за кръстосано валидиране и регулиране на теглото ви позволяват бързо да разберете дали вашата мрежа е недостатъчна или, обратно, твърде сложна за дадена задача.

За подобряване на производителността в пакета STATISTICA Автоматизирани невронни мрежиПредставени са множество опции за конфигурация на мрежата. Така че можете да зададете линеен изходен мрежов слой в проблеми с регресия или функция за активиране на softmax в проблеми с вероятностна оценка и класификация. Системата също така прилага функции за кръстосана ентропийна грешка, базирани на модели на теория на информацията и редица специални функции за активиране, включително функции за идентичност, експоненциална, хиперболична, логистична (сигмоидна) и синусова функция както за скрити, така и за изходящи неврони.

Автоматизирана невронна мрежа (автоматично търсене и избор на различни архитектури на невронни мрежи)

Част от пакета STATISTICA Автоматизирани невронни мрежи (SANN)е автоматичен инструмент за търсене на невронни мрежи, Автоматизирана невронна мрежа (ANN) - Автоматизирано търсене в мрежа (ANS), който оценява набор от невронни мрежи с различна архитектура и сложност и избира мрежите с най-добрата архитектура за дадена задача.

Значително време при създаването на невронна мрежа се изразходва за избор на подходящи променливи и оптимизиране на мрежовата архитектура с помощта на метода на евристично търсене. STATISTICA Автоматизирани невронни мрежи (SANN)поема работата и автоматично извършва евристичното търсене вместо вас. Тази процедура взема предвид входното измерение, типа на мрежата, размерите на мрежата, функциите за активиране и дори необходимите функции за изходна грешка.

Това е изключително ефективен инструмент при използване на сложни техники, който ви позволява автоматично да намерите най-добрата мрежова архитектура. Вместо да прекарвате много часове в седене пред компютъра, дайте системата STATISTICA Автоматизирани невронни мрежи (SANN)свърши тази работа вместо вас.

Успехът на вашите експерименти за намиране на най-добрия тип и архитектура на мрежата силно зависи от качеството и скоростта на алгоритмите за обучение на мрежата. В системата STATISTICA Автоматизирани невронни мрежи (SANN)прилагат се най-добрите алгоритми за обучение до момента.

В системата STATISTICA Автоматизирани невронни мрежи (SANN)реализирани са два бързи алгоритъма от втори ред - спрегнати градиентни методи и алгоритъмът BFGS. Последният е изключително мощен модерен нелинеен алгоритъм за оптимизация и силно се препоръчва от експерти. Има и опростена версия на алгоритъма BFGS, която изисква по-малко памет, която се използва от системата, когато RAM паметта на компютъра е доста ограничена. Тези алгоритми са склонни да се сближават по-бързо и да произвеждат по-точно решение от алгоритмите за точност от първи ред, като Gradient Descent.

Итеративен мрежов процес на обучение в системата STATISTICA Автоматизирани невронни мрежи (SANN)се придружава от автоматично показване на текущата грешка на обучението и грешката, изчислена независимо от нея върху тестовия набор, а също така се показва графиката на общата грешка. Можете да спрете обучението по всяко време, като просто натиснете бутона. Освен това е възможно да се зададат условия за спиране, при изпълнение на които обучението да бъде прекъснато; такова условие може да бъде например достигане на определено ниво на грешка или стабилно нарастване на грешката при проверка за даден брой преминавания - "епохи" (което показва така нареченото преобучение на мрежата). Ако възникне прекомерно оборудване, това не трябва да тревожи потребителя: STATISTICA Автоматизирани невронни мрежи (SANN)автоматично запомня екземпляр от най-добрата мрежа, получена по време на процеса на обучение, и тази версия на мрежата винаги може да бъде достъпна чрез натискане на съответния бутон. След като обучението на мрежата приключи, можете да проверите качеството на нейната работа на отделен набор от тестове.

След като мрежата е обучена, трябва да проверите качеството на нейната работа и да определите характеристиките. За това пакетът STATISTICA Автоматизирани невронни мрежи (SANN)има набор от екранни статистики и графични инструменти.

В случай, че са дадени няколко модела (мрежи и ансамбли), тогава (ако е възможно) STATISTICA Автоматизирани невронни мрежи (SANN)показване на сравнителни резултати (например начертаване на кривите на отговор на множество модели на една и съща графика или представяне на предикторите на множество модели в една и съща таблица). Това свойство е много полезно за сравняване на различни модели, обучени на един и същи набор от данни.

Всички статистически данни се изчисляват отделно за комплектите за обучение, валидиране и тестове или във всяка комбинация от тях, по преценка на потребителя.

Следните обобщени статистически данни се изчисляват автоматично: средната квадратна грешка на мрежата, така наречената матрица на объркване за проблеми с класификация (където се сумират всички случаи на правилна и неправилна класификация) и корелации за проблеми с регресия. Мрежата на Kohonen има прозорец с топологична карта, в който можете визуално да наблюдавате активирането на мрежовите елементи.

Готови решения (персонализирани приложения, които използват STATISTICA Автоматизирани невронни мрежи)

Опростен и удобен за потребителя системен интерфейс STATISTICA Автоматизирани невронни мрежи (SANN)ви позволява бързо да създавате приложения за невронни мрежи, за да разрешите вашите проблеми.

Може да възникне ситуация, когато е необходимо тези решения да се интегрират в съществуваща система, например, за да бъдат част от по-голяма компютърна среда (това могат да бъдат процедури, разработени отделно и вградени в корпоративна компютърна система).

Обучените невронни мрежи могат да бъдат приложени към нови набори от данни (за прогнозиране) по няколко начина: Можете да запазите обучените мрежи и след това да ги приложите към нов набор от данни (за прогнозиране, класифициране или прогнозиране); Можете да използвате генератора на код за автоматично генериране на програмен код в C (C++, C#) или Visual Basic и след това да го използвате за прогнозиране на нови данни във всяка среда за програмиране на Visual Basic или C++ (C#), т.е. да внедрите напълно обучена невронна мрежа във вашата приложение. В заключение цялата функционалност на системата СТАТИСТИКА, включително STATISTICA Автоматизирани невронни мрежи (SANN), могат да се използват като COM обекти (Component Object Model) в други приложения (например Java, MS Excel, C#, VB.NET и др.). Например, можете да приложите автоматичен анализ, създаден с STATISTICA Автоматизирани невронни мрежи (SANN)в електронни таблици на MS Excel.

Списък с алгоритми за обучение

градиентно спускане

Конюгирани градиенти

Кохонен обучение

Метод на k-Means за мрежа от радиални базисни функции

Ограничения за размера на мрежата

Една невронна мрежа може да бъде почти всякакъв размер (т.е. нейните размери могат да бъдат многократно по-големи, отколкото е действително необходимо и разумно); за мрежа от многослойни перцептрони е разрешен един скрит слой от неврони. Всъщност за всяка практическа задача програмата е ограничена само от хардуерните възможности на компютъра.

електронно ръководство

Като част от системата STATISTICA Автоматизирани невронни мрежи (SANN)Има добре илюстриран учебник, който предоставя пълно и разбираемо въведение в невронните мрежи, както и примери. От всеки диалогов прозорец е достъпна система от подробна контекстно-зависима помощ.

Генератор на изходен код

Генераторът на изходен код е незадължителен продукт, който позволява на потребителите лесно да създават свои собствени приложения, базирани на системата STATISTICA Автоматизирани невронни мрежи (SANN). Този допълнителен продукт генерира изходен код на модел на невронна мрежа (като C, C++, C# или Java файл), който може да бъде отделно компилиран и интегриран във вашата програма за безплатно разпространение. Този продукт е създаден специално за разработчици на корпоративни системи и онези потребители, които трябва да конвертират силно оптимизирани процедури, създадени в STATISTICA Автоматизирани невронни мрежи (SANN), във външни приложения за решаване на сложни аналитични проблеми. (Трябва да се отбележи, че за да получат разрешение, потребителите трябва да информират служителите на компанията sitessia за разпространението на програми, използвайки генерирания код).

В пакета STATISTICA проблемът с непрекъснатото прогнозиране е представен като регресионен проблем. В контекста на тази задача невронната мрежа се разглежда като нелинейна функция, чиято сложност се контролира "полупараметрично" - броят на елементите в мрежата влияе върху сложността на решението, но, разбира се, анализаторът не може да види изричната форма на регресионната функция.

Необходимо е изграждането на невронна мрежа, която изчислява изпускането на олово в атмосферата в зависимост от броя и вида на преминаващите превозни средства. Данните се съхраняват във файла lead.xls.

Отворете файла Lead.xls в пакета Statistica. Ще се появи прозорецът "Отваряне на файл".

Ориз. 4. 33. Прозорец за импортиране.

Трябва да изберете опцията „Импортиране на избрания лист“ и да изберете името на листа с данни:

Ориз. 4. 34. Избиране на Excel лист за импортиране в пакета Statistica.

В следващия прозорец трябва да посочите реалните параметри на данните, които по правило се определят и показват автоматично (с изключение на последните три квадратчета).

Ориз. 4. 35. Настройка на областта за импортиране.

След това импортираните данни ще бъдат показани в прозореца.

Ориз. 4. 36. Импортиране на резултати.

Стартирайте пакета за анализ с помощта на невронни мрежи. За да направите това, изберете елемента "Невронни мрежи" в менюто "Анализ".

Ориз. 4. 37. Избор на метод за обработка на данни – „невронна мрежа”.

след което ще се появи прозорецът на пакета STATISTICA Neural Networks:

Ориз. 4. 38. Стартов прозорец на анализа "невронни мрежи".

Отидете в раздела "Бързо", където трябва да зададете типа задача - Регресия и инструмента - Network Builder.

Ориз. 4. 39. Стартиране на конструктора на невронни мрежи.

След това, като натиснете бутона "OK", ще преминете към режим на избор на изходни (зависими) и входни (независими) променливи. Като първо избираме "Вода", а като последно - броя на автомобилите от всички категории. Колоните "#" и "Улици" остават неизползвани.

Ориз. 4. 40. Избор на входни и изходни данни за невронната мрежа.

Щраквайки върху "OK", ще се върнете отново в раздела "Бързо". След това, като щракнете отново върху бутона "OK", ще бъдете отведени до прозореца за формиране на невронна мрежа. В раздела "Бързо" трябва да изберете типа мрежа - многослоен перцептрон,

Ориз. 4. 41. Избор на тип невронна мрежа.

и в раздела "Елементи" можете да посочите необходимия брой слоеве, броя на невроните във всеки, както и вида на функцията за активиране:

Ориз. 4. 42. Задаване на броя на слоевете и видовете неврони.

Ориз. 4. 43. Избор на метод за обучение на невронна мрежа.

Тук, като щракнете върху бутона "Избори", можете да зададете броя на обучителните, контролните и тестовите случаи. Ако зададете броя на тестовите и контролните случаи на нула, тогава мрежата ще бъде обучена на всички примери:

Ориз. 4. 44. Дефиниране на данни за обучение и тестване.

Връщайки се към главния прозорец за обучение, като щракнете върху бутона "Потребител" и отидете в раздела "Интерактивен", можете да поискате процесът на обучение да бъде отразен под формата на графика:

Ориз. 4. 45. Задаване на вида на графиката за демонстриране на учебния процес.

Накрая, като щракнете върху бутона "OK", ще стартирате процеса на обучение, резултатът от който ще се покаже на графиката:

Ориз. 4. 46. Обучение на невронни мрежи.

Като щракнете върху бутона "OK", ще отидете в прозореца с резултати, където можете да проучите различните характеристики на създадената мрежа, като се движите през разделите на прозореца:

Ориз. 4. 47. Резултати от моделиране на невронни мрежи.

Така например в раздела „Разширени“ има бутон „Архитектура на мрежата“, като кликнете върху който можете да видите топологията на изградената мрежа:

Ориз. 4. 48. Изглед на изградената невронна мрежа.

както и бутона "Потребителски наблюдения", където можете да зададете мрежата с нови първоначални данни и да получите отговор на вече обучена мрежа.

Какви са приликите и разликите между езиците на неврокомпютинга и статистиката в анализа на данни. Нека разгледаме най-простия пример.

Да приемем, че имаме наблюденияи експериментално измерени ндвойки точки, представляващи функционална зависимост. Ако се опитаме да начертаем най-добрата права линия през тези точки, което на езика на статистиката би означавало да използваме неизвестната зависимост, за да опишем линеен модел

(където означава шума по време на наблюдението), след това решението на съответния проблем линейна регресиясвежда до намиране на приблизителните стойности на параметрите, които минимизират сумата от квадратната остатъци.

Ако параметрите и са намерени, тогава можем да оценим стойността гза всяка стойност х,тоест да се извърши интерполацияИ екстраполацияданни.

Същият проблем може да бъде решен с помощта на еднослойна мрежа с един вход и единичен линеенизходящ неврон. Комуникационна тежест аи праг bможе да се получи чрез минимизиране на същото количество остатък (което в този случай ще се нарича средноквадратичен корен грешка) по време на изучаване намрежи, например, използвайки метода на обратно разпространение. Свойството на невронната мрежа да обобщениеслед това ще се използва за прогнозиране на изходната стойност от входната стойност.

Фигура 25. Линейна регресия и еднослойният перцептрон, който я прилага.

Когато сравняваме тези два подхода, веднага прави впечатление, че когато описва техните методи, статистиката се обръща към формулиИ уравнения, и неврокомпютри към графично описание на невронни архитектури.

1 Ако си спомним, че лявото полукълбо работи с формули и уравнения, а дясното полукълбо работи с графични изображения, тогава можем да разберем, че в сравнение със статистиката, „ дясно полукълбо„подход на невронни мрежи.

Друга съществена разлика е, че за статистическите методи няма значение как ще се минимизира несъответствието – във всеки случай моделостава същата, докато за неврокомпютрите основната роля се играе от метод на преподаване.С други думи, за разлика от подхода на невронната мрежа, оценката на параметрите на модела за статистически методи не зависи от метода на минимизиране. В същото време статистиците ще вземат предвид промените във формата на остатъка, да речем

как фундаментална промяна на модела.

За разлика от невронно-мрежовия подход, при който основното време се отнема от обучението на мрежите, при статистическия подход това време се изразходва за задълбочен анализ на проблема. В същото време опитът на статистиците се използва за избор на модел въз основа на анализ на данни и информация, специфични за дадена област. Използването на невронни мрежи - тези универсални апроксиматори - обикновено се извършва без използване на априорни знания, въпреки че в някои случаи е много полезно. Например, за разглеждания линеен модел, използването на средната квадратична грешка води до получаване на оптимална оценка на неговите параметри, когато стойността на шума има нормално разпределение с една и съща вариация за всички тренировъчни двойки. В същото време, ако е известно, че тези отклонения са различни, тогава се използва претегленифункции за грешки

може да даде значително по-добри стойности на параметрите.

В допълнение към разглеждания най-прост модел могат да бъдат дадени примери за други, в известен смисъл, еквивалентни модели на статистика и парадигми на невронни мрежи.

Таблица 3. Подобни методи

Мрежата на Hopfield има очевидна връзка с клъстерирането на данни и факторния анализ.

1 Факторен анализизползвани за учене структуриданни. Основната му предпоставка е предположението за съществуването на такива знаци - фактори, които не могат да бъдат наблюдавани директно, но могат да бъдат оценени от няколко наблюдавани първични характеристики. Например знаци като обем на производствотоИ стойност на дълготрайните активи, може да определи такъв фактор като производствен мащаб. За разлика от невронните мрежи, които изискват обучение, факторният анализ може да работи само с определен брой наблюдения. Въпреки че по принцип броят на такива наблюдения трябва да бъде само с едно по-голям от броя на променливите, се препоръчва използването на поне три пъти повече стойности. Това все още се счита за по-малко от размера на набора за обучение за невронната мрежа. Следователно, статистиците посочват предимството на факторния анализ при използването на по-малко данни и следователно в резултат на по-бързо генериране на модел. В допълнение, това означава, че прилагането на методите за факторен анализ изисква по-малко мощни изчислителни инструменти. Друго предимство на факторния анализ е, че той е метод на бялата кутия, т.е. напълно отворен и разбираем - потребителят може лесно да разбере защо моделът дава определен резултат. Връзката на факторния анализ с модела на Хопфийлд може да се види чрез запомняне на минималните базисни вектори за набор от наблюдения (изображения от паметта - вижте Глава 5). Именно тези вектори са аналози на факторите, които обединяват различните компоненти на векторите на паметта - първичните характеристики.

1 Логистична регресияе метод на двоична класификация, широко използван при вземането на финансови решения. Позволява да се оцени вероятността за реализация (или нереализация) на дадено събитие в зависимост от стойностите на някои независими променливи - предиктори: x 1 ,...,x N . В логистичния регресионен модел тази вероятност има аналитична форма: Pr( х) =(1+exp(-z)) -1 , където z = a 0 + a 1 x 1 +...+ a N x N . Неговият аналог на невронната мрежа, очевидно, е еднослоен перцептрон с нелинеен изходен неврон. Във финансовите приложения логистичната регресия се предпочита пред многовариантната линейна регресия и дискриминантния анализ поради редица причини. По-специално, той автоматично гарантира, че вероятността принадлежи на интервала, налага по-малко ограничения върху разпределението на стойностите на предиктора. Последното е много важно, тъй като разпределението на стойностите на финансовите показатели, които имат формата на съотношения, обикновено не е нормално и е „силно изкривено“. Предимството на невронните мрежи е, че тази ситуация не е проблем за тях. В допълнение, невронните мрежи са нечувствителни към корелацията на предикторните стойности, докато методите за оценка на параметрите на регресионния модел в този случай често дават неточни стойности.

Анотация: Невронни мрежи и статистика. Невронни мрежи и размита логика. Невронни мрежи и експертни системи. Невронни мрежи и статистическа физика.

Животните се делят на:

принадлежащ на императора

балсамиран

опитомен,

нещастници,

сирени,

страхотно,

отделни кучета,

включени в тази класификация

тичам като луд

безброен,

нарисувана с най-добрата четка от камилски косми,

други,

счупване на ваза за цветя

отдалеч приличат на мухи.

Х. Л. Борхес, „Аналитичният език на Джон Уилкинс“

Неврокомпютърът има множество допирни точки с други дисциплини и техните методи. По-специално, теорията на невронните мрежи използва апарата на статистическата механика и теорията на оптимизацията. Областите на приложение на неврокомпютинга понякога силно се пресичат или почти съвпадат с областите на приложение на математическата статистика, теорията на размитите множества и експертните системи. Връзките и паралелите на неврокомпютинга са изключително разнообразни и свидетелстват за неговата универсалност. В тази лекция, която може да се счита за допълнителна, тъй като изисква малко повече математическа подготовка, ще говорим само за най-важните от тях.

Невронни мрежи и статистика

Тъй като невронните мрежи вече се използват успешно за анализ на данни, е уместно да се сравнят със стари добре разработени статистически методи. В статистическата литература понякога може да се намери твърдението, че най-често използваните подходи на невронни мрежи не са нищо повече от неефективни регресионни и дискриминантни модели. Вече отбелязахме това преди многослойни невронни мрежинаистина може да реши проблеми като регресия и класификация. Въпреки това, първо, обработката на данни от невронни мрежи е много по-разнообразна - помнете, например, активна класификация чрез мрежи на Хопфийлд или карти на характеристиките на Кохонен, които нямат статистически аналози. Второ, много изследвания относно използването на невронни мрежи във финансите и бизнеса разкриха техните предимства пред разработените преди това статистически методи. Нека разгледаме по-подробно резултатите от сравняването на методите на невронните мрежи и математическата статистика.

Невронните мрежи език за описание ли са?

Както вече беше отбелязано, някои статистици твърдят, че подходите на невронните мрежи за обработка на данни са просто преоткрити и преформулирани, но са добре познати статистически методи за анализ. С други думи, неврокомпютърът просто използва нов език, за да опише стари знания. Като пример, ето цитат от Уорън Сърл:

Много изследователи на невронни мрежи са инженери, физици, неврофизиолози, психолози или компютърни учени, които знаят малко за статистиката и нелинейната оптимизация. Изследователите на невронни мрежи непрекъснато преоткриват методи, които са били известни в математическата и статистическата литература от десетилетия и векове, но често не успяват да разберат как работят тези методи.

Тази гледна точка на пръв поглед може да изглежда разумна. Формализмът на невронните мрежи наистина е в състояние да претендира за ролята на универсален език. Не е съвпадение, че още в пионерската работа на Маккълох и Питс беше показано, че описанието на невронната мрежа е еквивалентно на описанието на пропозиционалната логика.

Всъщност открих, че с техниката, която разработих през 1961 г. (...), мога лесно да отговоря на всички въпроси, които мозъчни експерти (...) или компютърни учени ми задават. Като физик обаче бях наясно, че една теория, която обяснява всичко, всъщност не обяснява нищо: в най-добрия случай това е език. Едуардо Каянело

Следователно не е изненадващо, че статистиците често откриват, че концепциите, с които са свикнали, имат своите двойници в теорията на невронните мрежи. Уорън Сърл е съставил малък речник на термините, използвани в тези две области.

Таблица 11.1. Речник на подобни термини

Невронни мрежи	Статистически методи.
знаци	променливи
входове	независими променливи
изходи	прогнозирани стойности
целеви стойности	зависими променливи
грешка	несъответствие
обучение, адаптация, самоорганизация	клас
функция за грешка, функция на Ляпунов	критерий за оценка
тренировъчни изображения (двойки)	наблюдения
мрежови параметри: тегла, прагове.	Очаквани параметри
неврони от висок ред	взаимодействия
функционални връзки	трансформация
контролирано обучение или хетероасоцииране	регресионен и дискриминантен анализ
неконтролирано обучение или автоасоцииране	компресиране на данни
конкурентно обучение, адаптивно векторно квантуване	клъстерен анализ
обобщение	интерполация и екстраполация

Каква е разликата между невронните мрежи и статистиката?

Да предположим, че сме направили наблюдения и сме измерили експериментално N двойки точки, представляващи функционалната зависимост. Ако се опитаме да начертаем най-добрата права линия през тези точки, което на езика на статистиката би означавало да използваме линеен модел за описание на неизвестната зависимост (където означава шума по време на наблюдението), тогава решението на съответния проблем с линейна регресия ще се сведе до намиране на прогнозните стойности на параметрите, минимизиране на сумата от квадратични остатъци.

Ако параметрите и са намерени, тогава е възможно да се оцени стойността на y за всяка стойност на x, тоест да се интерполират и екстраполират данните.

Същият проблем може да бъде решен с помощта на еднослойна мрежас един вход и един линеен изход неврон. Теглото на връзката a и прагът b могат да бъдат получени чрез минимизиране на същото количество остатък (което в този случай ще се нарича средна квадратична грешка) по време на мрежово обучение, например, като се използва методът на обратно разпространение. Свойството за обобщение на невронната мрежа след това ще се използва за прогнозиране на изходната стойност от входната стойност.

Ориз. 11.1.

Когато се сравняват тези два подхода, веднага прави впечатление, че когато се описват техните методи, статистиката се отнася до формули и уравнения, а неврокомпютингът до графично описание на невронни архитектури.

Ако си припомним, че лявото полукълбо работи с формули и уравнения, а дясното полукълбо работи с графични изображения, тогава можем да разберем, че в сравнение със статистиката отново се проявява „дясното полукълбо“ на подхода на невронната мрежа.

Друга съществена разлика е, че при статистическите методи няма значение как се минимизира несъответствието – във всеки случай моделът остава същият, докато при неврокомпютинга основна роля играе методът на обучение. С други думи, за разлика от подхода на невронната мрежа, оценката на параметрите на модела за статистически методи не зависи от метод на минимизиране. В същото време статистиците ще вземат предвид промените във формата на остатъка, да речем

Като фундаментална промяна в модела.

За разлика от невронно-мрежовия подход, при който основното време се отнема от обучението на мрежите, при статистическия подход това време се изразходва за задълбочен анализ на проблема. В същото време опитът на статистиците се използва за избор на модел въз основа на анализ на данни и информация, специфични за дадена област. Използването на невронни мрежи - тези универсални апроксиматори - обикновено се извършва без използване на априорни знания, въпреки че в някои случаи е много полезно. Например, за разглеждания линеен модел, използването на средната квадратична грешка води до получаване на оптимална оценка на неговите параметри, когато стойността на шума има нормално разпределение с една и съща вариация за всички тренировъчни двойки. В същото време, ако е известно, че тези вариации са различни, тогава се използва функцията за претеглена грешка

Може да даде значително по-добри стойности на параметрите.

Мрежата на Hopfield има очевидна връзка с клъстерирането на данни и факторния анализ.

Факторен анализизползвани за изследване на структурата на данните. Основната му предпоставка е допускането за съществуването на такива признаци - фактори, които не могат да бъдат наблюдавани директно, но могат да бъдат оценени от няколко наблюдаеми първични признаци. Така например характеристики като обема на производството и цената на дълготрайните активи могат да определят такъв фактор като мащаба на производството. За разлика от невронните мрежи, които изискват обучение, факторният анализ може да работи само с определен брой наблюдения. Въпреки че по принцип броят на такива наблюдения трябва да бъде само с едно по-голям от броя на променливите, се препоръчва използването на поне три пъти повече стойности. Това все още се счита за по-малко от размера на набора за обучение за невронната мрежа. Следователно, статистиците посочват предимството на факторния анализ при използването на по-малко данни и следователно в резултат на по-бързо генериране на модел. В допълнение, това означава, че прилагането на методите за факторен анализ изисква по-малко мощни изчислителни инструменти. Друго предимство на факторния анализ е, че той е метод на бялата кутия, т.е. напълно отворен и разбираем - потребителят може лесно да разбере защо моделът дава определен резултат. Връзката на факторния анализ с модела на Хопфийлд може да се види чрез запомняне на векторите минимална базаза набор от наблюдения (образи от паметта - виж Лекция 5). Именно тези вектори са аналози на факторите, които обединяват различните компоненти на векторите на паметта - първичните характеристики.

За определена история на наблюдение на пациенти е натрупан масив от данни, които се съхраняват в таблицата на системата STATISTICA. Изгледът на съответната таблица с данни е показан на фигура 6.

Фигура 6. Фрагмент от таблицата с първоначални данни

Целта на изследването е да се изгради модел на невронна мрежа, който на базата на даден набор от първоначални данни (данни от прегледи на пациенти, резултати от изследвания, лечение преди постъпване), на базата на предписаното лечение в болницата, да даде прогноза за неговото лечение (стойностите на прием в болница I-APFARA, BAB, BCC, диуретици, централно действащи лекарства) с достатъчна точност.

Фактът, че проблемът е нелинеен, не подлежи на съмнение. Разбира се, човек може да се опита да реши проблема с помощта на модула STATISTICA Nonlinear Estimation, а именно, използвайки итеративните процедури, предлагани от този модул, да "почувства" формата на функцията. Тук обаче има редица проблеми, които значително удължават процедурата за намиране на решение. Най-важното от тях е формулирането на хипотезата за явната форма на изследваната зависимост, която съвсем не е очевидна.

Без допълнителни изследвания е трудно да се каже нещо за явната форма на зависимост. Освен това трябва да се отбележи, че не взехме предвид още един фактор. Като цяло, решаването на такъв проблем чрез методи на нелинейна оценка може да отнеме много дълго време или може да не доведе до нищо. В такива критични ситуации, когато се знае, че

Има зависимост между променливите;

Връзката определено е нелинейна;

Трудно е да се каже нещо за явната форма на зависимост,

помогнете на алгоритмите на невронни мрежи. Нека разгледаме начин за решаване на този проблем в модула STATISTICA Neural Networks.

За съжаление няма универсални правила, които да казват каква топология на невронна мрежа трябва да се следва, за да се реши конкретен проблем. Следователно е необходима разумна процедура за намиране на желаната мрежа.

Модулът STATISTICA Neural Networks включва процедура, която организира търсенето на желаната мрежова конфигурация. Тази процедура се състои в изграждане и тестване на голям брой мрежи с различни архитектури и след това избор от тях на мрежата, която е най-подходяща за решаване на проблема. Този инструмент се нарича интелигентно решаване на проблеми. За да стартирате модул Невронни мрежи, трябва да използвате едноименната команда от главното меню на системата STATISTICA - Статистика. (снимка 7)

Фигура 7. Стартиране на модула за невронни мрежи

Следната теза е много разпространена: "невронните мрежи са универсална структура, която ви позволява да реализирате всеки алгоритъм." Нека се опитаме, сляпо вярвайки на това твърдение, да изградим невронна мрежа, която да "улови" предложената зависимост веднага (което означава, без предварителен проучвателен анализ).

Един от най-важните въпроси, който все още не е разрешен от съвременната наука, е въпросът за структурата на невронна мрежа, която би била в състояние да възпроизведе желаната многомерна нелинейна зависимост. Да, наистина, теоремата за пълнотата на Колмогоров, доказана от него през 1957 г., гласи, че невронната мрежа е в състояние да възпроизведе всяка (много важна - непрекъсната) функция. Въпреки това, той не предлага на изследователя рецепта за създаване на такава мрежа. През 1988 г. редица автори обобщиха теоремата на Колмогоров и показаха, че всяка непрекъсната функция може да бъде апроксимирана от трислойна невронна мрежа с един скрит слой и алгоритъм за обратно разпространение с всякаква степен на точност. По този начин в нашия случай положителният аспект е знанието, че мрежата трябва да бъде трислойна, но отново няма на разположение правила, които да установяват връзката между "всяка степен на точност" и броя на невроните в междинния , така нареченият скрит слой.

Обобщавайки всичко по-горе, отбелязваме, че няма универсални правила, които да казват каква топология на невронна мрежа трябва да се следва, за да се реши конкретен проблем. Следователно е необходима разумна процедура за намиране на желаната мрежа.

Модулът Neural Networks на STATISTICA включва уникална процедура, която организира търсенето на желаната мрежова конфигурация. Този инструмент се нарича интелигентно решаване на проблеми. Нека използваме този инструмент и да потърсим невронна мрежа, която ще може да реши нашия проблем.

Фигура 8. Стартова площадка на модула за невронни мрежи

В раздела Бързо (Бързо) на този диалогов прозорец, в секцията Тип на проблема, се предлага да изберете класа проблеми, с които се сблъскваме. Нашата цел е да изградим многовариантна връзка или, с други думи, многовариантна нелинейна регресия. Така че в секцията Тип проблем трябва да посочите Регресия (Регресия).

След като се определи класът задачи, е необходимо да се уточнят променливите за анализа. За да изберете променливи, използвайте бутона Променливи. Когато щракнете върху този бутон, се появява диалоговият прозорец Избор на входни (независими), изходни (зависими) и променливи за избор. В този диалогов прозорец трябва да зададете два списъка с променливи. Непрекъснати изходи (Continuous outputs), в нашия случай, са променливите Приемане в болница АСЕ инхибитор / ARA, Приемане в болница BAB, Приемане в болница CCB, Приемане в болница диуретици и Приемане в болница централно действащи лекарства. Непрекъснатите входове (Continuous incoming), в нашия пример, са от 1 до 61 първоначални параметъра.

Фигура 9. Избор на променливи за анализ

В раздела Избор на анализ са налични две опции: Интелигентно решаване на проблеми и Персонализиран мрежов дизайнер. Автоматичният избор на параметри на невронната мрежа изисква първата опция, която е зададена по подразбиране. За да продължите анализа, натиснете бутона OK.

В следващата стъпка се появява диалоговият прозорец за настройка на процедурата за интелигентно решаване на проблеми.

Бързият раздел съдържа група от опции, които отговарят за времето за изпълнение на алгоритъма за търсене на невронна мрежа. В този раздел трябва да зададете броя на мрежите, които трябва да бъдат тествани (за да разберете дали са подходящи за решаване на формулирания проблем), както и да посочите колко от тези мрежи ще бъдат включени в окончателния отчет.

В секцията Тествани мрежи (Брой тествани мрежи) ще посочим 100, Запазени мрежи (Брой запазени мрежи) - 10 (Фигура 10)

Разделът Типове показва кои типове невронни мрежи ще се използват в процеса на тестване. Многослоен перцептрон е най-подходящ за решаване на проблема с нелинейната регресия, така че ние избираме мрежите, отбелязани на Фигура 11.

Фигура 10. Задаване на броя на тестваните мрежи

Фигура 11. Избор на мрежова архитектура

Освен това, за да се организира процесът на изброяване и тестване, е необходимо да се определи диапазонът на промяна в броя на невроните във всеки слой на невронната мрежа. Препоръчителните стойности за тази задача са показани на фигура 12.

Фигура 12. Задаване на размерите на обучителните, контролните и тестовите проби

Сега, след като зададете всички параметри на обучение, за да започнете процедурата за търсене на мрежа, трябва да щракнете върху бутона OK.

Състоянието на алгоритъма за търсене се показва в диалоговия прозорец IPS Training In Progress.

По време на работа на алгоритъма за търсене на подходяща невронна мрежа този диалогов прозорец дава информация за времето за изпълнение на алгоритъма, както и за разглежданите невронни мрежи. Целта на алгоритъма за търсене е да изброи редица конфигурации на невронни мрежи и да избере най-добрата от гледна точка на минималната грешка на изхода на мрежата и максималната производителност.

Хареса ли ви статията? Сподели го

Отпечатайте статия