Alternativas para reemplazar STATISTICA. Redes neuronales

STATISTICA Automated Neural Networks es el único producto de software de redes neuronales del mundo que está completamente traducido al ruso.

Las metodologías de redes neuronales están cada vez más extendidas en una variedad de campos, desde la investigación fundamental hasta aplicaciones prácticas de análisis de datos, negocios, industria, etc.

es uno de los productos de redes neuronales más avanzados y eficaces del mercado. Ofrece muchos beneficios únicos y características ricas. Por ejemplo, las capacidades únicas de la herramienta de búsqueda automática de redes neuronales, , permiten que el sistema sea utilizado no sólo por expertos en redes neuronales, sino también por principiantes en el campo de la informática de redes neuronales.

¿Cuáles son las ventajas de usar? ?

Preprocesamiento y posprocesamiento, incluida la selección de datos, codificación nominal, escalado, normalización, eliminación de datos faltantes con interpretación para problemas de clasificación, regresión y series de tiempo;

Facilidad de uso excepcional y potencia analítica inigualable; por ejemplo, una herramienta única de búsqueda automática de redes neuronales Red neuronal automatizada (ANN) guiará al usuario a través de todas las etapas de la creación de varias redes neuronales y seleccionará la mejor (de lo contrario, esta tarea se resuelve mediante un largo proceso de "prueba y error" y requiere un conocimiento serio de la teoría);

Los algoritmos de entrenamiento de redes más modernos, optimizados y potentes (incluidos métodos de gradiente conjugado, algoritmo de Levenberg-Marquardt, BFGS, algoritmo de Kohonen); control total sobre todos los parámetros que afectan la calidad de la red, como funciones de activación y error, complejidad de la red;

Soporte para conjuntos de redes neuronales y arquitecturas de redes neuronales de tamaño casi ilimitado;

Ricas capacidades gráficas y estadísticas que facilitan el análisis exploratorio interactivo;

Integración total con el sistema. ESTADÍSTICA; Todos los resultados, gráficos, informes, etc. se pueden modificar aún más utilizando potentes herramientas gráficas y analíticas. ESTADÍSTICA(por ejemplo, para analizar los residuos previstos, crear un informe detallado, etc.);

Integración perfecta con potentes herramientas automatizadas ESTADÍSTICA; grabar macros completas para cualquier análisis; crear sus propios análisis y aplicaciones de redes neuronales utilizando ESTADÍSTICA Desafío visual básico STATISTICA Redes neuronales automatizadas desde cualquier aplicación que admita tecnología COM (por ejemplo, análisis automático de redes neuronales en una hoja de cálculo de MS Excel o combinación de varias aplicaciones personalizadas escritas en C, C++, C#, Java, etc.).

Una selección de las arquitecturas de red más populares, incluidos perceptrones multicapa, funciones de base radial y mapas de funciones autoorganizados.
Herramienta disponible Búsqueda automática de red, que le permite construir automáticamente varias arquitecturas de redes neuronales y regular su complejidad.
Preservación de las mejores redes neuronales.

Admite varios tipos de análisis estadístico y construcción de modelos predictivos, incluyendo regresión, clasificación, series de tiempo con variable dependiente continua y categórica, análisis de conglomerados para reducción de dimensionalidad y visualización.

Admite carga y análisis de múltiples modelos.

Capacidad opcional para generar código fuente en C, C++, C#, Java, PMML (Predictive Model Markup Language), que puede integrarse fácilmente en un entorno externo para crear sus propias aplicaciones.

Generador de códigos

Generador de códigos STATISTICA Redes neuronales automatizadas Puede generar código de programa de sistema fuente para modelos de redes neuronales en C, Java y PMML (Lenguaje de marcado de modelos predictivos). El generador de códigos es una aplicación adicional al sistema. STATISTICA Redes neuronales automatizadas, que permite a los usuarios, a partir del análisis de redes neuronales, generar un archivo C o Java con el código fuente de los modelos e integrarlo en aplicaciones externas independientes.

El generador de código requiere STATISTICA Redes neuronales automatizadas.

Genera una versión del código fuente de la red neuronal (como un archivo en C, C++, C# o Java).

El archivo de código C o Java se puede incrustar en programas externos.

ESTADÍSTICAAutomatizado Redes neuronales en computación de redes neuronales

El uso de redes neuronales implica mucho más que simplemente procesar datos utilizando métodos de redes neuronales.

ESTADÍSTICA Redes neuronales automatizadas (SANN) proporciona una variedad de funcionalidades para trabajar con tareas muy complejas, incluidas no solo las últimas Arquitecturas de redes neuronales Y Algoritmos de aprendizaje, pero también nuevos enfoques para la construcción de arquitecturas de redes neuronales con la capacidad de enumerar varias funciones de activación y error, lo que facilita la interpretación de los resultados. Además, los desarrolladores de software y los usuarios que experimenten con la configuración de la aplicación apreciarán el hecho de que después de realizar experimentos específicos en una interfaz simple e intuitiva ESTADÍSTICA Redes neuronales automatizadas (SANN) Los análisis de redes neuronales se pueden combinar en una aplicación personalizada. Esto se puede lograr utilizando la biblioteca de funciones COM ESTADÍSTICA, que refleja completamente toda la funcionalidad del programa, o usando código en C/C++, que es generado por el programa y ayuda a ejecutar una red neuronal completamente entrenada.

Módulo STATISTICA Redes neuronales automatizadas Totalmente integrado con el sistema. ESTADÍSTICA Por lo tanto, está disponible una gran selección de herramientas para editar (preparar) datos para el análisis (transformaciones, condiciones para seleccionar observaciones, herramientas de verificación de datos, etc.).

Como todas las pruebas ESTADÍSTICA, el programa se puede "conectar" a una base de datos remota utilizando herramientas de procesamiento locales, o vincularse a datos en vivo para que los modelos se entrenen o ejecuten (por ejemplo, para calcular valores predichos o clasificación) automáticamente cada vez que los datos cambian. .

Escalado de datos y conversión de valores nominales.

Antes de ingresar datos a la red, se deben preparar de cierta manera. Es igualmente importante que los datos de salida puedan interpretarse correctamente. EN ESTADÍSTICA Redes neuronales automatizadas (SANN) es posible escalar automáticamente los datos de entrada y salida; Las variables con valores nominales también se pueden recodificar automáticamente (por ejemplo, Género = (Masculino, Femenino)), incluido el uso del método de codificación 1 de N. ESTADÍSTICA Redes neuronales automatizadas (SANN) También contiene herramientas para trabajar con datos faltantes. Existen herramientas de preparación e interpretación de datos diseñadas específicamente para el análisis de series temporales. También se implementa una amplia variedad de herramientas similares en ESTADÍSTICA.

En problemas de clasificación, es posible establecer intervalos de confianza que ESTADÍSTICA Redes neuronales automatizadas (SANN) Luego se utiliza para asignar observaciones a una clase u otra. En combinación con un especial implementado en ESTADÍSTICA Redes neuronales automatizadas (SANN) la función de activación Softmax y las funciones de error de entropía cruzada proporcionan un enfoque teórico de probabilidad fundamental para los problemas de clasificación.

Seleccionar un modelo de red neuronal, conjuntos de redes neuronales.

La variedad de modelos de redes neuronales y los numerosos parámetros que deben configurarse (tamaños de red, parámetros de algoritmos de aprendizaje, etc.) pueden confundir a algunos usuarios. Pero es por eso que existe una herramienta de búsqueda automática de redes neuronales, , que puede buscar automáticamente una arquitectura de red adecuada de cualquier complejidad, ver más abajo. en el sistema ESTADÍSTICA Redes neuronales automatizadas (SANN) Se han implementado todos los tipos principales de redes neuronales utilizadas para resolver problemas prácticos, incluidos:

perceptrones multicapa (redes con transmisión directa de señales);

redes basadas en funciones de base radial;

mapas de Kohonen autoorganizados.

Las arquitecturas anteriores se utilizan en problemas de regresión, clasificación, series temporales (con variable dependiente continua o categórica) y agrupamiento.

Además, en el sistema ESTADÍSTICA Redes neuronales automatizadas (SANN) implementado Conjuntos de red, formado a partir de combinaciones aleatorias (pero significativas) de las redes anteriores. Este enfoque es especialmente útil para datos ruidosos y de baja dimensión.

En el paquete ESTADÍSTICA Redes neuronales automatizadas (SANN) Hay numerosas herramientas disponibles para ayudar al usuario a seleccionar una arquitectura de red adecuada. Las herramientas estadísticas y gráficas del sistema incluyen histogramas, matrices y gráficos de error para toda la población y para observaciones individuales, datos finales sobre clasificación correcta/incorrecta y todas las estadísticas importantes, por ejemplo, la proporción de varianza explicada, se calculan automáticamente.

Para visualizar datos en un paquete ESTADÍSTICA Redes neuronales automatizadas (SANN) Se implementan diagramas de dispersión y superficies de respuesta 3D para ayudar al usuario a comprender el "comportamiento" de la red.

Por supuesto, puede utilizar cualquier información obtenida de las fuentes enumeradas para realizar análisis adicionales por otros medios. ESTADÍSTICA, así como para su posterior inclusión en informes o para su personalización.

ESTADÍSTICA Redes neuronales automatizadas (SANN) recuerda automáticamente la mejor opción de red entre las que recibió mientras experimentaba con la tarea y puede consultarla en cualquier momento. La utilidad de la red y su capacidad predictiva se prueban automáticamente en un conjunto especial de observaciones, así como estimando el tamaño de la red, su eficiencia y el costo de una clasificación errónea. Implementado en ESTADÍSTICA Redes neuronales automatizadas (SANN) Los procedimientos automáticos de validación cruzada y regularización de peso le permiten determinar rápidamente si su red es demasiado o demasiado complicada para una tarea determinada.

Para mejorar el rendimiento en el paquete. STATISTICA Redes neuronales automatizadas Se presentan numerosas opciones de configuración de red. Por lo tanto, puede especificar una capa de red de salida lineal en problemas de regresión o una función de activación softmax en problemas de clasificación y estimación probabilística. El sistema también implementa funciones de error de entropía cruzada basadas en modelos de teoría de la información y una serie de funciones de activación especiales, incluidas funciones idénticas, exponenciales, hiperbólicas, logísticas (sigmoideas) y sinusoidales para neuronas ocultas y de salida.

Red neuronal automatizada (búsqueda y selección automática de varias arquitecturas de redes neuronales)

parte del paquete ESTADÍSTICA Redes neuronales automatizadas (SANN) es una herramienta de búsqueda automática de redes neuronales, Red neuronal automatizada (ANN) - Búsqueda de red automatizada (ANS), que evalúa muchas redes neuronales de diferente arquitectura y complejidad y selecciona las redes de la mejor arquitectura para una tarea determinada.

Al crear una red neuronal, se dedica un tiempo considerable a seleccionar las variables apropiadas y optimizar la arquitectura de la red mediante la búsqueda heurística. ESTADÍSTICA Redes neuronales automatizadas (SANN) se hace cargo de este trabajo y automáticamente realiza una búsqueda heurística para usted. Este procedimiento tiene en cuenta la dimensión de entrada, el tipo de red, las dimensiones de la red, las funciones de activación e incluso las funciones de error de salida requeridas.

Es una herramienta extremadamente eficaz cuando se utilizan técnicas complejas, lo que le permite encontrar automáticamente la mejor arquitectura de red. En lugar de pasar horas sentado frente a su computadora, deje que el sistema ESTADÍSTICA Redes neuronales automatizadas (SANN) haz este trabajo por ti.

El éxito de sus experimentos para encontrar el mejor tipo de red y arquitectura depende significativamente de la calidad y velocidad de los algoritmos de aprendizaje de la red. en el sistema ESTADÍSTICA Redes neuronales automatizadas (SANN) Se han implementado los mejores algoritmos de entrenamiento hasta la fecha.

en el sistema ESTADÍSTICA Redes neuronales automatizadas (SANN) Se han implementado dos algoritmos rápidos de segundo orden: métodos de gradiente conjugado y el algoritmo BFGS. Este último es un algoritmo de optimización no lineal moderno extremadamente potente y los expertos recomiendan encarecidamente su uso. También existe una versión simplificada del algoritmo BFGS que requiere menos memoria, que el sistema utiliza cuando las capacidades de RAM de la computadora son bastante limitadas. Estos algoritmos tienden a converger más rápido y producir una solución más precisa que los algoritmos precisos de primer orden, como Gradient Descent.

Proceso iterativo de entrenamiento de redes en el sistema. ESTADÍSTICA Redes neuronales automatizadas (SANN) va acompañado de una visualización automática del error de entrenamiento actual y el error calculado de forma independiente en el conjunto de prueba, y también se muestra un gráfico del error total. Puedes interrumpir el entrenamiento en cualquier momento simplemente pulsando un botón. Además, es posible establecer condiciones de parada bajo las cuales se interrumpirá el entrenamiento; tal condición puede ser, por ejemplo, el logro de un cierto nivel de error o un aumento estable en el error de prueba durante un número determinado de pasadas: "épocas" (lo que indica el llamado reentrenamiento de la red). Si se produce un sobreajuste, al usuario no debería importarle: ESTADÍSTICA Redes neuronales automatizadas (SANN) recuerda automáticamente una instancia de la mejor red obtenida durante el proceso de capacitación, y siempre se puede acceder a esta opción de red haciendo clic en el botón correspondiente. Una vez finalizada la capacitación de la red, puede verificar la calidad de su trabajo en un equipo de prueba separado.

Una vez entrenada la red, es necesario comprobar la calidad de su trabajo y determinar sus características. Para ello en el paquete. ESTADÍSTICA Redes neuronales automatizadas (SANN) Hay un conjunto de estadísticas en pantalla y herramientas gráficas.

En el caso de que se especifiquen varios modelos (redes y conjuntos), entonces (si es posible) ESTADÍSTICA Redes neuronales automatizadas (SANN) mostrará resultados comparativos (por ejemplo, trazar curvas de respuesta de varios modelos en un gráfico o presentar predictores de varios modelos en una tabla). Esta propiedad es muy útil para comparar diferentes modelos entrenados con el mismo conjunto de datos.

Todas las estadísticas se calculan por separado para los conjuntos de entrenamiento, validación y prueba o en cualquier combinación de ellos, a discreción del usuario.

Las siguientes estadísticas resumidas se calculan automáticamente: el error cuadrático medio de la red, la llamada matriz de confusión para problemas de clasificación (donde se suman todos los casos de clasificación correcta e incorrecta) y correlaciones para problemas de regresión. La red Kohonen cuenta con una ventana de Mapa Topológico en la que se pueden observar visualmente las activaciones de los elementos de la red.

Soluciones listas para usar (aplicaciones personalizadas que utilizan STATISTICA Redes neuronales automatizadas)

Interfaz de sistema simple y conveniente ESTADÍSTICA Redes neuronales automatizadas (SANN) le permite crear rápidamente aplicaciones de redes neuronales para resolver sus problemas.

Puede haber una situación en la que sea necesario integrar estas soluciones en un sistema existente, por ejemplo, para hacerlas parte de un entorno informático más amplio (estos pueden ser procedimientos desarrollados por separado e integrados en el sistema informático corporativo).

Las redes neuronales entrenadas se pueden aplicar a nuevos conjuntos de datos (para predicción) de varias maneras: puede guardar las redes entrenadas y luego aplicarlas a un nuevo conjunto de datos (para predicción, clasificación o pronóstico); Puede usar un generador de código para generar automáticamente código de programa en C (C++, C#) o Visual Basic y luego usarlo para predecir nuevos datos en cualquier entorno de programación de Visual Basic o C++ (C#), es decir, incrustar una red neuronal completamente entrenada en su solicitud. En conclusión, toda la funcionalidad del sistema. ESTADÍSTICA, incluido ESTADÍSTICA Redes neuronales automatizadas (SANN), se pueden utilizar como objetos COM (Modelo de objetos componentes) en otras aplicaciones (por ejemplo, Java, MS Excel, C#, VB.NET, etc.). Por ejemplo, puede implementar un análisis automatizado creado utilizando ESTADÍSTICA Redes neuronales automatizadas (SANN) en tablas de MS Excel.

Lista de algoritmos de aprendizaje

Descenso de gradiente

gradientes conjugados

entrenamiento kohonen

Método K-Means para red de función de base radial

Restricciones de tamaño de red

Una red neuronal puede ser de casi cualquier tamaño (es decir, sus dimensiones pueden ser muchas veces mayores de lo que es realmente necesario y razonable); para una red de perceptrones multicapa, se permite una capa oculta de neuronas. De hecho, para cualquier tarea práctica, el programa está limitado únicamente por las capacidades del hardware de la computadora.

Manual electrónico

Como parte del sistema ESTADÍSTICA Redes neuronales automatizadas (SANN) Existe un libro de texto bien ilustrado que proporciona una introducción completa y clara a las redes neuronales, así como ejemplos. Un sistema de ayuda detallada y contextual está disponible desde cualquier cuadro de diálogo.

Generador de código fuente

El generador de código fuente es un producto adicional que permite a los usuarios crear fácilmente sus propias aplicaciones basadas en el sistema. ESTADÍSTICA Redes neuronales automatizadas (SANN). Este producto adicional crea el código fuente del sistema del modelo de red neuronal (como un archivo en C, C++, C# o Java), que puede compilarse por separado e integrarse en su programa para su distribución gratuita. Este producto está diseñado específicamente para desarrolladores de sistemas empresariales, así como para aquellos usuarios que necesitan transformar procedimientos altamente optimizados creados en ESTADÍSTICA Redes neuronales automatizadas (SANN), en aplicaciones externas para resolver problemas analíticos complejos. (Cabe señalar que para obtener permiso, los usuarios deben informar a los empleados de Sitesia sobre la distribución de programas utilizando el código generado).

En STATISTICA, el problema de pronóstico continuo se representa como un problema de regresión. En el contexto de este problema, una red neuronal se considera una función no lineal, cuya complejidad se controla "semiparamétricamente": la cantidad de elementos en la red afecta la complejidad de la solución, pero, por supuesto, el analista No puedo ver la forma explícita de la función de regresión.

Es necesario construir una red neuronal que calcule la emisión de plomo a la atmósfera en función del número y tipo de transporte que pasa. Los datos se almacenan en el archivo Lead.xls.

Abra el archivo Svinets.xls en el paquete Statistica. Aparece la ventana Abrir archivo.

Arroz. 4. 33. Ventana de importación.

Debes seleccionar la opción “Importar hoja seleccionada” y seleccionar el nombre de la hoja de datos:

Arroz. 4. 34. Seleccionar una hoja de Excel para importarla al paquete Statistica.

En la siguiente ventana, debe especificar los parámetros de datos reales, que, por regla general, se determinan y se muestran automáticamente (excepto las tres últimas casillas de verificación).

Arroz. 4. 35. Configuración del área de importación.

Después de esto, los datos importados se mostrarán en la ventana.

Arroz. 4. 36. Importar resultados.

Ejecute el paquete de análisis utilizando redes neuronales. Para hacer esto, seleccione "Redes neuronales" en el menú "Análisis".

Arroz. 4. 37. Selección de un método de procesamiento de datos: "red neuronal".

después de lo cual aparecerá la ventana del paquete STATISTICA Neural Networks:

Arroz. 4. 38. Ventana de inicio para el análisis de “redes neuronales”.

Vaya a la pestaña "Rápido", donde debe configurar el tipo de tarea - Regresión y la herramienta - Diseñador de red.

Arroz. 4. 39. Lanzamiento del diseñador de redes neuronales.

A continuación, al presionar el botón "OK", cambiará al modo para seleccionar variables de salida (dependientes) y de entrada (independientes). Seleccionamos "Líder" como el primero, y el número de coches de todas las categorías como los últimos. Las columnas "No" y "Calle" no se utilizan.

Arroz. 4. 40. Seleccionar datos de entrada y salida para una red neuronal.

Al hacer clic en "Aceptar", volverá a la pestaña "Rápido". Luego, al hacer clic nuevamente en el botón "Aceptar", accederá a la ventana de formación de la red neuronal. En la pestaña "Rápido", debe seleccionar el tipo de red: perceptrón multicapa,

Arroz. 4. 41. Seleccionar el tipo de red neuronal.

y en la pestaña "Elementos" puede especificar el número requerido de capas, el número de neuronas en cada una, así como el tipo de función de activación:

Arroz. 4. 42. Establecer el número de capas y tipos de neuronas.

Arroz. 4. 43. Elegir un método para entrenar una red neuronal.

Aquí, al hacer clic en el botón "Muestras", puede establecer la cantidad de ejemplos de entrenamiento, control y prueba. Si establece el número de ejemplos de prueba y control en cero, la red se entrenará utilizando todos los ejemplos:

Arroz. 4. 44. Determinar datos para entrenamiento y pruebas.

Volviendo a la ventana principal de capacitación, puede hacer clic en el botón “Usuario” e ir a la pestaña “Interactivo”, solicitar que el proceso de capacitación se refleje en forma de gráfico:

Arroz. 4. 45. Especificar el tipo de gráfico para demostrar el proceso de aprendizaje.

Finalmente, al hacer clic en el botón “Aceptar”, iniciarás el proceso de aprendizaje, cuyo resultado se mostrará en el gráfico:

Arroz. 4. 46. Entrenamiento de una red neuronal.

Al hacer clic en el botón “Aceptar”, accederá a la ventana de resultados, donde podrá estudiar las distintas características de la red creada moviéndose por las pestañas de la ventana:

Arroz. 4. 47. Resultados del modelado de redes neuronales.

Entonces, por ejemplo, en la pestaña "Avanzado" hay un botón "Arquitectura de red", al hacer clic en él puede ver la topología de la red construida:

Arroz. 4. 48. Vista de la red neuronal construida.

así como el botón “Observaciones del usuario”, donde podrá darle a la red nuevos datos iniciales y recibir respuesta de una red ya entrenada.

¿Cuáles son las similitudes y diferencias entre los lenguajes de la neurocomputación y la estadística en el análisis de datos? Veamos un ejemplo sencillo.

Supongamos que tenemos observaciones y medido experimentalmente norte pares de puntos que representan una relación funcional. Si intenta trazar la mejor línea recta a través de estos puntos, lo que en el lenguaje estadístico significaría usar para describir la dependencia desconocida Modelo lineal

(donde denota ruido durante la observación), entonces la solución al problema correspondiente regresión lineal se reducirá a encontrar los valores estimados de los parámetros que minimizan la suma de cuadráticas derechos residuales de autor.

Si se encuentran los parámetros, entonces se puede estimar el valor. y por cualquier valor X, es decir, implementar interpolación Y extrapolación datos.

El mismo problema se puede resolver utilizando una red de una sola capa con una sola entrada y un solo lineal neurona de salida. Peso del enlace a y umbral b se puede obtener minimizando el mismo valor del residual (que en este caso se llamará raíz cuadrática media error) durante capacitación redes, por ejemplo utilizando el método de retropropagación. Propiedad de una red neuronal generalización Luego se utilizará para predecir el valor de salida a partir del valor de entrada.

Figura 25. Regresión lineal y el perceptrón monocapa que la implementa.

Al comparar estos dos enfoques, lo que inmediatamente llama la atención es que al describir sus métodos, la estadística apela a fórmulas Y ecuaciones y la neurocomputación para descripción gráfica de arquitecturas neuronales.

1 Si recordamos que el hemisferio izquierdo opera con fórmulas y ecuaciones, y el hemisferio derecho con imágenes gráficas, entonces podemos entender que, en comparación con las estadísticas, “ hemisferio derecho”Enfoque de red neuronal.

Otra diferencia significativa es que para los métodos estadísticos no importa cómo se minimice la discrepancia; en cualquier caso modelo sigue siendo el mismo, mientras que para la neurocomputación el papel principal lo desempeña método de enseñanza. En otras palabras, a diferencia del enfoque de redes neuronales, la estimación de los parámetros del modelo para métodos estadísticos no depende del método de minimización. Al mismo tiempo, los estadísticos considerarán cambios en el tipo de residuo, digamos por

Cómo cambio fundamental en el modelo.

A diferencia del enfoque de redes neuronales, en el que la mayor parte del tiempo se dedica a entrenar redes, en el enfoque estadístico este tiempo se dedica a un análisis exhaustivo del problema. Esto utiliza la experiencia de los estadísticos para seleccionar un modelo basado en el análisis de datos e información específicos del campo. El uso de redes neuronales, estos aproximadores universales, generalmente se realiza sin el uso de conocimientos a priori, aunque en algunos casos resulta muy útil. Por ejemplo, para el modelo lineal considerado, el uso del error cuadrático medio conduce a obtener una estimación óptima de sus parámetros cuando el valor del ruido tiene una distribución normal con la misma varianza para todos los pares de entrenamiento. Al mismo tiempo, si se sabe que estas dispersiones son diferentes, entonces el uso ponderado funciones de error

puede dar valores de parámetros significativamente mejores.

Además del modelo más simple considerado, podemos dar ejemplos de otros modelos, en cierto sentido, equivalentes de estadísticas y paradigmas de redes neuronales.

Tabla 3. Técnicas similares

La red Hopfield tiene una conexión obvia con la agrupación de datos y el análisis factorial.

1 Análisis factorial usado para estudiar estructuras datos. Su premisa principal es la suposición de la existencia de tales signos: factores, que no se puede observar directamente, pero se puede evaluar mediante varias características primarias observables. Por ejemplo, signos como volumen de producción Y costo de los activos fijos, puede determinar un factor como escala de producción. A diferencia de las redes neuronales, que requieren entrenamiento, el análisis factorial solo puede funcionar con un cierto número de observaciones. Aunque, en principio, el número de tales observaciones sólo debe ser uno mayor que el número de variables, se recomienda utilizar al menos tres veces el número de valores. Esto todavía se considera menor que el tamaño de la muestra de entrenamiento para la red neuronal. Por lo tanto, los estadísticos señalan la ventaja del análisis factorial al utilizar menos datos y, por lo tanto, generar una generación de modelos más rápida. Además, esto significa que la implementación de métodos de análisis factorial requiere herramientas informáticas menos potentes. Otra ventaja del análisis factorial es que es un método de caja blanca, es decir. Completamente abierto y comprensible: el usuario puede comprender fácilmente por qué el modelo produce un resultado particular. La conexión entre el análisis factorial y el modelo de Hopfield se puede ver recordando los vectores de base mínimos para un conjunto de observaciones (imágenes de memoria; consulte el Capítulo 5). Son estos vectores los que son análogos de los factores que unen varios componentes de los vectores de memoria: las características primarias.

1 Regresión logística Es un método de clasificación binaria ampliamente utilizado en la toma de decisiones financieras. Permite estimar la probabilidad de realización (o no realización) de algún evento en función de los valores de algunas variables independientes - predictores: x 1,...,x N. En el modelo de regresión logística, esta probabilidad tiene la forma analítica: Pr( X) =(1+exp(-z)) -1, donde z = a 0 + a 1 x 1 +...+ a N x N. Su análogo de red neuronal es obviamente un perceptrón de una sola capa con una neurona de salida no lineal. En aplicaciones financieras, se prefiere la regresión logística a la regresión lineal multivariable y al análisis discriminante por varias razones. En particular, garantiza automáticamente que la probabilidad pertenezca al intervalo e impone menos restricciones a la distribución de los valores predictivos. Esto último es muy importante, ya que la distribución de los valores de los indicadores financieros que tienen forma de ratios no suele ser normal y está “muy sesgada”. La ventaja de las redes neuronales es que esta situación no les supone un problema. Además, las redes neuronales son insensibles a la correlación de los valores de los predictores, mientras que los métodos para estimar los parámetros del modelo de regresión en este caso a menudo dan valores inexactos.

Anotación: Redes neuronales y estadística. Redes neuronales y lógica difusa. Redes neuronales y sistemas expertos. Redes neuronales y física estadística.

Los animales se dividen en:

perteneciente al Emperador,

embalsamado,

domesticado,

retoños,

sirenas,

fabuloso,

perros individuales,

incluidos en esta clasificación,

corriendo como loco

incontable,

pintado con el más fino pincel de pelo de camello,

otros,

rompió un florero,

Desde lejos parecen moscas.

H. L. Borges, "El lenguaje analítico de John Wilkins"

La neurocomputación tiene numerosos puntos de contacto con otras disciplinas y sus métodos. En particular, la teoría de las redes neuronales utiliza los aparatos de la mecánica estadística y la teoría de la optimización. Los campos de aplicación de la neurocomputación a veces se superponen o casi coinciden con los campos de aplicación de la estadística matemática, la teoría de conjuntos difusos y los sistemas expertos. Las conexiones y paralelos de la neurocomputación son extremadamente diversos e indican su universalidad. En esta lección, que puede considerarse adicional, ya que requiere algo más de preparación matemática, hablaremos sólo de las más importantes.

Redes neuronales y estadísticas.

Dado que las redes neuronales se utilizan ahora con éxito para el análisis de datos, resulta apropiado compararlas con métodos estadísticos más antiguos y bien desarrollados. En la literatura estadística, a veces se puede encontrar la afirmación de que los enfoques de redes neuronales más utilizados no son más que modelos discriminantes y de regresión ineficaces. Ya lo hemos señalado antes redes neuronales multicapa De hecho, puede resolver problemas como la regresión y la clasificación. Sin embargo, en primer lugar, el procesamiento de datos mediante redes neuronales es mucho más diverso; recordemos, por ejemplo, la clasificación activa mediante redes de Hopfield o mapas de características de Kohonen, que no tienen análogos estadísticos. En segundo lugar, muchos estudios sobre el uso de redes neuronales en las finanzas y los negocios han revelado sus ventajas sobre los métodos estadísticos desarrollados anteriormente. Echemos un vistazo más de cerca a los resultados de comparar los métodos de redes neuronales y estadísticas matemáticas.

¿Son las redes neuronales un lenguaje de descripción?

Como se señaló, algunos estadísticos sostienen que los enfoques de redes neuronales para el procesamiento de datos son simplemente redescubiertos y reformulados, pero son métodos de análisis estadísticos bien conocidos. En otras palabras, la neurocomputación simplemente utiliza un nuevo lenguaje para describir conocimientos antiguos. Como ejemplo, aquí hay una cita de Warren Searle:

Muchos investigadores de redes neuronales son ingenieros, físicos, neurocientíficos, psicólogos o informáticos que saben poco sobre estadística y optimización no lineal. Los investigadores de redes neuronales redescubren constantemente métodos que se conocen en la literatura matemática y estadística durante décadas y siglos, pero a menudo se encuentran incapaces de comprender cómo funcionan.

Este punto de vista, a primera vista, puede parecer razonable. El formalismo de las redes neuronales realmente puede pretender ser un lenguaje universal. No es casualidad que ya en el trabajo pionero de McCulloch y Pitts se demostrara que una descripción de una red neuronal equivale a una descripción de la lógica proposicional.

De hecho, descubrí que con la técnica que desarrollé en el artículo de 1961 (...), podía responder fácilmente a todas las preguntas que me hacían los neurocientíficos (...) o los informáticos. Sin embargo, como físico sabía bien que una teoría que lo explica todo en realidad no explica nada: en el mejor de los casos es un lenguaje. Eduardo Cayanello

No sorprende, por tanto, que los estadísticos descubran a menudo que conceptos con los que están familiarizados tienen sus análogos en la teoría de redes neuronales. Warren Searle ha compilado un pequeño glosario de términos utilizados en estas dos áreas.

Tabla 11.1. Glosario de términos similares

Redes neuronales	Métodos de estadística.
Señales	variables
entradas	variables independientes
salidas	valores predichos
valores objetivo	variables dependientes
error	residual
formación, adaptación, autoorganización	calificación
función de error, función de Lyapunov	criterio de evaluación
imágenes de entrenamiento (pares)	observaciones
Parámetros de red: pesos, umbrales.	Parámetros estimados
neuronas de alto orden	interacción
conexiones funcionales	transformación
aprendizaje supervisado o heteroasociación	regresión y análisis discriminante
aprendizaje no supervisado o asociación automática	compresión de datos
aprendizaje competitivo, cuantificación vectorial adaptativa	análisis de conglomerados
generalización	interpolación y extrapolación

¿Cuál es la diferencia entre redes neuronales y estadísticas?

¿Cuáles son las similitudes y diferencias entre los lenguajes de la neurocomputación y la estadística en el análisis de datos? Veamos un ejemplo sencillo.

Supongamos que hemos realizado observaciones y medido experimentalmente N pares de puntos que representan la dependencia funcional. Si intentamos trazar la mejor línea recta a través de estos puntos, lo que en el lenguaje estadístico significaría usar un modelo lineal para describir la dependencia desconocida (donde denota el ruido durante la observación), entonces resolver el problema de regresión lineal correspondiente será reducido a encontrar los valores estimados de los parámetros que minimizan la suma de residuos cuadráticos.

Si se encuentran los parámetros, entonces es posible estimar el valor de y para cualquier valor de x, es decir, interpolar y extrapolar los datos.

El mismo problema se puede resolver usando red de una sola capa con una única neurona de entrada y una única salida lineal. El peso de la conexión a y el umbral b se pueden obtener minimizando la misma cantidad de residuo (que en este caso se denominará error cuadrático medio) durante el entrenamiento de la red, por ejemplo, utilizando el método de retropropagación. La propiedad de generalización de la red neuronal se utilizará para predecir el valor de salida a partir del valor de entrada.

Arroz. 11.1.

Al comparar estos dos enfoques, lo que inmediatamente llama la atención es que al describir sus métodos, la estadística apela a fórmulas y ecuaciones, y la neurocomputación se refiere a una descripción gráfica de arquitecturas neuronales.

Si recordamos que el hemisferio izquierdo opera con fórmulas y ecuaciones, y el hemisferio derecho con imágenes gráficas, entonces podemos entender que, en comparación con las estadísticas, aparece nuevamente la naturaleza del "hemisferio derecho" del enfoque de las redes neuronales.

Otra diferencia significativa es que en los métodos estadísticos no importa cómo se minimice la discrepancia; en cualquier caso, el modelo sigue siendo el mismo, mientras que en la neurocomputación el papel principal lo juega el método de entrenamiento. En otras palabras, a diferencia del enfoque de redes neuronales, la estimación de los parámetros del modelo para métodos estadísticos no depende de método de minimización. Al mismo tiempo, los estadísticos considerarán cambios en el tipo de residuo, digamos por

Como un cambio fundamental en el modelo.

A diferencia del enfoque de redes neuronales, en el que la mayor parte del tiempo se dedica a entrenar redes, en el enfoque estadístico este tiempo se dedica a un análisis exhaustivo del problema. Esto utiliza la experiencia de los estadísticos para seleccionar un modelo basado en el análisis de datos e información específicos del campo. El uso de redes neuronales, estos aproximadores universales, generalmente se realiza sin el uso de conocimientos a priori, aunque en algunos casos resulta muy útil. Por ejemplo, para el modelo lineal considerado, el uso del error cuadrático medio conduce a obtener una estimación óptima de sus parámetros cuando el valor del ruido tiene una distribución normal con la misma varianza para todos los pares de entrenamiento. Al mismo tiempo, si se sabe que estas varianzas son diferentes, entonces se utiliza una función de error ponderada

Puede proporcionar valores de parámetros significativamente mejores.

Además del modelo más simple considerado, podemos dar ejemplos de otros modelos, en cierto sentido, equivalentes de estadísticas y paradigmas de redes neuronales.

La red Hopfield tiene una conexión obvia con la agrupación de datos y el análisis factorial.

Análisis factorial Se utiliza para estudiar la estructura de datos. Su premisa principal es la suposición de la existencia de tales signos, factores que no pueden observarse directamente, pero que pueden evaluarse mediante varios signos primarios observables. Por ejemplo, características como el volumen de producción y el costo de los activos fijos pueden determinar un factor como la escala de producción. A diferencia de las redes neuronales, que requieren entrenamiento, el análisis factorial solo puede funcionar con un cierto número de observaciones. Aunque, en principio, el número de tales observaciones sólo debe ser uno mayor que el número de variables, se recomienda utilizar al menos tres veces el número de valores. Esto todavía se considera menor que el tamaño de la muestra de entrenamiento para la red neuronal. Por lo tanto, los estadísticos señalan la ventaja del análisis factorial al utilizar menos datos y, por lo tanto, generar una generación de modelos más rápida. Además, esto significa que la implementación de métodos de análisis factorial requiere herramientas informáticas menos potentes. Otra ventaja del análisis factorial es que es un método de caja blanca, es decir. Completamente abierto y comprensible: el usuario puede comprender fácilmente por qué el modelo produce un resultado particular. La conexión entre el análisis factorial y el modelo de Hopfield se puede ver recordando los vectores base mínima para un conjunto de observaciones (imágenes de memoria; consulte la Conferencia 5). Son estos vectores los que son análogos de los factores que unen varios componentes de los vectores de memoria: las características primarias.

A lo largo de un cierto historial de seguimiento de pacientes, se ha acumulado una serie de datos que se almacenan en una tabla en el sistema STATISTICA. La tabla de datos correspondiente se muestra en la Figura 6.

Figura 6. Fragmento de la tabla de datos fuente

El objetivo del estudio es construir un modelo de red neuronal que, a partir de un conjunto determinado de datos iniciales (datos del examen del paciente, resultados de las pruebas, tratamiento antes del ingreso), en función del tratamiento prescrito en el hospital, produciría un pronóstico para su tratamiento (valores de ingreso al hospital I-APFARA, BAB, BKK, diuréticos, fármacos de acción central) con suficiente precisión.

El hecho de que el problema no sea lineal está fuera de toda duda. Por supuesto, se podría intentar resolver el problema utilizando el módulo de estimación no lineal de STATISTICA, es decir, utilizando los procedimientos iterativos que ofrece este módulo para "tantear" el tipo de función. Sin embargo, aquí surgen una serie de problemas que amplían significativamente el procedimiento para encontrar una solución. El más importante de ellos es la formulación de una hipótesis sobre la forma explícita de la dependencia en estudio, que no es nada obvia.

Sin investigaciones adicionales, es difícil decir algo sobre el tipo obvio de dependencia. Además, cabe mencionar que no tuvimos en cuenta un factor más. En general, resolver un problema de este tipo utilizando métodos de estimación no lineales puede llevar mucho tiempo o no conducir a nada. En situaciones tan críticas, cuando se sabe que

Existe una relación entre las variables;

La relación es definitivamente no lineal;

Es difícil decir algo sobre la forma obvia de dependencia,

Los algoritmos de redes neuronales ayudan. Consideremos una forma de resolver este problema en el módulo STATISTICA Neural Networks.

Desafortunadamente, no existen reglas universales que indiquen qué topología de red neuronal se debe seguir para resolver un problema en particular. Por tanto, es necesario un procedimiento razonable para encontrar la red adecuada.

El módulo de Redes Neuronales del sistema STATISTICA incluye un procedimiento que organiza la búsqueda de la configuración de red deseada. Este procedimiento consiste en construir y probar una gran cantidad de redes con diferentes arquitecturas y luego seleccionar de entre ellas la red que mejor se adapte a la solución del problema dado. Esta herramienta se llama Solucionador Inteligente de Problemas. Para iniciar el módulo Redes neuronales, debe utilizar el comando del mismo nombre en el menú principal de STATISTICA - Sistema de estadísticas. (Figura 7)

Figura 7. Lanzamiento del módulo Redes neuronales

La siguiente tesis es muy común: "las redes neuronales son una estructura universal que permite implementar cualquier algoritmo". Intentemos, creyendo ciegamente en esta afirmación, construir una red neuronal que "capte" la dependencia propuesta inmediatamente (es decir, sin un análisis exploratorio preliminar).

Una de las cuestiones más importantes que aún no ha sido resuelta por la ciencia moderna es la cuestión de la estructura de una red neuronal que sería capaz de reproducir la deseada dependencia no lineal multidimensional. De hecho, el teorema de integridad de Kolmogorov, que demostró en 1957, establece que una red neuronal es capaz de reproducir cualquier función (muy importante, continua). Sin embargo, no ofrece al investigador una receta para crear dicha red. En 1988, varios autores generalizaron el teorema de Kolmogorov y demostraron que cualquier función continua puede aproximarse mediante una red neuronal de tres capas con una capa oculta y un algoritmo de retropropagación con cualquier grado de precisión. Así, en nuestro caso, el aspecto positivo es el conocimiento de que la red debe ser de tres capas, pero nuevamente no existen reglas a la mano que establezcan la relación entre “cualquier grado de precisión” y el número de neuronas en el intermedio, por lo que- llamada capa oculta.

Resumiendo todo lo anterior, observamos que no existen reglas universales que indiquen qué topología de red neuronal se debe seguir para resolver un problema en particular. Por tanto, es necesario un procedimiento razonable para encontrar la red adecuada.

El módulo de Redes Neuronales del sistema STATISTICA incluye un procedimiento único que organiza la búsqueda de la configuración de red deseada. Esta herramienta se llama Solucionador Inteligente de Problemas. Usemos esta herramienta y busquemos una red neuronal que sea capaz de resolver nuestro problema.

Figura 8. Plataforma de lanzamiento del módulo de redes neuronales

En la pestaña Rápido de este cuadro de diálogo, en el apartado Tipo de Problema, se propone seleccionar la clase de problemas a los que nos enfrentamos. Nuestro objetivo es construir una relación multivariada o, en otras palabras, una regresión no lineal multivariada. Esto significa que en la sección Tipo de problema debe especificar Regresión.

Una vez decidida la clase de tareas, es necesario especificar las variables para realizar el Análisis. Para seleccionar variables, utilice el botón Variables. Al hacer clic en este botón, aparece el cuadro de diálogo Seleccionar variables de entrada (independiente), salida (dependiente) y selector. En este cuadro de diálogo, debe especificar dos listas de variables. Las salidas continuas, en nuestro caso, son las variables Ingreso al hospital IECA/ARA, Ingreso al hospital BAB, Ingreso al hospital BKK, Ingreso al hospital de diuréticos y ingreso al hospital de fármacos de acción central. Las entradas continuas, en nuestro ejemplo, son de 1 a 61 parámetros iniciales.

Figura 9. Selección de variables para el análisis

En la sección Seleccionar análisis, hay dos opciones disponibles: Solucionador inteligente de problemas y Diseñador de red personalizado. Para seleccionar automáticamente los parámetros de la red neuronal, se requiere la primera opción, que está configurada de forma predeterminada. Para continuar con el análisis, haga clic en Aceptar.

En el siguiente paso, aparece el cuadro de diálogo de configuración de Intelligent Problem Solver.

La sección Rápida contiene un grupo de opciones que son responsables del tiempo de ejecución del algoritmo de búsqueda de la red neuronal. En esta pestaña, debe especificar la cantidad de redes que deben probarse (para saber si son adecuadas para resolver el problema formulado) y también indicar cuántas de estas redes se incluirán en el informe final.

En la sección Redes probadas indicamos 100, Redes retenidas - 10 (Figura 10)

La pestaña Tipos especifica qué tipos de redes neuronales se utilizarán en el proceso de prueba. Para resolver el problema de la regresión no lineal, un perceptrón multicapa es el más adecuado, por lo que elegimos las redes marcadas en la Figura 11.

Figura 10. Configuración del número de redes a probar

Figura 11. Selección de una arquitectura de red

A continuación, para organizar el proceso de búsqueda y prueba, es necesario indicar el rango de cambios en el número de neuronas en cada capa de la red neuronal. Los valores recomendados para esta tarea se muestran en la Figura 12.

Figura 12. Indicación de los tamaños de las muestras de entrenamiento, control y prueba.

Ahora, después de configurar todos los parámetros de entrenamiento, para iniciar el procedimiento de búsqueda de red, debes hacer clic en Aceptar.

El estado del algoritmo de búsqueda se muestra en el cuadro de diálogo IPS Training In Progress.

Mientras se ejecuta el algoritmo de búsqueda de una red neuronal adecuada, este cuadro de diálogo proporciona información sobre el tiempo de ejecución del algoritmo, así como sobre las redes neuronales consideradas. El propósito del algoritmo de búsqueda es enumerar una serie de configuraciones de redes neuronales y seleccionar la mejor en términos de error mínimo en la salida de la red y máximo de su rendimiento.

¿Te gustó el artículo? Compártelo

Imprime este artículo