Eclipse Deeplearning4j es una biblioteca de programación escrita en Java para la máquina virtual Java (JVM). [2] [3] Es un marco con amplio soporte para algoritmos de aprendizaje profundo. [4] Deeplearning4j incluye implementaciones de la máquina de Boltzmann restringida , red de creencias profundas , autocodificador profundo, autocodificador de eliminación de ruido apilado y red tensorial neuronal recursiva , word2vec , doc2vec y GloVe . Todos estos algoritmos incluyen versiones paralelas distribuidas que se integran con Apache Hadoop y Spark . [5]
Deeplearning4j es un software de código abierto publicado bajo la Licencia Apache 2.0, [6] desarrollado principalmente por un grupo de aprendizaje automático con sede en San Francisco . [7] Cuenta con el respaldo comercial de la startup Skymind, que agrupa DL4J, TensorFlow , Keras y otras bibliotecas de aprendizaje profundo en una distribución empresarial llamada Skymind Intelligence Layer. [8] Deeplearning4j fue aportado a la Fundación Eclipse en octubre de 2017. [9] [10]
Deeplearning4j se basa en el lenguaje de programación ampliamente utilizado Java , aunque es compatible con Clojure e incluye una interfaz de programación de aplicaciones (API) Scala . Está impulsado por su propia biblioteca de computación numérica de código abierto, ND4J, y funciona tanto con unidades centrales de procesamiento (CPU) como con unidades de procesamiento gráfico (GPU). [11] [12]
Deeplearning4j se ha utilizado en varias aplicaciones comerciales y académicas. El código está alojado en GitHub . [13] Se mantiene un foro de soporte en Gitter . [14]
El marco es componible, lo que significa que se pueden agregar redes neuronales superficiales, como máquinas de Boltzmann restringidas, redes convolucionales, autocodificadores y redes recurrentes, para crear redes profundas de distintos tipos. También cuenta con amplias herramientas de visualización [15] y un gráfico de cálculo [16] .
El entrenamiento con Deeplearning4j se realiza en un clúster. Las redes neuronales se entrenan en paralelo mediante una reducción iterativa, que funciona en Hadoop -YARN y en Spark . [7] [17] Deeplearning4j también se integra con núcleos CUDA para realizar operaciones de GPU puras y funciona con GPU distribuidas.
Deeplearning4j incluye una clase de matriz n-dimensional que utiliza ND4J y que permite realizar cálculos científicos en Java y Scala, de forma similar a las funciones que NumPy proporciona a Python . Se basa en una biblioteca para álgebra lineal y manipulación de matrices en un entorno de producción.
DataVec vectoriza varios formatos de archivo y tipos de datos utilizando un sistema de formato de entrada/salida similar al uso de MapReduce por parte de Hadoop; es decir, convierte varios tipos de datos en columnas de escalares denominadas vectores . DataVec está diseñado para vectorizar archivos CSV, imágenes, sonido, texto, video y series temporales. [18] [19]
Deeplearning4j incluye un conjunto de herramientas de modelado de espacios vectoriales y de modelado de temas , implementado en Java y que se integra con GPU paralelas para mejorar el rendimiento. Está diseñado para manejar conjuntos de texto de gran tamaño.
Deeplearning4j incluye implementaciones de frecuencia de término-frecuencia de documento inversa ( tf–idf ), aprendizaje profundo y el algoritmo word2vec de Mikolov, [20] doc2vec y GloVe, reimplementados y optimizados en Java. Se basa en la incrustación de vecinos estocásticos distribuidos en t (t-SNE) para visualizaciones de nubes de palabras.
Los casos de uso del mundo real para Deeplearning4j incluyen detección de intrusiones en la red y ciberseguridad, detección de fraudes para el sector financiero, [21] [22] detección de anomalías en industrias como la fabricación, sistemas de recomendación en comercio electrónico y publicidad, [23] y reconocimiento de imágenes. [24] Deeplearning4j se ha integrado con otras plataformas de aprendizaje automático como RapidMiner, Prediction.io, [25] y Weka . [26]
Deeplearning4j ofrece modelos de aprendizaje automático para la inferencia en producción mediante la edición gratuita para desarrolladores de SKIL, la capa de inteligencia de Skymind. [27] [28] Un servidor de modelos ofrece modelos de aprendizaje automático paramétrico que toman decisiones sobre los datos. Se utiliza para la etapa de inferencia de un flujo de trabajo de aprendizaje automático, después de las canalizaciones de datos y el entrenamiento del modelo. Un servidor de modelos es la herramienta que permite implementar la investigación científica de datos en un entorno de producción del mundo real.
Un servidor de modelos es para la IA lo que un servidor web es para Internet. Cuando un servidor web recibe una solicitud HTTP y devuelve datos sobre un sitio web, un servidor de modelos recibe datos y devuelve una decisión o predicción sobre esos datos: por ejemplo, si se envía una imagen, un servidor de modelos puede devolver una etiqueta para esa imagen, identificando rostros o animales en fotografías.
El servidor de modelos SKIL puede importar modelos de marcos Python como Tensorflow, Keras, Theano y CNTK, superando una barrera importante en la implementación de modelos de aprendizaje profundo.
Deeplearning4j es tan rápido como Caffe para tareas de reconocimiento de imágenes no triviales que utilizan múltiples GPU. [29] Para los programadores que no están familiarizados con HPC en la JVM, hay varios parámetros que se deben ajustar para optimizar el tiempo de entrenamiento de la red neuronal. Estos incluyen la configuración del espacio de almacenamiento dinámico, el algoritmo de recolección de basura, el empleo de memoria fuera del almacenamiento dinámico y el preguardado de datos (pickling) para un ETL más rápido. [30] En conjunto, estas optimizaciones pueden generar una aceleración de 10 veces en el rendimiento con Deeplearning4j.
Deeplearning4j se puede utilizar a través de múltiples lenguajes API, incluidos Java, Scala, Python, Clojure y Kotlin. Su API de Scala se llama ScalNet. [31] Keras sirve como su API de Python. [32] Y su contenedor de Clojure se conoce como DL4CLJ. [33] Los lenguajes principales que realizan las operaciones matemáticas a gran escala necesarias para el aprendizaje profundo son C, C++ y CUDA C.
Tensorflow, Keras y Deeplearning4j trabajan juntos. Deeplearning4j puede importar modelos de Tensorflow y otros frameworks de Python si se crearon con Keras. [34]
.svg/1280px-Free_and_open-source_software_logo_(2009).svg.png){kind=logo}
{{cite web}}: CS1 maint: archived copy as title (link){{cite web}}: CS1 maint: archived copy as title (link)