Función agregada

Tipo de función en la gestión de bases de datos.

En la gestión de bases de datos , una función agregada o función de agregación es una función en la que se procesan varios valores juntos para formar una única estadística resumida .

(Figura 1) Representación del diagrama de relación de entidad de la agregación.

Las funciones agregadas comunes incluyen:

• Promedio (es decir, media aritmética )
• Contar
• Máximo
• Mediana
• Mínimo
• Modo
• Rango
• Suma

Otros incluyen:

• Nanmean (significa ignorar los valores de NaN, también conocido como "nulo" o "nulo")
• Desviación estándar

Formalmente, una función agregada toma como entrada un conjunto , un multiconjunto (bolsa) o una lista de algún dominio de entrada I y genera un elemento de un dominio de salida O. ^[1] Los dominios de entrada y salida pueden ser los mismos, como para SUM, o pueden ser diferentes, como para COUNT.

Las funciones agregadas ocurren comúnmente en numerosos lenguajes de programación , hojas de cálculo y álgebra relacional .

La listaggfunción, tal como se define en el estándar SQL:2016 ^[2], agrega datos de varias filas en una única cadena concatenada.

En el diagrama de relación de entidad , la agregación se representa como se ve en la Figura 1 con un rectángulo alrededor de la relación y sus entidades para indicar que se trata como una entidad agregada. ^[3]

Funciones agregadas descomponibles

Las funciones agregadas presentan un cuello de botella , porque potencialmente requieren tener todos los valores de entrada a la vez. En la computación distribuida , es deseable dividir dichos cálculos en partes más pequeñas y distribuir el trabajo, generalmente computando en paralelo , mediante un algoritmo de divide y vencerás .

Algunas funciones agregadas se pueden calcular calculando el agregado de subconjuntos y luego sumando estos agregados; los ejemplos incluyen COUNT, MAX, MINy SUM. En otros casos, el agregado se puede calcular calculando números auxiliares para subconjuntos, sumando estos números auxiliares y finalmente calculando el número total al final; los ejemplos incluyen AVERAGE(seguimiento de la suma y el recuento, división al final) y RANGE(seguimiento del máximo y mínimo, resta al final). En otros casos, el agregado no se puede calcular sin analizar todo el conjunto de una vez, aunque en algunos casos se pueden distribuir las aproximaciones; los ejemplos incluyen DISTINCT COUNT( problema de conteo distinto ), MEDIANy MODE.

Estas funciones se denominan funciones de agregación descomponibles ^[4] o funciones agregadas descomponibles . Las más simples pueden denominarse funciones de agregación autodescomponibles , que se definen como aquellas funciones f tales que hay un operador de fusión ⁠ ⁠ ${\displaystyle \diamond }$ tal que

${\displaystyle f(X\uplus Y)=f(X)\diamond f(Y)}$

donde ⁠ ⁠ ${\displaystyle \uplus }$ es la unión de multiconjuntos (ver homomorfismo monoide ).

Por ejemplo, SUM:

${\displaystyle \operatorname {SUM} ({x})=x}$, para un singleton;

${\displaystyle \operatorname {SUM} (X\uplus Y)=\operatorname {SUM} (X)+\operatorname {SUM} (Y)}$, lo que significa que fusionar ⁠ ⁠ ${\displaystyle \diamond }$ es simplemente una suma.

COUNT:

${\displaystyle \operatorname {COUNT} ({x})=1}$,

${\displaystyle \operatorname {COUNT} (X\uplus Y)=\operatorname {COUNT} (X)+\operatorname {COUNT} (Y)}$.

MAX:

${\displaystyle \operatorname {MAX} ({x})=x}$,

${\displaystyle \operatorname {MAX} (X\uplus Y)=\max {\bigl (}\operatorname {MAX} (X),\operatorname {MAX} (Y){\bigr )}}$.

MIN:

${\textstyle \operatorname {MIN} ({x})=x}$, ^[2]

${\displaystyle \operatorname {MIN} (X\uplus Y)=\min {\bigl (}\operatorname {MIN} (X),\operatorname {MIN} (Y){\bigr )}}$.

Tenga en cuenta que las funciones de agregación autodescomponibles se pueden combinar (formalmente, tomando el producto) aplicándolas por separado, de modo que, por ejemplo, se pueden calcular SUMy COUNTal mismo tiempo, siguiendo dos números.

De manera más general, se puede definir una función de agregación descomponible f como aquella que puede expresarse como la composición de una función final g y una función de agregación autodescomponible h ,. Por ejemplo, = / y = − . ${\displaystyle f=g\circ h,f(X)=g(h(X))}$AVERAGESUMCOUNTRANGEMAXMIN

En el marco de MapReduce , estos pasos se conocen como InitialReduce (valor en un registro individual/conjunto único), Combine (fusión binaria en dos agregaciones) y FinalReduce (función final en valores auxiliares), ^[5] y mueven la agregación descomponible antes de Shuffle. La fase se conoce como paso InitialReduce, ^[6]

Las funciones de agregación descomponibles son importantes en el procesamiento analítico en línea (OLAP), ya que permiten que las consultas de agregación se calculen sobre los resultados precalculados en el cubo OLAP , en lugar de sobre los datos base. ^[7] Por ejemplo, es fácil admitir COUNT, MAX, MINy SUMen OLAP, ya que estos pueden calcularse para cada celda del cubo OLAP y luego resumirse ("acumularse"), pero es difícil admitir MEDIAN, ya que debe calcularse para cada vista por separado.

Otras funciones agregadas descomponibles

Para calcular el promedio y la desviación estándar de los datos agregados, es necesario tener disponible para cada grupo: el total de valores (Σx _i = SUMA(x)), el número de valores (N=COUNT(x)) y el total de cuadrados de los valores (Σx _i ² =SUM(x ² )) de cada grupo. ^[8]

AVG : o o, sólo si COUNT(X)=COUNT(Y) : La suma de los cuadrados de los valores es importante para calcular la desviación estándar de los grupos : Para una población finita con iguales probabilidades en todos los puntos, tenemos tener ^{[9] [ referencia circular ]} $${\displaystyle \operatorname {AVG} (X\uplus Y)={\bigl (}\operatorname {AVG} (X)*\operatorname {COUNT} (X)+\operatorname {AVG} (Y)*\operatorname {COUNT} (Y){\bigr )}/{\bigl (}\operatorname {COUNT} (X)+\operatorname {COUNT} (Y){\bigr )}}$$
$${\displaystyle \operatorname {AVG} (X\uplus Y)={\bigl (}\operatorname {SUM} (X)+\operatorname {SUM} (Y){\bigr )}/{\bigl (}\operatorname {COUNT} (X)+\operatorname {COUNT} (Y){\bigr )}}$$
$${\displaystyle \operatorname {AVG} (X\uplus Y)={\bigl (}\operatorname {AVG} (X)+\operatorname {AVG} (Y){\bigr )}/2}$$
SUM(x2)
$${\displaystyle \operatorname {SUM} (X^{2}\uplus Y^{2})=\operatorname {SUM} (X^{2})+\operatorname {SUM} (Y^{2})}$$
STDDEV
$${\displaystyle \operatorname {STDDEV} (X)=s(x)={\sqrt {{\frac {1}{N}}\sum _{i=1}^{N}(x_{i}-{\overline {x}})^{2}}}={\sqrt {{\frac {1}{N}}\left(\sum _{i=1}^{N}x_{i}^{2}\right)-({\overline {x}})^{2}}}={\sqrt {\operatorname {SUM} (x^{2})/\operatorname {COUNT} (x)-\operatorname {AVG} (x)^{2}}}}$$

Esto significa que la desviación estándar es igual a la raíz cuadrada de la diferencia entre el promedio de los cuadrados de los valores y el cuadrado del valor promedio. $${\displaystyle \operatorname {STDDEV} (X\uplus Y)={\sqrt {\operatorname {SUM} (X^{2}\uplus Y^{2})/\operatorname {COUNT} (X\uplus Y)-\operatorname {AVG} (X\uplus Y)^{2}}}}$$ $${\displaystyle \operatorname {STDDEV} (X\uplus Y)={\sqrt {{\bigl (}\operatorname {SUM} (X^{2})+\operatorname {SUM} (Y^{2}){\bigr )}/{\bigl (}\operatorname {COUNT} (X)+\operatorname {COUNT} (Y){\bigr )}-{\bigl (}(\operatorname {SUM} (X)+\operatorname {SUM} (Y))/(\operatorname {COUNT} (X)+\operatorname {COUNT} (Y)){\bigr )}^{2}}}}$$

Ver también

• Tabulación cruzada, también conocida como tabla de contingencia
• Perforación de datos
• Procesamiento de datos
• Procesamiento de datos
• Extraer, transformar, cargar
• Plegar (función de orden superior)
• Agrupar por (SQL) , cláusula SQL
• cubo OLAP
• Procesamiento analítico en línea
• Tabla dinámica
• Álgebra relacional
• Funciones de utilidad sobre bienes indivisibles # Agregados de funciones de utilidad
• XML para análisis
• AgregadoIQ
• Mapa reducido

Referencias

1. Jesús, Baquero & Almeida 2011, 2 Definición del problema, págs.3.
2. Winand, Markus (15 de mayo de 2017). "Grandes noticias en bases de datos: nuevo estándar SQL, Cloud Wars y ACIDRain (primavera de 2017)". Zona D. Archivado desde el original el 27 de mayo de 2017 . Consultado el 10 de junio de 2017 . En diciembre de 2016, ISO lanzó una nueva versión del estándar SQL. Introduce nuevas funciones como coincidencia de patrones de filas, listagg, formato de fecha y hora y compatibilidad con JSON.
3. Elmasri, Ramez (2016). Fundamentos de los sistemas de bases de datos. Sham Navathe (Séptima ed.). Hoboken, Nueva Jersey. pag. 133.ISBN​ 978-0-13-397077-7. OCLC  913842106.{{cite book}}: CS1 maint: location missing publisher (link)
4. Jesús, Baquero y Almeida 2011, 2.1 Funciones descomponibles, págs.
5. Yu, Gunda & Isard 2009, 2. Agregación distribuida, págs.
6. Yu, Gunda & Isard 2009, 2. Agregación distribuida, p. 1.
7. Zhang 2017, pag. 1.
8. Ing. Óscar Bonilla
9. Desviación estándar#Identidades y propiedades matemáticas

Literatura

• Grabisch, Michel; Marichal, Jean-Luc; Mesiar, Radko; Pap, Endre (2009). Funciones de agregación . Enciclopedia de Matemáticas y sus Aplicaciones. vol. 127. Cambridge: Prensa de la Universidad de Cambridge . ISBN 978-0-521-51926-7. Zbl  1196.00002.
• Funciones agregadas de Oracle: ejemplos MAX, MIN, COUNT, SUM, AVG

• Yu, Yuan; Gunda, Pradeep Kumar; Isard, Michael (2009). Agregación distribuida para computación paralela de datos: interfaces e implementaciones. ACM SIGOPS 22º simposio sobre principios de sistemas operativos. ACM . págs. 247–260. doi :10.1145/1629575.1629600.
• Jesús, Paulo; Baquero, Carlos; Almeida, Paulo Sergio (2011). "Una encuesta sobre algoritmos de agregación de datos distribuidos". arXiv : 1110.0725 [cs.DC].
• Zhang, Chao (2017). Función agregada simétrica y asimétrica en computación masivamente paralela (informe técnico).

enlaces externos

• Funciones agregadas (Transact-SQL)