Coeficiente de Sørensen-Dados

Una estadística utilizada para comparar la similitud de dos muestras.

El coeficiente de Sørensen-Dice (consulte otros nombres a continuación) es una estadística que se utiliza para medir la similitud de dos muestras . Fue desarrollado de forma independiente por los botánicos Thorvald Sørensen ^[1] y Lee Raymond Dice , ^[2] quienes lo publicaron en 1948 y 1945 respectivamente.

Nombre

El índice se conoce con varios otros nombres, especialmente índice de Sørensen-Dice , ^[3] índice de Sørensen y coeficiente de Dice . Otras variaciones incluyen el "coeficiente de similitud" o "índice", como el coeficiente de similitud de dados ( DSC ). Las ortografías alternativas comunes para Sørensen son Sorenson , Soerenson y Sörenson , y las tres también se pueden ver con la terminación –sen .

Otros nombres incluyen:

• puntuación F1
• Índice binario (no cuantitativo) de Czekanowski ^[4]
• Medida de similitud genética ^[5]
• Índice de similitud de Zijdenbos, ^{[6] [7]} en referencia a un artículo de 1994 de Zijdenbos et al. ^{[8] [3]}

Fórmula

La fórmula original de Sørensen estaba destinada a aplicarse a datos discretos. Dados dos conjuntos, X e Y, se define como

${\displaystyle DSC={\frac {2|X\cap Y|}{|X|+|Y|}}}$

donde | X | y | Y | son las cardinalidades de los dos conjuntos (es decir, el número de elementos en cada conjunto). El índice de Sørensen es igual al doble del número de elementos comunes a ambos conjuntos dividido por la suma del número de elementos de cada conjunto.

Cuando se aplica a datos booleanos, utilizando la definición de verdadero positivo (TP), falso positivo (FP) y falso negativo (FN), se puede escribir como

${\displaystyle DSC={\frac {2TP}{2TP+FP+FN}}}$.

Es diferente del índice de Jaccard , que sólo cuenta los verdaderos positivos una vez tanto en el numerador como en el denominador. DSC es el cociente de similitud y oscila entre 0 y 1. ^[9] Puede verse como una medida de similitud sobre conjuntos.

De manera similar al índice de Jaccard , las operaciones con conjuntos se pueden expresar en términos de operaciones vectoriales sobre vectores binarios a y b :

${\displaystyle s_{v}={\frac {2|{\bf {{a}\cdot {\bf {{b}|}}}}}{|{\bf {{a}|^{2}+|{\bf {{b}|^{2}}}}}}}}$

lo que da el mismo resultado sobre vectores binarios y también da una métrica de similitud más general sobre vectores en términos generales.

Para los conjuntos X e Y de palabras clave utilizadas en la recuperación de información , el coeficiente puede definirse como el doble de la información compartida (intersección) sobre la suma de cardinalidades: ^[10]

Cuando se toma como medida de similitud de cadenas , el coeficiente se puede calcular para dos cadenas, xey , usando bigramas de la siguiente manera: ^[11]

${\displaystyle s={\frac {2n_{t}}{n_{x}+n_{y}}}}$

donde n _t es el número de bigramas de caracteres encontrados en ambas cadenas, n _x es el número de bigramas en la cadena x y n _y es el número de bigramas en la cadena y . Por ejemplo, para calcular la similitud entre:

night

nacht

Encontraríamos el conjunto de bigramas en cada palabra:

{ ni, ig, gh, ht}

{ na, ac, ch, ht}

Cada conjunto tiene cuatro elementos y la intersección de estos dos conjuntos tiene un solo elemento: ht.

Insertando estos números en la fórmula, calculamos, s  = (2 · 1) / (4 + 4) = 0,25.

Coeficiente de dados continuos [12]

Para una verdad fundamental discreta y medidas continuas se puede utilizar la siguiente fórmula:

${\displaystyle cDC={\frac {2|X\cap Y|}{c*|X|+|Y|}}}$

donde c se puede calcular de la siguiente manera:

${\displaystyle c={\frac {\Sigma a_{i}b_{i}}{\Sigma a_{i}\operatorname {sign} {(b_{i})}}}}$

Si eso significa que no hay superposición entre A y B, c se establece en 1 arbitrariamente. ${\displaystyle \Sigma a_{i}\operatorname {sign} {(b_{i})}=0}$

Diferencia con Jaccard

Este coeficiente no difiere mucho en su forma del índice de Jaccard . De hecho, ambos son equivalentes en el sentido de que dado un valor para el coeficiente de Sørensen-Dice , se puede calcular el valor del índice de Jaccard respectivo y viceversa, usando las ecuaciones y . ${\displaystyle S}$ ${\displaystyle J}$ ${\displaystyle J=S/(2-S)}$ ${\displaystyle S=2J/(1+J)}$

Dado que el coeficiente de Sørensen-Dice no satisface la desigualdad del triángulo , puede considerarse una versión semimétrica del índice de Jaccard. ^[4]

La función oscila entre cero y uno, como Jaccard. A diferencia de Jaccard, la función de diferencia correspondiente

${\displaystyle d=1-{\frac {2|X\cap Y|}{|X|+|Y|}}}$

no es una métrica de distancia adecuada ya que no satisface la desigualdad del triángulo. ^[4] El contraejemplo más simple de esto lo dan los tres conjuntos {a}, {b} y {a,b}, siendo la distancia entre los dos primeros 1 y la diferencia entre el tercero y cada uno de los demás un tercio. Para satisfacer la desigualdad del triángulo, la suma de dos de estos tres lados debe ser mayor o igual que el lado restante. Sin embargo, la distancia entre {a} y {a,b} más la distancia entre {b} y {a,b} es igual a 2/3 y, por lo tanto, es menor que la distancia entre {a} y {b} que es 1.

Aplicaciones

El coeficiente de Sørensen-Dice es útil para datos de comunidades ecológicas (por ejemplo, Looman y Campbell, 1960 ^[13] ). La justificación de su uso es principalmente empírica más que teórica (aunque puede justificarse teóricamente como la intersección de dos conjuntos difusos ^[14] ). En comparación con la distancia euclidiana , la distancia de Sørensen conserva la sensibilidad en conjuntos de datos más heterogéneos y otorga menos peso a los valores atípicos. ^[15] Recientemente, la puntuación de Dice (y sus variaciones, por ejemplo, logDice tomando un logaritmo de la misma) se ha vuelto popular en la lexicografía informática para medir la puntuación de asociación léxica de dos palabras dadas. ^[16] logDice también se usa como parte de Mash Distance para la estimación de la distancia del genoma y metagenoma. ^[17] Finalmente, Dice se usa en la segmentación de imágenes , en particular para comparar la salida del algoritmo con máscaras de referencia en aplicaciones médicas. ^[8]

Versión abundancia

La expresión se extiende fácilmente a abundancia en lugar de presencia/ausencia de especies. Esta versión cuantitativa se conoce con varios nombres:

• Índice cuantitativo de Sørensen-Dice ^[4]
• Índice cuantitativo de Sørensen ^[4]
• Índice de dados cuantitativos ^[4]
• Similitud de Bray-Curtis (1 menos la disimilitud de Bray-Curtis ) ^[4]
• Índice cuantitativo de Czekanowski ^[4]
• Índice de Steinhaus ^[4]
• Porcentaje de similitud de Pielou ^[4]
• 1 menos la distancia Hellinger ^[18]
• Proporción de acuerdo específico ^[19] o acuerdo positivo ^[20]

Ver también

• Correlación
• puntuación F1
• índice jaccard
• distancia de Hamming
• Prueba de repisa
• Índice de superposición de Morisita
• k caracteres más frecuentes
• Coeficiente de superposición
• Índice de similitud de Renkonen (debido a Olavi Renkonen)
• índice de Tversky
• Teoría de la estrategia adaptativa universal (UAST)

Referencias

1. Sørensen, T. (1948). "Un método para establecer grupos de igual amplitud en sociología vegetal basado en la similitud de especies y su aplicación a los análisis de la vegetación en los bienes comunes daneses". Kongelige Danske Videnskabernes Selskab . 5 (4): 1–34.
2. Dados, Lee R. (1945). "Medidas de la cantidad de asociación ecológica entre especies". Ecología . 26 (3): 297–302. doi :10.2307/1932409. JSTOR  1932409. S2CID  53335638.
3. Carass, A.; Roy, S.; Herman, A.; Reinhold, JC; Jesson, A.; et al. (2020). "Evaluación de segmentaciones de lesiones de materia blanca con análisis refinado de Sørensen-Dice". Informes científicos . 10 (1): 8242. Código bibliográfico : 2020NatSR..10.8242C. doi : 10.1038/s41598-020-64803-w . ISSN  2045-2322. PMC 7237671 . PMID  32427874. 
4. Gallagher, ED, 1999. Documentación COMPAH, Universidad de Massachusetts, Boston
5. Nei, M.; Li, WH (1979). "Modelo matemático para el estudio de la variación genética en términos de endonucleasas de restricción". PNAS . 76 (10): 5269–5273. Código bibliográfico : 1979PNAS...76.5269N. doi : 10.1073/pnas.76.10.5269 . PMC 413122 . PMID  291943. 
6. Prescott, JW; Pennell, M.; Mejor, TM; Swanson, MS; Haq, F.; Jackson, R.; Gurcán, MN (2009). "Un método automatizado para segmentar el fémur para la investigación de la osteoartritis". Conferencia Internacional Anual 2009 de la Sociedad de Ingeniería en Medicina y Biología IEEE . IEEE. págs. 6364–6367. doi :10.1109/iembs.2009.5333257. PMC 2826829 . 
7. Swanson, MS; Prescott, JW; Mejor, TM; Powell, K.; Jackson, RD; Haq, F.; Gurcán, MN (2010). "Segmentación semiautomática para evaluar el menisco lateral en rodillas normales y artrósicas". Osteoartritis y Cartílago . 18 (3): 344–353. doi :10.1016/j.joca.2009.10.004. ISSN  1063-4584. PMC 2826568 . PMID  19857510. 
8. Zijdenbos, AP; Dawant, BM; Margolín, RA; Palmer, AC (1994). "Análisis morfométrico de lesiones de sustancia blanca en imágenes de resonancia magnética: método y validación". Transacciones IEEE sobre imágenes médicas . 13 (4): 716–724. doi : 10.1109/42.363096. ISSN  0278-0062. PMID  18218550.
9. http://www.sekj.org/PDF/anbf40/anbf40-415.pdf ^{[ URL básica PDF ]}
10. van Rijsbergen, Cornelis Joost (1979). Recuperación de información. Londres: Butterworths. ISBN 3-642-12274-4.
11. Kondrak, Grzegorz; Marco, Daniel; Caballero, Kevin (2003). "Los cognados pueden mejorar los modelos de traducción estadística" (PDF) . Actas de HLT-NAACL 2003: Conferencia sobre tecnología del lenguaje humano del capítulo norteamericano de la Asociación de Lingüística Computacional . págs. 46–48.
12. Shamir, Rubén R.; Duchin, Yuval; Kim, Jinyoung; Sapiro, Guillermo; Harel, Noam (25 de abril de 2018). "Coeficiente de dados continuo: un método para evaluar segmentaciones probabilísticas": 306977. arXiv : 1906.11031 . doi :10.1101/306977. S2CID  90993940. {{cite journal}}: Citar diario requiere |journal=( ayuda )
13. Looman, J.; Campbell, JB (1960). "Adaptación de K de Sorensen (1948) para estimar afinidades unitarias en la vegetación de la pradera". Ecología . 41 (3): 409–416. doi :10.2307/1933315. JSTOR  1933315.
14. Roberts, DW (1986). "Ordenación sobre la base de la teoría de conjuntos difusos". Vegetación . 66 (3): 123-131. doi :10.1007/BF00039905. S2CID  12573576.
15. McCune, Bruce & Grace, James (2002) Análisis de comunidades ecológicas. Diseño de software Mjm; ISBN 0-9721290-0-6 . 
16. Rychlý, P. (2008) Una partitura de asociación amigable para los lexicógrafos. Actas del segundo taller sobre avances recientes en el procesamiento del lenguaje natural eslavo RASLAN 2008: 6–9
17. Ondov, Brian D. y col. "Mash: estimación rápida de la distancia del genoma y metagenoma utilizando MinHash". Biología del genoma 17.1 (2016): 1-14.
18. Bray, J. Roger; Curtis, JT (1957). "Una ordenación de las comunidades de los bosques de tierras altas del sur de Wisconsin". Monografías Ecológicas . 27 (4): 326–349. doi :10.2307/1942268. JSTOR  1942268.
19. Ayappa, indú; Norman, Robert G (2000). "Detección no invasiva de despertares relacionados con el esfuerzo respiratorio (RERA) mediante un sistema de transductor de presión / cánula nasal". Dormir . 23 (6): 763–771. doi : 10.1093/dormir/23.6.763 . PMID  11007443.
20. John Uebersax. "Índices de acuerdos sin procesar".

enlaces externos