Modelo booleano de recuperación de información

Modelo clásico de recuperación de información

El modelo booleano (estándar) de recuperación de información ( BIR ) ^[1] es un modelo clásico de recuperación de información (IR) y, al mismo tiempo, el primero y más adoptado. ^[2] El BIR se basa en la lógica booleana y la teoría clásica de conjuntos en que tanto los documentos que se van a buscar como la consulta del usuario se conciben como conjuntos de términos (un modelo de bolsa de palabras ). La recuperación se basa en si los documentos contienen o no los términos de la consulta y si satisfacen las condiciones booleanas descritas por la consulta.

Definiciones

Un término de índice es una palabra o expresión que puede tener una raíz que describe o caracteriza un documento, como una palabra clave dada para un artículo de revista. Sea el conjunto de todos esos términos de índice. $${\displaystyle T=\{t_{1},t_{2},\ \ldots ,\ t_{n}\}}$$

Un documento es cualquier subconjunto de . Sea el conjunto de todos los documentos. ${\displaystyle T}$ $${\displaystyle D=\{D_{1},\ \ldots \ ,D_{n}\}}$$

${\displaystyle T}$es una serie de palabras o frases cortas (términos índice). Cada una de esas palabras o frases cortas se nombra , donde es el número del término en la serie/lista. Puedes pensar en ellos como "Términos" y como "término índice n ". ${\displaystyle t_{n}}$ ${\displaystyle n}$ ${\displaystyle T}$ ${\displaystyle t_{n}}$

Las palabras o frases cortas (términos de índice ) pueden existir en documentos. Estos documentos forman una serie/lista donde cada documento individual se denomina . Estos documentos ( ) pueden contener palabras o frases cortas (términos de índice ) como podrían contener los términos y de . Hay un ejemplo de esto en la siguiente sección. ${\displaystyle t_{n}}$ ${\displaystyle D}$ ${\displaystyle D_{n}}$ ${\displaystyle D_{n}}$ ${\displaystyle t_{n}}$ ${\displaystyle D_{1}}$ ${\displaystyle t_{1}}$ ${\displaystyle t_{2}}$ ${\displaystyle T}$

Los términos de índice generalmente quieren representar palabras que tienen más significado para ellos y corresponden a lo que podría tratar el contenido de un artículo o documento. Términos como "the" y "like" aparecerían en casi todos los documentos, mientras que "bayesiano" solo aparecería en una pequeña fracción de los documentos. Por lo tanto, términos más raros como "bayesiano" son una mejor opción para ser seleccionados en los conjuntos. Esto se relaciona con Entropy (teoría de la información) . Hay varios tipos de operaciones que se pueden aplicar a los términos de índice utilizados en las consultas para hacerlos más genéricos y más relevantes. Una de ellas es Stemming . ${\displaystyle T}$

Una consulta es una expresión booleana en forma normal: donde es verdadero para cuando . (De manera equivalente, podría expresarse en forma normal disyuntiva .) ${\textstyle Q}$ $${\displaystyle Q=(W_{1}\ \lor \ W_{2}\ \lor \ \cdots )\land \ \cdots \ \land \ (W_{i}\ \lor \ W_{i+1}\ \lor \ \cdots )}$$ ${\textstyle W_{i}}$ ${\displaystyle D_{j}}$ ${\displaystyle t_{i}\in D_{j}}$ ${\textstyle Q}$

Cualquier consulta es una selección de términos de índice ( o ) elegidos de un conjunto de términos que se combinan mediante operadores booleanos para formar un conjunto de condiciones. ${\displaystyle Q}$ ${\displaystyle t_{n}}$ ${\displaystyle W_{n}}$ ${\displaystyle T}$

Estas condiciones se aplican luego a un conjunto de documentos que contienen los mismos términos de índice ( ) del conjunto . ${\displaystyle D}$ ${\displaystyle t_{n}}$ ${\displaystyle T}$

Buscamos encontrar el conjunto de documentos que satisfacen . Esta operación se denomina recuperación y consta de los dos pasos siguientes: ${\textstyle Q}$

1. Para cada uno en , encuentre el conjunto de documentos que satisfacen : 2. Entonces el conjunto de documentos que satisfacen Q está dado por: Donde significa OR y significa AND como operadores booleanos. ${\textstyle W_{j}}$ ${\textstyle Q}$ ${\textstyle S_{j}}$ ${\textstyle W_{j}}$ $${\displaystyle S_{j}=\{D_{i}\mid W_{j}\}}$$ $${\displaystyle (S_{1}\cup S_{2}\cup \cdots )\cap \cdots \cap (S_{i}\cup S_{i+1}\cup \cdots )}$$ ${\displaystyle \cup }$ ${\displaystyle \cap }$

Ejemplo

Sea el conjunto de documentos originales (reales), por ejemplo

${\displaystyle D=\{D_{1},\ D_{2},\ D_{3}\}}$

dónde

${\textstyle D_{1}}$= "Principio de Bayes: Principio que establece que, al estimar un parámetro, uno debe asumir inicialmente que cada valor posible tiene la misma probabilidad (una distribución previa uniforme)."

${\textstyle D_{2}}$= " Teoría de la decisión bayesiana : Teoría matemática de la toma de decisiones que presupone funciones de utilidad y probabilidad, y según la cual el acto que debe elegirse es el acto bayesiano, es decir, el que tiene la mayor utilidad subjetiva esperada. Si uno tuviera tiempo ilimitado y poder de cálculo con el que tomar cada decisión, este procedimiento sería la mejor manera de tomar cualquier decisión."

${\textstyle D_{3}}$= " Epistemología bayesiana : teoría filosófica que sostiene que el estatus epistémico de una proposición (es decir, cuán bien probada o bien establecida está) se mide mejor por una probabilidad y que la forma adecuada de revisar esta probabilidad está dada por la condicionalización bayesiana o procedimientos similares. Un epistemólogo bayesiano usaría la probabilidad para definir y explorar la relación entre conceptos como el estatus epistémico, el apoyo o el poder explicativo".

Sea el conjunto de términos: ${\textstyle T}$

$${\displaystyle T=\{t_{1}={\text{Bayes' principle}},t_{2}={\text{probability}},t_{3}={\text{decision-making}},t_{4}={\text{Bayesian epistemology}}\}}$$

Entonces, el conjunto de documentos es el siguiente: ${\textstyle D}$

$${\displaystyle D=\{D_{1},\ D_{2},\ D_{3}\}}$$

dónde $${\displaystyle {\begin{aligned}D_{1}&=\{{\text{probability}},\ {\text{Bayes' principle}}\}\\D_{2}&=\{{\text{probability}},\ {\text{decision-making}}\}\\D_{3}&=\{{\text{probability}},\ {\text{Bayesian epistemology}}\}\end{aligned}}}$$

Sea la consulta ("probabilidad" Y "toma de decisiones"): ${\textstyle Q}$

$${\displaystyle Q={\text{probability}}\land {\text{decision-making}}}$$Luego, para recuperar los documentos pertinentes:

1. En primer lugar se obtienen (recuperan) los siguientes conjuntos de documentos : Donde corresponde a los documentos que contienen el término "probabilidad" y contienen el término "toma de decisiones". ${\textstyle S_{1}}$ ${\textstyle S_{2}}$ ${\textstyle D_{i}}$ $${\displaystyle {\begin{aligned}S_{1}&=\{D_{1},\ D_{2},\ D_{3}\}\\S_{2}&=\{D_{2}\}\end{aligned}}}$$ ${\displaystyle S_{1}}$ ${\displaystyle S_{2}}$
2. Finalmente, se recuperan los siguientes documentos en respuesta a : Donde la consulta busca documentos que estén contenidos en ambos conjuntos utilizando el operador de intersección. ${\textstyle D_{i}}$ ${\textstyle Q}$ $${\displaystyle Q:\{D_{1},\ D_{2},\ D_{3}\}\ \cap \ \{D_{2}\}\ =\ \{D_{2}\}}$$ ${\displaystyle S}$

Esto significa que el documento original es la respuesta a . ${\displaystyle D_{2}}$ ${\textstyle Q}$

Si hay más de un documento con la misma representación (el mismo subconjunto de términos del índice ), se recuperan todos los documentos. Dichos documentos son indistinguibles en el BIR (en otras palabras, son equivalentes). ${\displaystyle t_{n}}$

Ventajas

• Formalismo limpio
• Fácil de implementar
• Concepto intuitivo
• Si el conjunto de documentos resultante es demasiado pequeño o demasiado grande, queda claro directamente qué operadores producirán un conjunto mayor o menor respectivamente.
• Proporciona a los usuarios (expertos) una sensación de control sobre el sistema. Resulta claro de inmediato por qué se ha recuperado un documento en función de una consulta.

Desventajas

• La coincidencia exacta puede recuperar muy pocos o demasiados documentos
• Es difícil traducir una consulta a una expresión booleana
• Ineficaz para conceptos resistentes a la búsqueda ^[3]
• Todos los términos tienen el mismo peso
• Más parecido a una recuperación de datos que a una recuperación de información
• Recuperación basada en criterios de decisión binarios sin noción de correspondencia parcial
• No se proporciona una clasificación de los documentos (ausencia de una escala de calificación)
• La necesidad de información debe traducirse a una expresión booleana, algo que la mayoría de los usuarios encuentran incómodo.
• Las consultas booleanas formuladas por los usuarios suelen ser demasiado simplistas.
• El modelo con frecuencia devuelve muy pocos o demasiados documentos en respuesta a una consulta del usuario.

Estructuras de datos y algoritmos

Desde un punto de vista puramente matemático formal, el BIR es sencillo. Sin embargo, desde un punto de vista práctico, se deben resolver varios problemas adicionales relacionados con algoritmos y estructuras de datos, como, por ejemplo, la elección de términos (selección manual o automática o ambas), la derivación , las tablas hash , la estructura de archivos invertida , etc. ^[4]

Conjuntos hash

Otra posibilidad es utilizar conjuntos hash. Cada documento está representado por una tabla hash que contiene cada término de ese documento. Dado que el tamaño de la tabla hash aumenta y disminuye en tiempo real con la adición y eliminación de términos, cada documento ocupará mucho menos espacio en la memoria. Sin embargo, tendrá una ralentización del rendimiento porque las operaciones son más complejas que con los vectores de bits . En el peor de los casos, el rendimiento puede degradarse de O( n ) a O( n ² ). En el caso medio, la ralentización del rendimiento no será mucho peor que con los vectores de bits y el uso del espacio es mucho más eficiente.

Archivo de firma

Cada documento puede resumirse mediante un filtro Bloom que representa el conjunto de palabras de ese documento, almacenadas en una cadena de bits de longitud fija, denominada firma. El archivo de firma contiene una de esas cadenas de bits de código superpuesto para cada documento de la colección. Cada consulta también puede resumirse mediante un filtro Bloom que representa el conjunto de palabras de la consulta, almacenadas en una cadena de bits de la misma longitud fija. La cadena de bits de la consulta se prueba con cada firma. ^{[5] [6] [7]}

El archivo de firma abordado se utiliza en BitFunnel .

Archivo invertido

Un archivo de índice invertido contiene dos partes: un vocabulario que contiene todos los términos utilizados en la colección y, para cada término distinto, un índice invertido que enumera todos los documentos que mencionan ese término. ^{[5] [6]}

Referencias

1. Lancaster, FW; Fayen, EG (1973), Recuperación de información en línea , Melville Publishing Co., Los Ángeles, California
2. "Recuperación de información". MIT Press . Consultado el 9 de diciembre de 2023 .
3. Shokraneh, Farhad (6 de agosto de 2024). "Deja de buscar y lo encontrarás: conceptos resistentes a la búsqueda en búsquedas de revisiones sistemáticas". BMJ Evidence-Based Medicine : bmjebm–2023–112798. doi :10.1136/bmjebm-2023-112798.
4. Wartik, Steven (1992). "Operaciones booleanas". Estructuras y algoritmos de recuperación de información. Prentice-Hall, Inc. ISBN 0-13-463837-9. Archivado desde el original el 28 de septiembre de 2013.
5. Justin Zobel; Alistair Moffat; y Kotagiri Ramamohanarao. "Archivos invertidos versus archivos de firma para indexación de texto".
6. Bob Goodwin; et al. "BitFunnel: Revisando las firmas para búsqueda". 2017.
7. Richard Startin. "Firmas fragmentadas en bits y filtros Bloom".

• Lashkari, AH; Mahdavi, F.; Ghomi, V. (2009), "Un modelo booleano en la recuperación de información para motores de búsqueda", Conferencia internacional sobre gestión e ingeniería de la información de 2009 , págs. 385–389, doi :10.1109/ICIME.2009.101, ISBN 978-0-7695-3595-1, Número de identificación del sujeto  18147603