Especiales es un bloque corto de caracteres Unicode asignado al final del plano multilingüe básico , en U+FFF0–FFFF. De estos 16 puntos de código, cinco han sido asignados desde Unicode 3.0:
U+FFFE <noncharacter-FFFE> y U+FFFF <noncharacter-FFFF> no son caracteres , lo que significa que están reservados pero no provocan texto Unicode con formato incorrecto. Las versiones del estándar Unicode de 3.1.0 a 6.3.0 afirmaban que estos caracteres nunca deberían intercambiarse, lo que llevó a algunas aplicaciones a usarlos para adivinar la codificación del texto interpretando la presencia de cualquiera de ellos como una señal de que el texto no es Unicode. Sin embargo, el Corrigendum #9 especificó posteriormente que los caracteres que no son caracteres no son ilegales y, por lo tanto, este método de verificar la codificación de texto es incorrecto. [3]
El carácter U+FEFF BYTE ORDER MARK de Unicode se puede insertar al principio de un texto Unicode para indicar su endianidad : un programa que lea dicho texto y encuentre 0xFFFE sabría entonces que debe cambiar el orden de bytes de todos los caracteres siguientes.
El nombre de su bloque en Unicode 1.0 era Especial . [4]
El carácter de reemplazo � (a menudo mostrado como un rombo negro con un signo de interrogación blanco) es un símbolo que se encuentra en el estándar Unicode en el punto de código U+FFFD en la tabla Especiales . Se utiliza para indicar problemas cuando un sistema no puede representar un flujo de datos para corregir símbolos. [5]
Por ejemplo, un archivo de texto codificado en ISO 8859-1 que contiene la palabra alemana für contiene bytes 0x66 0xFC 0x72. Si este archivo se abre con un editor de texto que asume que la entrada es UTF-8 , el primer y tercer byte son codificaciones UTF-8 válidas de ASCII , pero el segundo byte ( 0xFC) no es válido en UTF-8. El editor de texto podría reemplazar este byte con el carácter de reemplazo para producir una cadena válida de puntos de código Unicode para mostrar, de modo que el usuario vea "f�r".
Un editor de texto mal implementado podría escribir el carácter de reemplazo cuando el usuario guarda el archivo; Los datos del archivo se convertirán en 0x66 0xEF 0xBF 0xBD 0x72. Si el archivo se vuelve a abrir usando ISO 8859-1, mostrará "f�r" (esto se llama mojibake ). Dado que el reemplazo es el mismo para todos los errores, es imposible recuperar el carácter original. Un diseño que es mejor (pero más difícil de implementar) es preservar los bytes originales, incluidos los errores, y solo convertirlos al reemplazo cuando se muestra el texto. Esto permitirá que el editor de texto guarde la secuencia de bytes original, sin dejar de mostrar una indicación de error al usuario.
Hubo un tiempo en que el carácter de reemplazo se usaba a menudo cuando no había ningún glifo disponible en una fuente para ese carácter, como en la sustitución de fuentes . Sin embargo, la mayoría de los sistemas de representación de texto modernos utilizan el carácter .notdef de una fuente , que en la mayoría de los casos es un cuadro vacío o "?" o "X" en un cuadro, [6] (este navegador muestra �), a veces llamado ' tofu '. No existe ningún punto de código Unicode para este símbolo.
Por lo tanto, el carácter de reemplazo ahora solo se ve en caso de errores de codificación. Algunos programas de software traducen bytes UTF-8 no válidos a caracteres coincidentes en Windows-1252 (ya que esa es la fuente más común de estos errores), de modo que nunca se ve el carácter de reemplazo.
Los siguientes documentos relacionados con Unicode registran el propósito y el proceso de definir caracteres específicos en el bloque Especiales: