También existen variantes donde el contexto no tiene limitaciones de longitud y se denotan como PPM*.
La manera obvia es creando un símbolo "nunca antes visto" que emita una secuencia de escape.
Pero, ¿qué probabilidad debe ser asignada a un símbolo que nunca haya sido visto?.
Esta cuestión se conoce como el problema de frecuencia cero.
También es posible usar o añadir modelados diferentes a los de Márkov.