Sin embargo, no siempre se obtienen esos bordes ideales a partir de imágenes reales, con una complejidad moderada.
Los bordes extraídos de imágenes no triviales, se ven afectados por la fragmentación en las mismas, lo que significa que las curvas que representan los bordes no están conectadas o se crean bordes falsos que no corresponden a características importantes de la imagen - lo que complica la tarea de interpretar los datos en la imagen.
Un borde dependiente del punto de vista puede cambiar si se cambia el punto de vista, y refleja la geometría de la escena, tales como objetos que se tapan unos a otros.
Un borde típico puede ser la arista entre un bloque rojo y uno amarillo que se encuentran uno a continuación del otro.
Para la recta, usualmente se detectan dos bordes, uno a cada lado de la misma.