La biblioteca brinda una alternativa al sistema de ventanas X, que se ha utilizado tradicionalmente para soporte gráfico en el sistema operativo UNIX.
Los autores de DirectFB dicen que acelera y simplifica las operaciones gráficas permitiendo que las aplicaciones se comuniquen directamente con el hardware de vídeo mediante una API simple.
Una crítica de este argumento es que esa biblioteca sólo reimplementaba características que el sistema de ventanas X ya poseía, y no lleva necesariamente ningún aumento del funcionamiento sobre un servidor X con controladores de alto rendimiento.
DirectFB, por otro lado, permite a una aplicación correr directamente con el framebuffer.
Con XDirectFB, los programadores no tiene que reescribir el código para usar la API de DirectFB.