La idea llegó a Mike Purvis y John Ross en 1980: se trataba de tener una máquina recreativa en una casa sin tener que pagar monedas para jugar de una manera muy original.

En ese año, muchos trabajadores de Atari renunciaron para pasarse al proyecto Vectrex.

En 1984, la Vectrex, junto con otras consolas, fueron descontinuadas, por muchas razones: catálogo de juegos pequeño y mediocre, además del hecho de que las computadoras eran más baratas y ofrecían más posibilidades: impresoras, teclados, joysticks, mouses...

Además, existían en el mercado multitud de lenguajes de programación: Basic, C, Cobol, Pascal, Ensamblador... Lo que permitía al usuario crear sus propios juegos y programas a medida.

Tras pasar esta crisis, se estudió la posibilidad de fabricar una Vectrex portátil, pero la idea se descartó con la llegada de la Game Boy, que amenazaba las ventas del nuevo proyecto móvil.