El B4Y reemplazó al Mitsubishi B2M2 y fue el último bombardero biplano empleado por la Armada Imperial Japonesa.
En 1932, la Armada Imperial Japonesa emitió una solicitud para un nuevo avión de ataque embarcado.
Las compañías Aichi, Mitsubishi y Nakajima respondieron a la solicitud, construyendo un prototipo cada una.
Considerado apenas como un modelo interino, la Armada deseaba un torpedero que ofreciese un desempeño comparable al caza monoplano Mitsubishi A5M.
El Yokosuka B4Y también fue el primer avión de ataque embarcado en emplear un motor enfriado por aire, ya que el prototipo equipado con el motor radial Nakajima Hikari 2 tuvo un mejor desempeño que sus contrincantes.