[7] NBC no estaba preparado para reemplazar a ambos (Letterman y Late Night), la cadena necesitaba crear un nuevo programa, para lo cual les dio la posibilidad de conducción a Dana Carvey y Garry Shandling, quienes declinaron la oferta.[8] NBC designó como el nuevo productor ejecutivo del programa a Lorne Michaels, quien desarrolla Saturday Night Live.Muchos comediantes audicionaron para la conducción, como Jon Stewart, Drew Carey y Paul Provenza.Sus invitados fueron Jason Alexander y Mimi Rogers, la audición se llevó a cabo en el estudio de The Tonight Show with Jay Leno.O’Brien fue confirmado como conductor del programa el 26 de abril, realizando su primera aparición ese día por Jay Leno en The Tonight Show.[10] En el programa final de Late Night, O’Brien dijo que le «debía su carrera a Lorne Michaels».El primer programa incluyó como invitados a John Goodman, Drew Barrymore y Tony Randall.O'Brien fue supuestamente casi despedido al menos una vez en este período, pero la NBC no tenía a nadie para reemplazarlo.Según Smigel, «estábamos básicamente cancelados a Conan, y luego cambiaron de opinión en agosto del 94; nos dio un respiro».Incluso Letterman, que admiraba sensibilidad cómica de O’Brien, apareció como invitado para mostrar su apoyo.Con el paso del tiempo O'Brien fue mejorado y empezó a recibir críticas favorables al año siguiente.Muchos de los sketches del programa se basaban en la interacción entre O’Brien y Richter.Al igual que su predecesor, Late Night with David Letterman, el humor del programa también tuvo una racha de sarcasmo e ironía.O'Brien solía responder graciosamente su público de una respuesta decepcionante o demasiado entusiasta a sus bromas.Frecuentes los sketches comenzarían al azar sin la introducción, por ejemplo, durante bromas entre Richter y O'Brien.Gran parte del humor tenía una calidad de fantasía como a la misma, donde los objetos inanimados hablarían o personajes tontos interrumpirían el show.Es la banda del programa, liderado por el baterista Max Weinberg,[11] quien también sirvió de sidekick cuando Andy Richter se retiró, también pertenecían a la banda: Mark Pender en trompetas, Richie "LaBamba" Rosenberg en trombón, Mike Merritt en el bajo, Jerry Vivino en saxofón y su hermano Jimmy Vivino en guitarra, y Scott Healy en teclados.Sin embargo, en el programa Late Night, se tocó con más rápido que la versión del álbum.Cuando Andy Richter dejó el programa en 2000, Joel Godard se hizo más común entre sketches.Jonathan Groff se hizo cargo de su puesto hasta que sea reemplazado por Mike Sweeney en 2001.Entre los más prolíficos fueron: Brian McCann (Preparation H Raymond, FedEx Papa, The Loser, Airsick Moth, Jerry Butters, Awesome Dave, Funhole Guy, Bulletproof Legs Guy, Adrian "Raisin" Foster, S&M Lincoln, etc.), Brian Stack (Hannigan the Traveling Salesman, Artie Kendall the Ghost Crooner, The Interrupter, Kilty McBagpipes, Fan-tastic Guy, Clive Clemmons, Frankenstein, Ira, Slipnut Brian, etc.), Jon Glaser (Segue Sam, Pubes, Awareness Del, Wrist Hulk, Ahole Ronald, Gorton's Fisherman, Jeremy, Slipnut Jon, etc.), Kevin Dorff (Coked-up Werewolf, Jesus Christ, Mansy the half-man/half-pansy, Joe's Bartender, Todd the Tiny Guy, etc.), y Andy Blitz (Awful Ballgame Chanter, el hermano de Vin Diesel Leonard Diesel, Slipnut Andy, Chuck Aloo conocido como la estrella de spin off de la serie 24).Muchos de internos (practicantes) del programa se han transformado en actores o escritores como John Krasinsky,[18] Mindy Kaling,[19] Ellie Kemper,[20] Jack McBrayer.Celebridades como Dr. Joyce Brothers, Nipsey Russell, Abe Vigoda, James Lipton, Bob Saget y William Preston, también hicieron apariciones frecuentes en los sketches en diferentes períodos del programa.Los invitados del programa también aparecieron ocasionalmente en sketches, ya sea durante las entrevistas o en los segmentos de comedia anteriores, por ejemplo, en “In The Year 2000” (en el año 2000) (que siempre contó con la participación de un invitado famoso después de que Andy Richter dejó el programa) o un sketches donde Conan fingía escribir en su diario mientras que una invitada atractiva estuviera allí.Después de la grabación del programa O'Brien cantó “End of the Show Song", que nunca salió al aire en el programa Late Night, aunque en febrero de 2009, un video fue publicada en Late Night Underground.El programa fue transmitido desde los NBC Studios en Burbank California con un estudio temático, muy similar en diseño a la serie de Nueva York, algunos de los invitados esa semana fueron Jay Leno, Lisa Kudrow, Ben Affleck y Arnold Schwarzenegger.Conan entonces fue tan lejos como para tener la bandera de Finlandia muestra en el fondo durante un discurso y calumniado de los finlandeses "odiado" a su vecino Suecia, con un letrero que decía "Suecia Sucks!"El incendio se produjo en la madrugada del jueves, lo que dejó al personal muy poco tiempo para montar un programa en otro lugar.John Mayer envió un video de despedida para O’Brien, diciendo que en Los Ángeles «lo iban a comer vivo», también estuvieron Abe Vigoda, quien no pudo trasladarse a Los Ángeles con el equipo y Will Ferrell, caracterizado como George Bush.El estudio de Late Night ha sido cambiado algunas veces, pero manteniendo la estructura básica de Late Night with David Letterman, había un espacio a la izquierda del televidente, en donde se realizaba el monólogo y las presentaciones musicales, y el escritorio a la derecha, mientras que The Max Weinberg se ubicaba a la esquina izquierda del televidente.