Antonio Polemón nació en Laodicea, ciudad fronteriza entre Frigia y Caria (actual Turquía), aunque pasó gran parte de su vida en Esmirna (actual İzmir), donde desde muy joven recibió honores civícos por sus servicios a la ciudad.

Polemón descendía de Zenón, un famoso orador que se ganó un gran prestigio al defender exitosamente Laodicea contra los partos el año 41 a. C. Como consecuencia del apoyo prestado a Roma, Marco Antonio nombró a su hijo, Polemón I, soberano de una parte del antiguo reino del Ponto, y su dinastía conservó el trono hasta que Nerón disolvió el reino para integrarlo en la provincia de Capadocia.

De todas formas la familia conservó lazos con otras monarquías vecinas y, así, Polemón era pariente del entonces rey del Bósforo, Cotis II, quien le contrató como maestro por la enorme suma de 10 talentos.

[3]​ Adriano no solo no tomó ninguna medida contra él sino que, para protegerlo de alguna posible represalia futura, dejó dispuesto en su testamento que debía a Polemón la guía para muchas de sus decisiones, incluida la sucesión en al trono imperial.

Su estilo de oratoria era más imponente que agradable, aunque su carácter era arrogante y reservado.