Pollard recibió el mando del ballenero Two Brothers que lo había traído a casa, y este viaje también terminó en desastre cuando el barco chocó contra las rocas frente a French Frigate Shoals, Hawái, y se hundió.

[1]​ Tras el rescate del hundimiento de Two Brothers regresó a Nantucket, donde se instaló en una vida sosegada, tranquila y decididamente no marinera, aunque otros marineros calladamente lo consideraron un "Jonás", o un marinero desventurado.Hizo un solo viaje en un barco mercante y luego pasó el resto de su vida como vigilante nocturno en Nantucket.

"Definitivamente se ganó el respeto de sus hombres", aclara Philbrick, concluyendo: "Pero tuvo dos veces la mala suerte".

Para mí, el hombre más impresionante, aunque completamente modesto, incluso humilde, que jamás haya conocido".

En 1819, Pollard fue nombrado capitán de Essex por los propietarios, Gideon Folger and Sons, y se preparó para zarpar hacia el Océano Pacífico en agosto.

Para completar la tripulación, hubo que reclutar a otros de Cape Cod y Boston.

Pollard declaró que el daño era tan extenso que debían regresar a Nantucket para reparaciones, pero Chase y Joy lo persuadieron de ir hacia las Azores y esperar reemplazar los botes balleneros allí.

Una vez más, el capitán Pollard cedió de mala gana a sus argumentos.

Tres de los hombres optaron por permanecer en la isla y finalmente fueron rescatados por el buque mercante Surry.

Fue en este punto que para sobrevivir a su terrible experiencia, los hombres recurrieron al canibalismo.

Pollard al principio se resistió a esta sugerencia, pero luego cedió ante la mayoría.

Allí se reunieron con los supervivientes del barco de Chase, el propio Chase, Benjamin Lawrence y Thomas Nickerson, grumete del Essex, que había sido rescatado por el buque mercante británico Indian.

Mucho más tarde, el chico de cabina Nickerson escribió su propio relato sobre el viaje La pérdida del barco Essex hundido por una ballena y la prueba de la tripulación en botes abiertos.

[5]​ En 2015, se estrenó el 11 de diciembre una película, In The Heart of the Sea, dirigida por el ganador del Oscar Ron Howard, y en la que Pollard fue interpretado por Benjamin Walker.