Na era da Guerra Fria Nevada, uma equipe de agentes do CDC investiga um local de testes nucleares conhecido como "Nuketown", onde são atacados por zumbis. Dr. Edward Richtofen é ouvido através de uma televisão, realizando seu esquema na Lua. Richtofen assume o controle dos zumbis entrando no Aether, mas o Dr. Ludvig Maxis trabalha com sua filha Samantha e os ex-aliados de Richtofen, Tank Dempsey, Nikolai Belinski e Takeo Masakai para frustrá-lo. Para isso, a Maxis lança três mísseis nucleares maciços preenchidos com o Elemento 115, o elemento responsável pela reanimação das células mortas, na Terra, destruindo-a. Um míssil destrói completamente Nuketown e todos os presentes.
Anos depois, a Terra foi reduzida a um terreno baldio infernal em ruínas, invadido por zumbis. Neste novo mundo, quatro sobreviventes - Samuel J. Stuhlinger, Abigail "Misty" Briarton, Marlton Johnson e Russman - se uniram para sobreviver em Washington com a ajuda de um ônibus dirigido por um motorista robótico. Os quatro são contatados por Maxis, agora uma IA renderizada digitalmente, que está buscando a ajuda da humanidade contra Richtofen. Maxis implora que eles liguem uma torre em um milharal usando um zumbi baseado em eletricidade. No entanto, Richtofen contata Samuel, que é capaz de ouvir vozes do Aether, e ordena que ele convença seus amigos a ligar a torre a seu favor. O jogador pode escolher seguir as ordens de Maxis ou Richtofen. É revelado em transmissões de áudio que sobreviventes de todo o mundo foram contatados por Maxis e Richtofen, embora haja um conflito generalizado entre os seguidores de ambos os alemães; particularmente em um assentamento conhecido como Jackass Flats, que inicialmente era um porto seguro, apenas para cair para os zumbis quando o conflito Maxis-Richtofen o consumiu.
Independentemente de quem eles escolherem para ajudar, os quatro são teletransportados para um horizonte em ruínas em Xangai, na China. Aqui, Richtofen ordena que Samuel "conserte a fenda" e aceite seu destino como seguidor de Richtofen, ameaçando expor seu passado como membro de um culto canibal conhecido como The Flesh, que come carne de zumbi para sobreviver. Richtofen revive continuamente o grupo sempre que eles caem para os zumbis até que eles sigam suas ordens. Maxis, que não é mais prejudicado por aparelhos elétricos, volta a entrar em contato com o grupo para pedir ajuda. Os quatro aprendem através de televisões espalhadas pela área da Carne, bem como o início de uma nova praga aérea do Elemento 115, o elemento que reanima células mortas e causa zumbis.
Após suas batalhas em Xangai, Russman lidera o grupo através dos continentes para um grande buraco no solo conhecido como "o Rift" na África, na esperança de encontrar respostas sobre as forças invisíveis que os comandam. Maxis e Richtofen os contatam mais uma vez, mais desesperados do que nunca para alcançar seus objetivos. Ambos pedem ao grupo para ligar a terceira e última torre a seu favor. Maxis promete curar a Terra, e Richtofen promete salvá-los de Maxis. Os quatro ganham um novo aliado na forma de um gigante mudo e sem nome em uma cidade ocidental construída no subsolo, e são impedidos por uma mulher fantasma em uma enorme mansão. Dependendo de quem o jogador ajudou na história, existem dois finais possíveis. Se o jogador ajudou Richtofen, ele ganhará poder ilimitado sobre o Éter e a Terra, matará Maxis e condenará a alma de Samantha Maxis à condenação eterna. Ele então entrará no corpo de Samuel como recompensa por sua ajuda, mas descobre que não pode sair dele e está à mercê dos zumbis como antes. Se o jogador ajudou Maxis, ele usa o poder das torres para entrar no Aether e assumir o controle final, prendendo Richtofen no corpo de um zumbi. No entanto, a Terra começa a tremer, e Maxis explica aos quatro que está iniciando o processo de destruição da Terra e da humanidade para chegar a Agartha, onde ele acredita que Samantha está.
Sem o conhecimento de todos, Samantha está de fato em Agartha (onde seu pai finalmente não consegue entrar), mas procura seu pai na França de 1918 durante a Primeira Guerra Mundial. Maxis é líder do Grupo 935, que opera para garantir a vitória da Alemanha na guerra. Para este fim, eles criaram robôs mecânicos imponentes, armaduras e cajados que controlam os poderes dos elementos. O Grupo 935 também se depara com uma antiga tumba que se acredita ser de origem Vrill, mas isso desencadeia o primeiro surto de zumbis conhecido na história. Com o objetivo de parar a Alemanha, o Japão, a Rússia e os Estados Unidos da América enviam Takeo, Nikolai e Dempsey para capturar Richtofen, o cérebro por trás da tecnologia avançada. A essa altura, os agentes do Grupo 935 foram exterminados, e o próprio Maxis foi lobotomizado quando começou a se transformar em um zumbi. O grupo deixa de lado suas nacionalidades para lutar contra os mortos-vivos e é contatado por Samantha, implorando para ser libertado de Agartha. Richtofen coloca o cérebro de Maxis em um drone voador, e ele se junta à luta contra os zumbis e para libertar Samantha. O grupo acaba tendo sucesso e, enquanto Maxis conhece sua filha, eles entram em Agartha para serem recompensados.
Black Ops II é o primeiro jogo da franquia Call of Duty a apresentar tecnologia de guerra do futuro e o primeiro a apresentar histórias ramificadas impulsionadas pela escolha do jogador, bem como a seleção de armas antes de iniciar as missões do modo história.