Yakuza 4 retoma a história de Yakuza 3 um ano depois e leva o jogador de volta a Tóquio. A história começa quando um homem é morto a tiros no território governante do Clã Tojo, organização que apareceu em todos os jogos da série até hoje. Uma pequena gangue pertencente ao Clã Tojo tenta apurar o que aconteceu e seu líder logo é encontrado morto a facadas. Esses eventos causam uma batalha acalorada entre quatro homens por dinheiro, poder, status e honra. A verdade torna-se aparente à medida que mentiras, traições e histórias entrelaçadas são reveladas e quando estes 4 homens inabaláveis se juntam, nasce a nova lenda de Kamurocho.
Yakuza 4 é o quarto jogo da série de drama policial da Sega, conhecida como ‘Ryu ga Gotoku’ no Japão. Pela primeira vez na série, a história é dividida entre os pontos de vista de quatro protagonistas diferentes.