Het verhaal speelt zich iets later af dan dat van zijn voorganger, namelijk eind jaren 40/begin jaren 50 van de vorige eeuw, en is opgedeeld in chapters (hoofdstukken). Opnieuw zal de speler zich moeten bewijzen bij de invloedrijke maffia om zodoende meer aanzien te krijgen en zichzelf op te werken binnen de familie. Het eerste deel, Mafia: The City of Lost Heaven, hoeft niet gespeeld te worden om het tweede deel te begrijpen, want het zijn twee verschillende verhaallijnen. Mafia II verklaart wel wie de moordenaars van de toenmalige protagonist van Mafia waren.
