乳腺癌最常見的部位是乳腺的外上象限。乳腺可以被劃分為四個象限,乳腺癌可發生在任何一箇象限,但外上象限是最常見的。有關資料統計顯示,大約60%的乳腺癌發生在外上象限。這是因為外上象限包含有稱為腋尾部的組織,該部位含有最多的乳腺組織,因此乳腺癌在此發生的機率最高。約12%的乳腺癌發生在乳暈下方,這個區域是乳腺導管彙集的地方,因此較容易發生癌變。另外約12%的乳腺癌發生在內上象限,10%發生在外下象限,6%發生在內下象限。也有部分病例中,腫塊可能累及整個乳腺。
乳腺癌好發的部位也與其組織學型別有關。一般來說,溼疹樣癌更容易發生在乳暈和乳頭的部位;導管內乳頭狀瘤和導管乳頭狀癌則較容易發生在乳暈區;而硬癌、單純癌和伴有髓樣分化的癌則更常見於乳腺的邊緣部位。另外,男性乳腺癌經常發生在乳頭的後下方。