下田歌子は日本の女子教育の先駆けとなった順心女学校や実践女子学園を設立した才媛である。
歌子は伊藤の妻、梅子に和歌を指南していた歌人でもあったが、学校の設立を伊藤に相談している際、2人は不倫関係に陥り情事に耽った。
日本でのゴシップ報道の先駆者として、権力者のスキャンダルについて執拗なまでに追及した『萬朝報』は、「大勲位侯爵伊藤博文の猟色」と題し、3姉妹を愛人にしたと報じている。
それによると伊藤家に出入りしていた大工、田村半助の長女の喜勢子を妾にした際には高級住宅街、麻布の豪邸を与えたとして、『萬朝報』はその妾の名前と豪邸の住所を掲載。
この記事の影響か、喜勢子はまもなく病死してしまう。
すると今度は妹、つね子を妾にしたが、こちらも19歳で急逝。今度は三女の雪子16歳を妾にしようと試みるも娘2人が早逝した父親は、この申し出に難色を示す。
すると父親に莫大な金品を与え懐柔。当時、伊藤は還暦間近。雪子は瑞々しい16歳、孫にあたる年齢だった。
女にはカネを惜しげもなくつぎ込んだが、自身の暮らしぶりは質素だった。
食事も普段は粗末で衣類や住居にも頓着なく、人から高価な珍しい物をもらっても、惜しげもなく友人に与えた。
首相官邸が造られたのも、伊藤の女性への情動が起因している。
それは伊藤が総理大臣在任中、女で莫大な借金が膨らみ、返済に困って家を売ってカネにしようとしていたことによる。
家なしの総理大臣では困る、と明治政府は首相官邸を建てたのだとか。
しかし、官邸からほど近い置屋「赤坂林家」の若い芸者・浜子に心惹かれた伊藤は建てられたばかりの官邸に引きずり込んでは毎晩、三味線を弾かせるなど酒宴に耽った、と権力を諷刺する新聞は報じている。