中でも岩倉具視の娘、戸田氏共伯爵に嫁いでいた極子(きわこ)は鹿鳴館の華と賞されるほどの貴婦人だった。
極子は顔立ちが鮮麗かつ優雅で、全体的に高貴な香りに包まれていた。人妻ならではの麗しい情感があり、男なら誰もが、いつかは組み敷きたいと願う高嶺の花だった。
「強引でない男が、いい女を落とした試しはない」ということわざがある。
伊藤は自身が主催した首相官邸での大仮装舞踏会(1887)で、煌びやかな鹿鳴館の華、人妻の極子を官邸の庭に連れ出すと、茂みに押し倒し情痴を迫る。
それがマスコミの知れるところとなり「大野心を充たさんが為の卑猥なる遊戯会の開催」「官邸の裏庭で鹿鳴館の華と情交に及ぶ」などと報じられ大騒動となった。
だが、その後、極子の夫、戸田氏共伯爵は異例の出世を遂げることになる。それは伊藤が権力の発動により、煩累が及ばないようにしたためではないかと囁かれた。
伊藤には東京、大阪、広島だけでなく全国各地に数多くの愛人がおり、出張の度に贔屓にしている芸者のもとを訪れた。
重要な仕事の最中であっても芸者道楽に興じた伊藤は、日清戦争(1894-1895)の最中、大本営の本部が広島城に置かれていた際、首相として戦争指揮のため広島入りをしていた。
当時、講和交渉中に清国側の代表である李鴻章が狙撃される事件が起きた。その報告を受けている最中、伊藤は横に芸者・光菊をたずさえていた。
首相を辞職した1897年、実業家で貴族院議員の瀧兵左衛門の名古屋の別荘で過ごしていた際、17歳の芸者・桃吉を見初めると、議会開会中でも頻繁に桃吉に逢瀬を重ねた。
桃吉が「成田山にお参りしたい」と言えば、名古屋から千葉に向かい、ともに参拝。首相を務めた政治家が公然と芸者を連れ歩くことは、前代未聞であった。
伊藤の女性を慈しむのは芸者だけでない。