女性問題が発端で伊藤は首相を辞任しても、再び返り咲き、結局4回も総理大臣に就任している。

　明治天皇は伊藤に日露戦争開戦直前には「前もって伊藤の考えを聞いておきたい」「東京を離れてはならぬ」とまで命じるほど信頼を置いていていた。

　伊藤に私財がほとんどないことを知った明治天皇は10万円のお手許金を与えている。

　当時、教員や警官の初任給が月に8～9円。大工や工場の熟練技術者で月20円だったことからすると、現在の価値で約20億円にあたる。

　その際、明治天皇は伊藤の女性スキャンダルが連日、新聞を賑わせていたことを挙げ、女は程々にするよう苦言を呈した。

　すると伊藤は、「博文をとやかく申す連中の中には、密かに囲い者（愛人、妾）など置いている者もいますが、博文は公許の芸人どもを公然と呼ぶまでです」と応えたという。

　国家百年の大計ともいえる大仕事を成し遂げ世間的にも名声を得た伊藤が、これほど直情に女性との愉悦に入れ込んだのは、芸者道楽が自身に生命を吹き込み、情熱をもたらす原動力だったからであろう。

　伊藤は地方に行った際、指名する芸者は一流の芸者ではなく、二流、三流の芸者を指名するのが常だった。

　その理由として「その土地の一流の芸者には、地元の有力者が後ろ盾になっている。そういう人間と揉め事を起こさないために、予は一流ではなく二流、三流の芸者を指名している」と語っている。

　花柳界では今も昔も、有力者に寵愛されることで箔が付き、自身の値打ちに重みが増すという不文律がある。

　つまり贔屓にしてくれた人が偉ければ偉いほど、花道を歩いた女になるという。