外国人が必然的に日本女性を求める外国人用遊郭には、あらゆる問題が含まれていた。

　日本女性の妾の問題、遊女の取り締まりや、遊女との間に生まれた混血児、外国人が雇い入れた日本女性の海外渡航と、その懸念は多岐にわたった。

　幕府は港に近い太田屋新田（現在の関内あたり）に遊廓を建設することを計画。

　外国奉行は、民間の事業を認可する方法で、現在の横浜公園あたりに約1万5000坪を希望事業者に貸与することで遊廓建設の担い手を募った。

　遊廓建設は、北品川宿の旅籠「岩槻屋」佐吉、神奈川宿の旅籠屋善次郎など5人による共同事業で始まった。しかし、そこはまだ新しい開墾地で辺り一面が沼地状態だった。

　その沼地を固め、堅牢な建物用の土地にする難工事に事業者は次々と脱落、残ったのは「岩槻屋」佐吉だけとなった。

幕府は娼婦をいかに管理したのか

　安政6年（1859年）の開国、そして横浜開港と同時に幕府公認で開業した遊郭は、その構造は江戸の吉原遊郭、外国人の接待方法は長崎の丸山遊郭に倣い、港崎（みよざき）遊郭と命名された。

　外国人専用の遊女の抱え入れは、宿場女郎（飯盛女）以外の女をあてるのが幕府の方針だった。

「岩槻屋」佐吉らは人を諸国に周して、遊女となる女性を集めようと試みた。

　だが、当時、夷狄と蔑まれた外国人との肉体関係が前提となる娼婦に、自ら好んで身を任せるような女性はほとんどいなかった。

　娼婦たちを集められない佐吉たちは、やむを得ず奉行所の許可をとり、神奈川宿旅籠の飯盛女50人を駆り集め急場を凌いだ。

　そのため、港崎遊郭は開業当初、粗野な飯盛女で占められた。