炎上したホテルニュージャパン
その後、彼はこの財を惜しみなく投資して企業の「乗っ取り」を始める。1950年、目を付けたのは東京日本橋の老舗デパート白木屋だ。白木屋株を買い漁り、当時の白木屋社長を「何処の馬の骨かわからん奴に伝統あるこの店が乗っ取られてたまるか!」と嘆かせたという。
結局、総会屋も交えてすったもんだの挙句に横井氏は東急の五島慶太氏を頼り、この乗っ取りを諦める。以後、彼は五島氏を師と仰ぎ経営を学んでいく。
だが元来の金銭への執着からか、借金を踏み倒そうとする。その取り立て依頼を受けたヤクザ安藤組の安藤昇は横井を銃撃、が、奇跡的に横井は命だけは取り留めた。
しかし、横井氏はくじけない。1958年には箱根の高級ホテル「富士屋ホテル」の乗っ取りを計画し、もう一人の乗っ取り屋、国際興業社主小佐野賢治氏と対立する。しかし、児玉誉士夫氏らの寝返りもあり、これも小佐野氏に軍配が上がった。1966年、児玉邸で株の受け渡しが行われたが、その際、横井氏が譲渡する株の代金数億円分の一万円札を小佐野氏、児玉氏の前で一枚一枚手で数え上げ、2人を呆れさせたというエピソードは有名だ。横井氏とはそういう人物だった。
そして横井氏は、1979年、東京・永田町の「ホテルニュージャパン」を買収した。ホテルニュージャパンは都内の一等地にあり知名度は高かった。社長に就任した彼は、ホテル経営には全くの無知だった。そんな人物が経営の徹底的な“合理化”を画策する。そして、惨事は起こった。
1982年2月8日、外国人客の寝たばこが原因で火災が発生、ホテル全体を焼き尽くした。私はこのニュース画面を見て言葉が出なかった。炎に焙られながらカーテンを握りしめて下へと逃げる男性、熱さに耐えきれず飛び降りる女性……テレビ画面では信じられないような光景が展開していた。この火事で33人の命が奪われた。

横井氏は消防庁の勧告を無視してスプリンクラーも設置せず、自動火災報知設備の点検整備も怠り、内装の耐火素材への改修もしていなかった。彼の金銭哲学が招いた惨事だった。
また、火災発生の報を受けて彼が真っ先に従業員に命じたのは「高価な家具を早く運び出せ」だったと言われている。