海賊も一目散に逃げ出す伝説の猛者となった？
最後に、為賢にまつわる説話をご紹介したい。
平安時代後期に編纂された説話集『今昔物語集』巻第二十八巻 第十五「豊後の講師（僧尼を管理し、経論を講説する僧官）、謀りて鎮西より上る語」の主人公は、豊後国の講師を務める老僧である。
講師の任期を終えた老僧は、再任して貰うために、財を船に積み、京へ上ろうとした。
航海の途中、老僧は海賊に襲われかけたが、「伊佐入道（法号 能観）」という武士だと偽ることで、海賊を退けたという説話が綴られている。
伊佐入道は、東国での度々の合戦を生きながらえた猛者であり、その名を聞いた海賊たちは、「この船には、伊佐の平新発意（「平」は平氏、「新発意」は発心して新しく仏門に入った人の意）が乗っておられるのか。それは大変だ。ものども、早く逃げろ」と、鳥が飛び去るが如く、逃げ去ったという。
この伊佐入道は、為賢に比定されている。
本当に為賢だとしたら、行賞は得られなかったかもしれないが、荒くれた海賊たちが逃げ出すほど、その勇名は轟いたのだ。
