平沢常富は享保20年（1735）、江戸で生まれた。　寛延3年（1750）生まれの蔦屋重三郎より、15歳年上となる。　父は幕府寄合衆の家士・西村家の西村平六久義、母は黒川兵右衛門武貞の娘である。　父・西村平六久義も黒川氏も、寄合衆・佐藤三四郎豊信の家士だった。　8歳の時に俳諧、鼓を習い、神童と称されたという。　寛延元年（1748）、14歳の時、秋田藩江戸詰の平沢常房に養子入りし、名を常富とした。　平沢常富は秋田藩士として、出世コースを歩んでいく。　御小姓、御勝手世話役、御刀番などを経て、安永7年（1778）、44歳で留守居助役となった。その後、留守居本役を経て、天明4年（1784）に留守居役筆頭