最初の結婚
矢田部は明治11年（1878）2月末、金澤良斎の娘・録（録子）と結婚している。
金澤良斎は岐阜県出身の陸軍医で、勝海舟の家庭医を務めた（佐井村編『佐井村誌』）。
勝海舟の三男・梅太郎と国際結婚したアメリカ人女性・クララ・ホイットニーの日記（『勝海舟の嫁 クララの明治日記』）の明治11年1月31日には、録はとても小柄で、10年以上、英語を勉強していたことが記されている。
なお、このクララの日記には、矢田部もたびたび登場する。クララは矢田部に「梳き上げて、上でまとめた髪型と、金髪が好きだ」と言われたと綴っている。
非職
東京大学の教授となった矢田部は、全国各地へ赴いて植物を採集し、分類、標本化するなど、植物分類の研究に邁進した。
大学の講義は、英語で行ったという。
明治17年（1884）には、牧野冨太郎の植物学教室の出入りを許している。
明治19年（1886）3月に帝国大学（帝国大学令により、東京大学から改称）理科大学教授兼教頭となり、12月には訓盲唖院（東京盲啞学校の前身）の校長を兼任した。
明治20年（1887）10月3日、妻の録が30歳の若さで死去している。
明治21年（1888）3月には、東京高等女学校の校長も兼任となった。
同年5月には理学博士号が授与され、鳩山和夫夫妻の媒酌で、柳田順（シユン）と再婚した。柳田順は、ドラマの田邊教授の妻・聡子のモデルと思われる。
順調にキャリアを重ねていった矢田部だが、明治24年（1891）3月、理科大学教授を非職（身分・地位はそのままで、職務を解かれること）となり、明治27年に免官となった。
だが、矢田部はここで終ったのではない。
明治28年（1892）からは高等師範学校の教授となり、明治31年（1898）4月には高等師範学校附属音楽学校の教授を兼任し、6月には高等師範学校長に任じられている。
ところが、明治32年（1899）8月、夏期休暇中に、ドラマでも触れられたように、鎌倉で溺死した。
