先妻・もと(
三沢精確の三女)との間に3男3女を、後妻・とを(
大前寛信の三女)との間に四男・俊夫をもうけた。長男・泰一は1873年10月1日に1歳で、次男・正次郎は1876年10月1日に同じく1歳で夭折したので、麟祥の死後箕作本家の当主及び爵位は三男・
祥三が継いだが、祥三が独身のまま他界したので祥三の死後その異母弟にあたる
俊夫が家督と爵位を継いだ。また次女・茂子は1882年4月5日に12歳で早世したが、長女・貞子は
動物学者の
石川千代松に、三女・操子は
物理学者の
長岡半太郎にそれぞれ嫁いだ。ちなみに麟祥の"麟"は
麒麟の一文字だが、伝説の動物である麒麟にちなんで、実在する動物である
キリンを命名したのは、石川千代松によるものである。