雅号を「天籟」「巳堂」などと称した。七言絶句「宇宙倀然百代流……」と書写し、「天籟」の下に陰刻印「大木遠」と陽刻印「天籟」の落款印を押す。
大正１２年２月１１日に「大東文化協会」が創立され、その初代会頭が大木遠吉であった。のちの大東文化学院設立に関わった中心的人物の一人である。
貴族院議員。第１９代原敬内閣（大正７年９月29日成立）の司法大臣（ただし就任は大正９年５月.15日）。第２０代高橋是清内閣（大正10年11月13日成立）の司法大臣。第２１代加藤友三郎内閣（大正１１年６月１２日成立）の鉄道大臣などを歴任する。