天保14年(1843)萩藩士・井上勝行の三男として萩で出生。文久３年(1863)伊藤博文ら５人とともに上海に渡航、同年９月にロンドンに遊学し鉱山学及び鉄道の実業を研究して明治元年帰国。明治４年鉱山頭兼鉄道頭となり、以後、鉄道局長、工部大輔、鉄道庁長官などを歴任。この間、わが国初めての鉄道、新橋～横浜間を開通させたのをはじめ、神戸～大津間、東海道線などの建設工事を陣頭に立って指揮監督。とりわけ、京都～大津間の敷設には、初めて日本人だけの手で工事を完成させ、わが国の鉄道技術自立の契機となる。明治44年鉄道院顧問となり、欧州鉄道視察中にロンドンで客死。享年68歳。