1907（明治40）年と10年、関東地方は超大型の台風に襲われた。中でも10年の大洪水では、利根川と荒川で堤防が相次いで決壊し、合わせて800人を超える犠牲者を出した。帝都は濁流に水没した。関東地方の壊滅的な被災状況に内務省が動き出し、「荒ぶる川」荒川の大洪水をいち早く東京湾に落とし込む放水路を開削することになった。

青山は帰国後、内務省に採用された。パナマ運河開削工事での実力が評価されたことは言うまでもない。1915（大正4）年10月30日、青山は岩淵水門工事主任となる。岩淵水門は荒川放水路建設工事の中でも最重要であり、最難関工事とされた。底なしの軟弱地盤のためである。青山は経験と知識を生かして、日本国内では実験段階であった鉄筋コンクリート工法を導入した。当時の常識を打ち破り、20mも河床を掘り下げて巨大な水門の建設に着手した。青山の岩淵水門設計では、5つのゲートに分かれており、5番ゲートだけを通船用とする特殊な構造となっている。旧荒川（隅田川）に常に毎時一定の水量830m³を流し、放水路には洪水時などの高水量の大部分を放水する要の水門である。

青山が内務省首脳の反対を押し切って設計施工した開閉自在な岩淵水門は、1923（大正12）年の関東大震災の際にも被害を受けず、戦後の地盤沈下にも耐えて、その役割を終えた今日でも記念碑的にその姿をとどめている。

青山は岩淵水門建設工事中のある年の暮れに、工事作業員全員を水門近くに集めて「野外天ぷら大会」を開き、日本酒を振る舞って1年間の労働をねぎらった。「天ぷら大会」の経費は、主任青山個人で全額負担した。

1918（大正7）年7月22日、青山は荒川改修事務所主任となり、荒川全改修と同放水路開削工事のすべてを任される。41歳。荒川改修工事の起点は埼玉県大里郡武川村（現深谷市）で、同村より東京湾に至るまでの約80kmが担当区間である。

1919（大正8）年9月3日、若手の技師宮本武之輔が着任し、放水路下流部の難工事である小名木川閘門の設計施工を手掛ける。

英才宮本が生涯書き続けた「日記」はつとに知られており、1920（大正9）年3月7日の項に「青山論」が出てくる。宮本は、荒川改修工事にかかわっている青山を含む内務技師（技術官僚）8人に呼び掛け、東京・本郷の小料理屋「豊岡」で懇談した。内務省内での事務官僚に比較して技術官僚の地位の低さ・昇進の遅さを宮本は指摘し、「技術者の団結」を訴えた、と書いている。

内村鑑三の非戦論を信じる内務技師青山は、機械学会の講演の中で重要な指摘をする。

「（東京を荒川の水害から全く除くように完成するまでには）都合2,945万円要ることになります。2,945万円と言うと大分大きな金のように思われますが、軍艦1艘拵えれば3,200万円が掛ることであります。軍艦たった1艘、それで荒川の水害を除くことが出来るのであります。（中略）今荒川の上流の方も改修を始めて居りますが、上流の方は熊谷から赤羽の鉄橋まで其の工事を混ぜますと、上下其れで6,300万円位掛かりますが、まあ軍艦2艘でそれが出来る訳であります。そうすると百姓が助かる、新隅田川の沿岸に工場を持っている方々も非常に助かる。それのみならず、洪水が出るといつも人も死にますが、そうゆうことを思いますと私共は始終泥まみれになって仕事をしておりますが、御互い少しばかり不便は忍んで仕事をしても宜いと思って、毎日毎日泥を掘って居ります」

青山は間接的表現ながら軍艦建造と水害防止では、どちらが国民にとって有益かと問いかけている。

また青山は土木・建築・資材業者の贈り物を一切拒否した。「父が荒川の放水路の仕事をして居ました頃、工事の材料を納める業者が色々と贈り物の様なものを持って来ては、その検査を大目に見てくれとか、其の他自分の利になる様に頼みに来たものだそうです。勿論父はそういうものを受け付けず、その上かえって其の様な事を頼みに来た業者には検査の眼を厳しくして、材料其の他、工事に関係した事には最善最良の手を尽くしたと云う事でございます」。（「父の思い出」草野めぐみ（三女））

1923（大正12）年9月1日、マグニチュード7.9の激震が東京や横浜など関東南部を直撃した。関東大震災である。

この大震災では、6,000人以上の在日韓国・朝鮮人と700人以上の在日中国人が虐殺されたともいわれている。まったく事実無根の流言蜚語（デマ）を信じて自警団に組織させられた日本の民衆が軍隊、警察とともに行ったものであった。関東大震災を契機にして以降、国民総力戦体制の構築が準備され、日本ファシズム体制への布石となった。

荒川放水路の工事現場では28カ所で地盤の陥没や亀裂を生じ、18カ所の橋の一部が崩れる被害が出た。工事現場には朝鮮人の遺体が多数投げ込まれた。現場で働いていた朝鮮人労働者の遺体もあった。青山は不眠不休で現場監督にあたり、何日か後に現場から延々歩いて田端の自宅に帰った。彼は事務所にかくまっていた5人の朝鮮人労働者を密かに連れて来た。「彼らを奥の離れの部屋にかくまって、手当てをしてやってくれ。誰にも話してはならぬ」。青山は妻むつに命じた。朝鮮人労働者は片言の日本語しか話せなかった。

1924（大正13）年10月12日、着工から14年経った。荒川放水路通水式が、岩淵水門右岸の広場で盛大に挙行された。全長22kmの新放水路は「荒ぶる川」荒川の流れを変えた。旧荒川は、岩淵水門までを新河岸川、水門より下流を隅田川と呼ぶようになった。放水路の象徴ともいえる岩淵水門は、地元民から「赤水門」と愛称され、東京・北区のランドマークとなった。水門の近くに設置された放水路完成記念碑は、それまでの常識を打ち破って楕円形のものである。青山は、地元の浮間地区に群生する桜草をあしらった記念碑の碑文に「此ノ工事ノ完成ニアタリ多大ナル犠牲ト労役トヲ払イタル我等ノ仲間を記憶センガ為ニ 神武天皇紀元二千五百八十二秊 荒川改修工事ニ従ヘル者ニ依テ」とのみ刻ませた。最高責任者であり功労者である主任技師青山士の名前は刻まれていない。

1924（大正13）年に、勅任官（勅任により任用される高級官僚）となった青山は、翌年9月、勲四等瑞宝章を受けている。泥と汗にまみれて闘った荒川放水路の完成が「模範工事」と認められたことを意味する。荒川放水路（今日の荒川下流）は47（昭和22）年の超大型カスリーン台風の襲来の際、水位が堤防の高さまで届く8.6mにも達した。が、堤防が切れることもなく、また氾濫することもなく、青山の設計通り水門の機能が最大限発揮された。今日に至るまで首都東部に大洪水をもたらすことなく、流域住民の暮らしを守っている。国際都市東京の驚異的繁栄を支えている。

1926（大正15）年、内務省は荒川放水路の完成が見えてきた段階で、主任技師青山に鬼怒川改修工事計画の作成を命じた。鬼怒川は流路延長176.7kmで、利根川支川の中では最大であり、洪水・氾濫を繰り返していた。上流（栃木県）から下流（茨城県）までの総合的治水策に挑戦するのである。青山が手掛けた総合計画は3点に絞られる。

（1）〔上流対策〕堰堤（ダム）建設：
最上流の栃木県塩谷郡三依（みより）村関門（現日光市）にロックフィル・ダム（岩石を積み上げて構築するダム）を建設する（現五十里（いかり）ダム）。

（2）〔流域対策〕河道改修：
蛇行が甚だしく洪水の流下に支障のある宗道河岸付近については、これを解消するため新たに直線河道を開削する。この時、内務省土木局が鬼怒川改修工事の一環として計画したのが鎌庭捷水路（しょうすいろ）（ショートカット）掘削工事である。鬼怒川右岸大形村大字鎌庭地先（現下妻市千代川）から下流に向かって短絡する直線コース・延長2,050mの新しい河道を掘削し、従来の湾曲部の河道を2,350mも短縮させる計画であった。上流や下流の流れに大きな影響をもたらす工事でもあった。

（3）〔下流対策〕遊水地築造：
洪水調節のため、利根川本川沿いの千葉県田中村（現我孫子市）から我孫子町（同）にかけて田中遊水地を、また茨城県北相馬郡の菅生（すがお）沼に遊水地をそれぞれ築造するものとする。

青山の鬼怒川治水計画は戦後になってほぼ計画通り実現された。