文化元年（1804）久慈郡内大野村（現大子町）、飯村平左衛門の次男として生まれる。
名は平助。文政11年（1828）25歳で、袋田村の桜岡家の入婿となり、間もなく長子・八郎をもうける。
源之允は、妻いさの前夫の子だが、八郎同様に接していた。身長は五尺六寸で力が強く、相撲取りのようであったという。

北郡の初代奉行藤田東湖が天保元年（1832）に郡内を巡視した際、源次衛門を「堅固タシク見ユ」評した。北郡の中で最もきわだった人物であった。天保３年、庄屋にあげられる。
同５年、斉昭公が大子地方を巡村した折には、久慈川沿いに建てられている源次衛門の離れ屋で休息して昼食をとり風光を愛で、その離れ屋を「清流亭」と名付けたので、源次衛門は感激したという。

天保10年（1841）36歳の時にこんにゃくの製造を始める。３台の大型水車でこんにゃく芋を粉にして大量販売し、藩からの推奨もあり成功したので、付近一帯で屈指の富農となる。
嘉永７年（1854）４月、庄屋の中から特に選ばれて山横目列に任ぜられる。藩の山林の監理にあたるとともに、各村の庄屋等の人選、訴訟、警察その他内密の公用に従事する権限を持つ役職であった。また、硝石製造掛にも任命され、火薬に使う硝石を集め、水車で粉砕して藩に納入するようにもなる。
源次衛門は大役を任ぜられたことに感激し、藩にしばしば献金をした。
安政２年（1855）３月には郷士並となり、鉄之介を始め改革派の藩士と交流することも多くなる。
北は奥州、西は大坂まで販路を拡大した粉こんにゃくを正しく売るため、藩からの指示により「こんにゃく会所」の設立を鉄之介が担当、源次衛門が世話掛となり敷地を提供する。これにより、源次衛門は地域一帯のこんにゃく製造業者を支配し、その地位はゆるぎないものとなる。
安政５年、鉄之介が藩命により蝦夷地開拓の足掛かりとして越後水原村へ向かうときには別れの宴を開き、多額の餞別を贈る。

襲撃決行前には、鉄之介に二百両を、また事変後も潜行している鉄之介らに資金を提供。
万延元（1860）年７月、水戸藩領内に戻った鉄之介をこんにゃく会所の裏部屋などを提供し懸命に匿う。
元治元年（1864）に郷士になるも、天狗党西上軍が袋田を通るとともに家を出るが途中で越後へ。
慶応元（1865）年５月、蒲原郡加茂上条村（現新潟県加茂市）で病死。享年62歳。


【参考文献】

桜田門外ノ変、大子史林第２号、郷土文化第６号

桜岡源次衛門邸跡（現在は袋田温泉ホテル思い出浪漫館）