手羽先 | 国産LLMを作る人

5,970 posts

手羽先 | 国産LLMを作る人

@Tebasaki_lab

某国産LLM氏。国産LLMを作る尖ったプログラマー（その他なんでも） TGCA'25←SecHack365'24←ビジコン'24全国大会準優勝←福岡未踏'23 Pro ZEN大学1期生特待生採択 Contact：magicdelta.ai/contact/

東京新宿区chickensblog.com/new-japan-llm/Joined December 2022

573 Following

6,375 Followers

手羽先 | 国産LLMを作る人’s posts

Pinned

手羽先 | 国産LLMを作る人

@Tebasaki_lab

Aug 13

外部ライブラリや二次元配列も使わずにニューラルネットワークを作り、AIエンジニアを驚かせましょう！

$The image shows a vibrant, colorful interface of a block-based coding platform, likely Scratch, displaying a project involving a neural network. The screen is divided into sections: a left panel with draggable coding blocks in various colors (orange, blue, pink), a central workspace with stacked blocks forming a program, and a right panel showing a cartoon character and a large number "7" on a grid, possibly representing an output or visualization. The post text by 手羽先 | AIエンジニア (@Tebasaki_lab) encourages creating a neural network without external libraries or 2D arrays, suggesting an educational or innovative tech challenge. Japanese text overlays, including menu options and labels, are visible, indicating the platform\'s localization. No platform watermarks like Instagram, TikTok, or Xiaohongshu are present.$

友達が送ってきたexeファイルを実行したらPC画面が猫ミームで汚染されて草もうウイルスやん

自作ビジュアルプログラミング言語、アゴが外れる問題は解決したのに今度はブロックが逃げるようになって困ってる

0:11

国産LLMを作ることになってしまった。楽しみすぎる。最強の和製LLMを作ります。

ビジュアルプログラミング言語を自作したらブロックが永遠に伸びて吹いたww

0:03 / 0:29

真夜中2時とかに国産LLM作るツイートしてから通知とフォローが止まらない、なんで、やばすぎる

The image is a screenshot of a social media post by the user 手羽先 | AIエンジニア (@Tebasaki_lab). The post text mentions that after tweeting about creating a domestic LLM (Large Language Model) at 2 AM, notifications and followers have not stopped coming in, expressing surprise and overwhelm. The screenshot shows a conversation thread with various users reacting to the original post. The reactions include likes, replies, and comments from users such as honeplus3, myao3, and nizert3, discussing the development of the LLM and expressing interest or surprise. The image is clear, well-lit, and in focus, with text overlay from the social media platform.

まさか自分が最強GPUをぶん回して和製LLMを作る日が来るとは思わなかった。

Quote

手羽先 | 国産LLMを作る人

@Tebasaki_lab

Aug 22

国産LLMを作ることになってしまった。楽しみすぎる。最強の和製LLMを作ります。

新社会人1ヶ月目の本棚

ちなみにGPUを大量に使う気はないので(使っても日本は勝てる訳が無いしそこに価値はない)、既存のGPUに何千万何億円の世界からは解き放たれるシリコンとニューロンに優しいLLMを作ります。何年かかるかな…。気長に待ってていただけると助かります。2045年までには間に合わせる。

Quote

手羽先 | 国産LLMを作る人

@Tebasaki_lab

Aug 22

国産LLMを作ることになってしまった。楽しみすぎる。最強の和製LLMを作ります。

急遽、国産LLMモデルの開発着手についての詳細についてブログを書きました。具体的な技術や今後の開発、Q&Aなど載せております。古い自作ブログに残しておきたかったのでデザインなど気にしないでください。国産LLM開発着手について - GPUで戦うな

国産LLM開発着手について - GPUで戦うな

From chickensblog.com

これ、「本をわざわざ買わなくて良い」みたいに馬鹿にしたりする人が一定数いるので、嫌だなーと思ってます。大学で習うことだ、とか。ただ、自分が好きで今読んでる本棚を共有しただけなんですけどね…。どの本にも素敵なところがあるし、本を書かれた方にも失礼だと思うんですよね。

Quote

手羽先 | 国産LLMを作る人

@Tebasaki_lab

May 5, 2024

新社会人1ヶ月目の本棚

世界中の天才や企業たちが何千億かけて作ってるモノなのですぐには出来るわけないですが、進捗は共有するのでよろしくお願いします！特定ドメインの勝負になる可能性はありますが、未来に名を残すまでコミットしていきます。違うベクトルで攻めるので新規性はある！

Quote

手羽先 | 国産LLMを作る人

@Tebasaki_lab

Aug 22

国産LLMを作ることになってしまった。楽しみすぎる。最強の和製LLMを作ります。

やばい、全国からDMに天才エンジニアたちが集ってきてるw 感謝！！！

Quote

手羽先 | 国産LLMを作る人

@Tebasaki_lab

Aug 22

国産LLMを作ることになってしまった。楽しみすぎる。最強の和製LLMを作ります。

Scratch3.0で、ライブラリを使わずにニューラルネットワークを作ってみました！動画では、MNISTというデータセットの数字を認識したり、実際に自分が入力した文字をニューラルネットワークが推論しています！ #Scratch #ニューラルネットワーク

0:02 / 1:13

国産LLMとしての勝ち筋はこれだと思います。圧倒的な推論と学習速度。日本はアニメや漫画が強いので、そこに使うだけでもエンタメとして最強。学習と推論が高速化されれば、GPUでは敵わない領域の開拓や動画生成、画像生成などへの技術転用も可能で、一気に日本が基盤技術になる可能性があります。

The image is a screenshot of a tweet from the user @Tebasaki_lab, discussing the potential advantages of domestically produced large language models (LLMs) in Japan. The text highlights the importance of high inference and learning speeds, suggesting that Japan's strengths in anime and manga could make these models particularly powerful in entertainment. It also mentions the potential for Japan to lead in foundational technology if learning and inference speeds are improved, enabling applications in video and image generation. The image contains Japanese text detailing technical aspects like token counts and computational efficiency.

Quote

手羽先 | 国産LLMを作る人

@Tebasaki_lab

Aug 23

急遽、国産LLMモデルの開発着手についての詳細についてブログを書きました。具体的な技術や今後の開発、Q&Aなど載せております。古い自作ブログに残しておきたかったのでデザインなど気にしないでください。国産LLM開発着手について - GPUで戦うな chickensblog.com/new-japan-llm/

通知が夜中から鳴り止まなくて、やばいなと横転してます。フォロワーも1500人→2500人と、少なくとも国産LLMのツイートで1000人増加、3000いいね、37万表示。有名人でもなければ天才プログラマーでもないのに応援いただけるとは思っていなく、インパクト出せそうで楽しみです。

The image is a screenshot of a social media post from the user 手羽先 | AIエンジニア (@Tebasaki_lab). The post text mentions that notifications have been going off incessantly since midnight, leading to a significant increase in followers from 1500 to 2500, likely due to a tweet about a domestic LLM (Large Language Model). The user expresses surprise and gratitude for the support despite not being a celebrity or a genius programmer. The screenshot shows a typical social media interface with various icons, text, and user interactions, including likes, retweets, and comments.

自作アプリを爆速で作りたい ↓ 自作ゲームエンジンを作ろう ↓ Scratchより強力なビジュアルプログラミング言語を作りたい ↓ めっちゃ大変 ↓ ビジュアルプログラミング言語を作るためのエンジンを作ろう←今ここ

Replying to

友達↓

Quote

柏木

@cntof_tw

Feb 28, 2024

春休みなので好きな動画/画像を表示できるデスクトップマスコットをつくりました．再生速度変えたり半透明にできたり結構便利です．

すごい、色々と奇跡が重なってきているww これもう国産LLMやるっきゃないなw どれだけ批判されても、あくまで個人、小規模組織なので、プロトタイプ作れたら成功、そうじゃなかったら研究結果を出して消滅するだけなので、怪しいとか胡散臭いと思われてもしょうがないと思いますが、やっていきます。

ホワイトカラーの仕事を変えて、国ごと変えます。自給率を上げる。

Quote

手羽先 | 国産LLMを作る人

@Tebasaki_lab

Aug 22

国産LLMを作ることになってしまった。楽しみすぎる。最強の和製LLMを作ります。

最近、国産LLMを作るのに興奮しすぎて全く寝れてない。睡眠時間がこの1週間3〜4時間。さっき死ぬほど眠たかったのに、高専卒の天才エンジニアに会って、新しい数式やアルゴリズムを一緒に見つけて興奮して眠気が吹っ飛んだ。上手くいくかは分からないが、新しいアーキテクチャが出来てきている…。

なんか10分前とかにフォロワーの通知が大量に来てて荒らしか！？！？ってなったけど国産LLM作る宣言ツイートがバズったらしいww

なんかバズったせいで専門家やら一般からも批判が多くて困ってるのですが、多分、期待値が高すぎるのはあると思います。実際、私の実力はまだ低いし。 1. 周りの研究者やエンジニアは尊敬している 2. 誰もやらないので挑戦してみるだけ(散々ブログに書いてる) 3. 想像以上に夢を持たせてしまっている

Quote

手羽先 | 国産LLMを作る人

@Tebasaki_lab

Aug 22

国産LLMを作ることになってしまった。楽しみすぎる。最強の和製LLMを作ります。

未踏IT落ちてた。一次審査通ったから行けると思ったけど、価値提案や独自性が伝わらなかったらしい。うーーーん(色々書けない)

The image is a document related to the rejection of a proposal for the 2023 MITOU IT Human Resource Development Program. The document is written in Japanese and includes official stamps and signatures, indicating its formal nature. The context from the post text reveals that the user, 手羽先🐔@SecHack365@ZEN大学 (@Tebasaki_lab), was disappointed because their proposal did not pass the second stage of the review process, despite passing the first stage. The document outlines the reasons for the rejection, mentioning issues with the value proposition and originality of the proposal. The overall tone of the post and the image suggests a sense of disappointment and reflection on the feedback received.

深層学習フレームワーク、確率演算、FPGA、論文、アイデアマンなどが集結し始めた。正直な話無理だ他思ってたんだけど、研究成果さえ出せれば、PoCさえ行けたら普通に国家プロジェクトなりそうだな。逆にこの国産LLMを日本が手放したら日本終わりだよ、マジで。 #手羽先の国産LLM

FPGAを使った国産LLMサーバーの未来予想図 ※GPT作 #手羽先の国産LLM

The image depicts a futuristic vision of a domestic LLM (Large Language Model) server constructed using FPGAs (Field-Programmable Gate Arrays). The server is shown as a large, cube-shaped structure made up of multiple interconnected FPGA modules, placed in a typical home setting with wooden flooring, white walls, and a kitchen sink visible in the background. The post text suggests this is a conceptual illustration of what a domestically produced LLM server might look like in the future, created by an AI.

Quote

ほーきー(Hawkie)

@hawkymisc

Aug 23

『部屋一室にルービックキューブのように3次元でFPGAを配置する』と聞いて死ぬほどワクワクするみなさーーーん！！！ x.com/Tebasaki_lab/s…

ZEN大学の一期生に合格しました！！！

明日から社会人になります！会社名は伏せますが、 IT企業でプログラマーとして働きます(Web、アプリ系) 。明日が初出社なのでドキドキ…

正直、#N高を卒業した後すぐに就職できるとは思っていませんでした。正直不安が大きいですが、頑張ります！

初めてのクレカ

で買いました！！

本日、Omakase.ai のCEOであるMasa

@masa_zeals

さんと国産LLMについて話してきました！！確か総額100億円ぐらい資金調達を達成してるアツい企業ですが、奇跡が重なり、数日間日本にいるとのことで急遽お会いできました。

$Two men, Masa Zeals and another individual, sitting at a wooden table in a casual indoor setting with beige walls. Masa Zeals wears a dark t-shirt with "Not another chatbot." text, while the other man wears a blue t-shirt. In one outdoor photo, they stand on a street holding a box with "Ben\'s Cookies" and "Milk Chocolate Chip" text, with Masa Zeals giving a thumbs-up. Another indoor photo shows them at a table, both giving thumbs-up gestures.$

Masa - Omakase.ai / ZEALS

調べてみたらspanタグが入れ子になってて1.5倍ずつ大きくなってるの笑ったwww

The image shows a screenshot of a web browser displaying a webpage with nested HTML span tags, causing text to increase in size incrementally, alongside a humorous reaction image of fried chicken and rice in a bento box. Large Japanese text '身がふわふわ' (meaning 'the body is fluffy') and 'か' (a particle) are prominently displayed, adding to the comedic effect. The post text by 手羽先 | AIエンジニア (@Tebasaki_lab) mentions laughing at the discovery of nested span tags increasing size by 1.5 times, linking to a Twitter thread. No platform watermarks are visible, and the composition is clear and well-lit, emphasizing the technical humor.

Quote

かねこゆかり「40歳ではじめて」３巻発売中

@yukarikanekom

Jul 31

なんかブログの文字がどんどんデカくなるバグ起きてて怖い。 kanekoyukari.livedoor.blog/archives/28191

37K