Takuya Akiba

1,113 posts
Opens profile photo
Takuya Akiba
@iwiwi
Research Scientist
@SakanaAILabs
takiba.net
Joined October 2008
1,510 Following
24.1K Followers

Takuya Akiba’s posts

Takuya Akiba
@iwiwi
英語が聞き取れるようになったと思いきや、同僚の英語にoverfitしただけで初対面の人の英語は相変わらずあまり分からないと気づいてしょんぼりした後、逆に自ら必要なoverfitをしておけば良いと気づいたんですよね。自分にはかなり効いてる。
Quote
まむ
@mamurai1208
世界のTakuya Akibaに「英語マジで無理なんだけどどうすればいい？」って相談したら、「俺は研究者と会話する前日に、そいつの過去の講演動画をシャドーイングする。それで初対面でも余裕で会話できる。」と言われて、やっぱ世界のTakuya Akibaは違うな〜となった。
399K
Takuya Akiba
@iwiwi
Sakana AIの最新の成果「The AI Scientist」発表です！最初の準備以外、一切人間の介入なしで、AIが全自動でブレスト、文献調査、試行錯誤を行い論文を執筆。AIが査読もして、改善をループ。最終的な論文（ブログから見れます）はかなり想像以上でした。ぜひご覧下さい。
Quote
Sakana AI
@SakanaAILabs
Introducing The AI Scientist: The world’s first AI system for automating scientific research and open-ended discovery! sakana.ai/ai-scientist/ From ideation, writing code, running experiments and summarizing results, to writing entire papers and conducting peer-review, The AI
Image
Image
Image
Image
442K
Takuya Akiba
@iwiwi
本日Stability AIに入社しました！頑張ります！
Quote
Stability AI Japan
@StabilityAI_JP
Stability AIに強力な仲間が加わりました！これからさらに開発を加速していきますので、どうぞよろしくお願いします！ Blog：ja.stability.ai/blog/stability Note：note.com/stabilityai/n/
516K
Takuya Akiba
@iwiwi
Sakana AIに入社しておりました！資金調達も大変上手く行ったようで、国内外からの高い期待を実感し改めて身が引き締まる思いです。素晴らしいメンバーと共に、おもろい研究を色々と計画してるので、乞うご期待です！
Image
Quote
Sakana AI
@SakanaAILabs
Image
Excited to announce our seed round! We raised $30M to develop nature-inspired AI in Japan. sakana.ai/seed-round
486K
Takuya Akiba
@iwiwi
Sakana AIで取り組んできたことを発表できました！密かに一部で流行りつつある基盤モデル界の黒魔術「モデルマージ」を、進化的計算によって自動化＆高度化しました。「日本語LLM + 英語VLM → 日本語VLM」のような、今まで見たことのないマージも成功しています。見てね！
Quote
Sakana AI
@SakanaAILabs
Sakana AIの最初の研究成果である、進化的計算による基盤モデル構築に関する論文を公開しました。多様な既存モデルを自動的に融合し優れた基盤モデルを構築するための方法を提案すると共に、それにより試作したモデルを公開しました。 ブログ sakana.ai/evolutionary-m 論文 arxiv.org/abs/2403.13187
0:18
262K
Takuya Akiba
@iwiwi
気がついたらOptunaの論文が10,000引用を超えてました。ノーベル賞の坂口先生が「論文万バズ」とXで言われているのを見て、そういえばと久々にGoogle Scholarを確認したら、ちょうど超えているところでした。
Quote
Takuya Akiba
@iwiwi
Our Optuna paper has reached over 10,000 citations! A huge thank you to the amazing co-authors, contributors, and community! 🌀🚀
Image
189K
Takuya Akiba
@iwiwi
新刊「大規模データセットのためのアルゴリズムとデータ構造」ご恵贈賜りました！ HyperLogLogやLSM木など、初学者向け教科書には載ってないが実システムでは使われまくってるおもしろ手法が勢揃いしてます。知る限りこういう話が一箇所にまとまった日本語の書籍は初だと思います、貴重な一冊！
Image
60K
Takuya Akiba
@iwiwi
最新の研究成果「The AI CUDA Engineer」発表！PyTorchで書かれたNNモデルを丸ごと最適化されたCUDAコードにします。速度の実測を行いながらのエージェンティックな自動試行錯誤を通じて全体に対し最適化するためとても高性能なコードが生成されます。 sakana.ai/ai-cuda-engine
Quote
Sakana AI
@SakanaAILabs
Introducing The AI CUDA Engineer: An agentic AI system that automates the production of highly optimized CUDA kernels. sakana.ai/ai-cuda-engine The AI CUDA Engineer can produce highly optimized CUDA kernels, reaching 10-100x speedup over common machine learning operations in
0:01 / 1:22
131K
Takuya Akiba
@iwiwi
Sakana AIの新しいブログ＆論文です！preference tuningの新しいロス関数「DiscoPOP」を、LLM「で」発見しました。LLMにロス関数を提案させスコアをフィードバックして自動で試行錯誤。DPOやKTOより高性能。「LLMでLLMの学習を改善する」という面白い取り組みになってます！
Quote
Sakana AI
@SakanaAILabs
Can LLMs invent better ways to train LLMs? At Sakana AI, we’re pioneering AI-driven methods to automate AI research and discovery. We’re excited to release DiscoPOP: a new SOTA preference optimization algorithm that was discovered and written by an LLM! sakana.ai/llm-squared/
175K
Takuya Akiba
@iwiwi
2/18発売の書籍「ゲームで学ぶ探索アルゴリズム実践入門」を頂き拝読しました。これはメチャお勧め！ 図やコードも多く初心者でもサクサク読めます。一方で、世界的コンテストで確固たる実績がある著者だけあって、強ぇAIプログラムを作るための今どきな実用的技術が厳選されていて、素晴らしい密度！
Image
Image
83K
Takuya Akiba
@iwiwi
入社して1ヶ月経ちました。まだ1ヶ月かってぐらい色々あって、刺激的な日々を送ってます。1ヶ月前からは考えられないくらいLLMに詳しくなったけど、当然まだまだこの世界では新米で、学ぶことだらけでめっちゃ楽しいです。 なぜかCEO直属になったので記念スクショ。
127K
Takuya Akiba
@iwiwi
先日のICPC世界大会でOpenAIが "全完" (12/12問正解)し1位相当の成績だったみたいですね。自分も過去の世界大会メダリストであり、そのための練習に甚大な時間を学生時代には費やしたので、これがどれだけ難しいことなのか身に染みてわかります。 と言いつつ、ぶっちゃけあんまり驚いていない、
Quote
Mostafa Rohaninejad
@MostafaRohani
1/n I’m really excited to share that our @OpenAI reasoning system got a perfect score of 12/12 during the 2025 ICPC World Finals, the premier collegiate programming competition where top university teams from around the world solve complex algorithmic problems. This would have
140K
Takuya Akiba
@iwiwi
ICLR'25に採択された知識蒸留の新手法「TAID」を公開しました！教師モデルの力を活用し小規模モデルにギチギチに知識や能力を詰め込む事ができます。そして実証を兼ね東京科学大学のSwallowチームと共同開発した日本語小規模言語モデル「TinySwallow-1.5B」も公開してます。
Quote
Sakana AI
@SakanaAILabs
この度、新手法「TAID」を用いて学習された小規模日本語言語モデル「TinySwallow-1.5B」を公開しました。 sakana.ai/taid-jp 私たちは、大規模言語モデル（LLM）の知識を効率的に小規模モデルへ転移させる新しい知識蒸留手法「TAID (Temporally Adaptive Interpolated
61K
Takuya Akiba
@iwiwi
ICFP Programming Contest 2022 優勝しました！！！！きたああああ！！！touristチームにリベンジ成功！！
Image
Takuya Akiba
@iwiwi
W&B Fully Connected、ありがとうございました！私からは「LLM、作るだけなら意外と簡単だけど、その上でどういう勘所があって、我々はW&Bを活用しながらちゃんと着実に取り組んでいるよ」という趣旨の話をさせて頂きました。一応スライドも公開しましたのでご笑覧下さい〜。
LLMの開発は難しい？簡単？Stability AIの現場から (2023/10/11, W&B Fully Connected)
From speakerdeck.com
106K
Takuya Akiba
@iwiwi
VTuberデビューしました(???)。最初知った時「は？」ってドン引きした謎のテクについて、自分からはモデルの合成の話を中心に紹介しました。論文どんだけ読んでも学べないことって昔からあるし、そういうのもおもろいよね。チャンネル登録高評価よろしくお願いします。
Quote
Masaki Saito
@rezoolab
壁AC 2023 12/17の記事を公開しましたー: 深層学習に詳しい人ほど知らない？LLM・拡散モデルの謎テクニック youtu.be/RBffEJ85_3U?si @YouTubeより
Image
70K
Takuya Akiba
@iwiwi
「Automated Search for Artificial Life (ASAL)」の発表です！創発・進化・オープンエンド性などのAIの重要なテーマを解明する1つのアプローチである人工生命を、マルチモーダル基盤モデルを使い自動的に研究します。楽しい動画が一杯あるのでブログを是非！
Quote
Sakana AI
@SakanaAILabs
Introducing ASAL: Automating the Search for Artificial Life with Foundation Models sakana.ai/asal/ Artificial Life (ALife) research holds key insights that can transform and accelerate progress in AI. By speeding up ALife discovery with AI, we accelerate our
90K
Takuya Akiba
@iwiwi
先月我々が発表した「進化的モデルマージ」が、モデルマージの本家とも言えるmergekitに公式に実装されました！進化計算にはpycma使ってて、Rayを使った並列化もサポートしてるみたいですね。
Quote
Maxime Labonne
@maximelabonne
🎉 Great news for model merging! @chargoddard implemented an evolutionary technique à la @SakanaAILabs to MergeKit (cc @hardmaru) He also released an excellent tutorial on how to use it with lm-evaluation-harness and vllm. 📝 Article: blog.arcee.ai/tutorial-tutor
Image
86K