Project Salieri AI

DIY Physical AI Runtime · Public v0.1

AIキャラクターに
現実の身体を与える。

Give AI characters a body in the real world.

Project Salieri AIは、視覚・注意・会話・身体表現・実機制御をひとつの流れにつなぎ、 AIキャラクターを現実世界の身体へ接続するためのPhysical AI Runtimeです。

Project Salieri AI is a Physical AI Runtime that connects perception, attention, conversation, bodily expression, and physical control into one execution path for bringing AI characters into the real world.

GitHub Repository Public v0.1
01視覚 / SeeingFace / Object Perception
↓
02注意 / AttentionWorld Target / Focus
↓
03会話 / ConversationCloud / Local Routing
↓
04身体動作 / Body ActionLOOK / POINT / Free Pose
↓
05実機 / PhysicalArduino / Servo

コンセプト / Concept

仮想キャラクターを、そのまま現実世界へ。

Bring the virtual character directly into the physical world.

VRMで表現されるキャラクターの視線・ポーズ・身体動作を、VirtualBodyとPhysical Retargetを通して 実際のロボットへ伝えます。Unity、Arduino、一般的なサーボを使い、キャラクター主体のPhysical AIを 個人でも組み上げやすい形にすることを目指しています。

Character gaze, pose, and body motion represented in VRM are transferred through VirtualBody and Physical Retarget to a real robot. The project aims to make character-centered Physical AI approachable with Unity, Arduino, and commonly available servos.

Project Salieri AIでは、AIが扱う意味や意図、キャラクターとしての身体動作、VirtualBody、 Physical Retarget / Safety、実機通信を役割ごとのレイヤーに分けています。 それぞれを独立した責任として扱うことで、AI、キャラクター表現、身体構造、Hardwareを段階的に差し替え・拡張できる構成を目指しています。

Project Salieri AI separates semantic intent, character motion, VirtualBody, physical retargeting and safety, and hardware communication into distinct layers so that AI, character expression, body structure, and hardware can evolve independently.

このプロジェクトへの想い / Why

人と共存するAIロボットを、日本から。

Building AI robots that can live alongside people.

日本の漫画やアニメは、ロボットを単なる作業機械ではなく、友達、家族、相棒として描いてきました。 人のそばにいて、話し、笑い、ときには支えてくれる存在です。

いま、AI、音声認識、音声合成、視覚認識、3Dキャラクター制御、マイコン、サーボといった技術は、 個人でも触れられるところまで来ています。だからこそ、想像するだけだった「人と一緒にいるロボット」を、 実際に自分たちの手で作る側へ進めたいと考えています。

Project Salieri AIが目指しているのは、単にロボットへAIを載せることではありません。 画面の中で生きていたAIキャラクターに、現実世界で表現できる身体を与えること。 それがこのプロジェクトの出発点です。

Japanese stories have long imagined robots not only as machines, but as companions. Today, AI, speech, vision, character animation, microcontrollers, and servo control have become accessible enough for individuals to experiment with them. Project Salieri AI starts from a character-first idea: not simply putting AI into a robot, but giving an AI character a body through which it can act in the real world.

DIY Physical AI

ゲーム制作者が、AIロボット開発者にもなれる時代へ。

From character creation to robot development.

ゲーム制作では、キャラクターに表情をつけ、状態を管理し、入力に反応させ、音声やアニメーションを再生します。 AIロボットでも、人の声を聞く、相手を見る、状態を判断する、返事をする、身体を動かすという流れが必要です。

Project Salieri AIは、Unityで培われてきたキャラクター制御の考え方を現実の身体へ延長します。 VRChat、3Dアバター、Unity、AIキャラクターに触れてきた人が、その経験をロボット開発へ持ち込める入口を作ります。

Game and character development already deal with expressions, state, reactions, animation, and voice. Project Salieri AI extends those familiar ideas into physical bodies, creating a path from Unity and virtual-character creation into robotics.

01

Unity / VRM
キャラクター、表情、視線、IK、状態を扱う。

02

Arduino / PCA9685
入手しやすいマイコンとサーボ制御基板を使う。

03

General Servos
高価な専用品だけに依存せず、一般的なサーボで試す。

04

3D Printed Body
自分で部品を作り、身体そのものも改造していく。

なぜこの構成なのか / Why This Stack

身近な技術をつないで、AIキャラクターに身体を与える。

Connecting accessible technologies to give an AI character a body.

Project Salieri AIでは、Android、Unity、Arduinoという、個人でも扱いやすい技術を組み合わせています。 Androidは感覚と頭部、UnityはキャラクターとRuntime、Arduinoは実身体への出口を担います。

Project Salieri AI combines Android, Unity, and Arduino—technologies that are accessible to individual creators. Android provides an entry point for sensing and the head, Unity forms the character and runtime core, and Arduino connects the runtime to the physical body.

Android, Unity, Arduino, Physical BodyをつなぐProject Salieri AIのConcept図
主要技術の役割を示すConcept図。L1〜L7のRuntime Architecture全体を置き換える図ではありません。 A concept view of the selected technologies, not a replacement for the complete L1–L7 runtime architecture.
AndroidSense / Voice / Display
UnityAI Character / Runtime / Motion / VirtualBody
ArduinoPhysical Output / Servo Control
Physical BodyDIY Body / General Servos
Androidを感覚と頭部の入口として説明する図
Android = 感覚と頭部の入口

01 / Why Android?

Android = 感覚と頭部の入口

Camera、Microphone、Speaker、Display、Network、Battery、Sensors、CPU / GPUが一台にまとまったスマートフォンを、 単なる操作端末ではなく、AIキャラクターの頭部として利用可能なコンピューターと捉えています。

Androidは必須条件ではありません。Public版はPC / Unityでも動作し、Androidは持ち運べるAIキャラクターの頭脳として重要な研究・実行環境です。

A smartphone combines cameras, microphones, speakers, a display, networking, battery power, sensors, and CPU/GPU resources. Android is not mandatory; the public runtime also operates on PC with Unity. It is an important portable research and execution environment for an embodied AI character.

UnityをキャラクターとRuntimeの中核として説明する図
Unity = キャラクターとRuntimeの中核

02 / Why Unity?

Unity = キャラクターとRuntimeの中核

VRM、Animation、IK、Expression、Voice、Attention、State、External Communication、VirtualBodyを統合して扱います。 単なる表示環境ではなく、AIキャラクターからCharacter Motion、VirtualBody、Physical BodyまでをつなぐRuntimeの中核です。

ゲーム、VRChat、3D Avatar開発で培われたキャラクター制御の経験を、Physical AIへ持ち込むことができます。

Unity brings VRM, animation, IK, expression, voice, attention, state, external communication, and the VirtualBody into one runtime. It lets experience from games, VRChat, and 3D-avatar development carry over into Physical AI.

Arduinoを実身体への出力として説明する図
Arduino = 実身体への出口

03 / Why Arduino?

Arduino = 実身体への出口

Physical Retargetから生成されたBody CommandをArduinoへ渡し、PCA9685を介してServoへ出力します。 安価で入手しやすく、一般的なServoやDIY Bodyと組み合わせやすい、実身体側の出口です。

Physical Retarget→Body Command→Arduino→PCA9685→Servo

Arduino receives retargeted body commands and drives servos through a PCA9685. Its accessibility and compatibility with general-purpose servos make it a practical output layer for DIY physical bodies.

Project Salieri AIは、全員が同じ完成ロボットを作ることを目的としていません。 Smartphone、Unity、Arduino、General Servos、3D Printerなど、個人でも利用しやすい技術を使い、 「自分のAIキャラクターに、自分で身体を与える」ためのDIY Physical AIの土台を共有します。

Project Salieri AI is not intended to make everyone build the same finished robot. It shares a DIY Physical AI foundation for giving your own AI character a body of your own design, using technologies accessible to individual creators.

現在の機能 / Current Features

Public v0.1で公開している主要機能

Major capabilities included in Public v0.1

01

知覚と注意 / Perception & Attention

Face / Object Detection、追跡、Attention Targetによって「何を見るか」を扱います。

Handles what the character should look at through face/object detection, tracking, and attention targets.

02

会話 / Conversation

会話入力からCloud / Localの実行経路へつなぎ、反応生成と身体動作へ接続します。

Routes conversation input through cloud or local paths and connects generated responses to body actions.

03

記憶基盤 / Memory Foundation

Experience Record、Recall、World Memoryなど、経験を保持するための基盤を含みます。

Includes foundations for retaining experience, such as Experience Record, Recall, and World Memory.

04

自由ポーズ / Free Pose

LLMまたは決定論ルートから手のターゲットを選び、自由なポーズ表現へ接続します。

Selects hand targets through LLM or deterministic routes and connects them to free-form posing.

05

VRM / IK / VirtualBody

VRMの見た目とIKを使いながら、物理制御用VirtualBodyへ動作を写像します。

Maps character motion from VRM and IK into the VirtualBody used for physical control.

06

実機制御 / Physical Control

Physical Retarget、Safety、USB Serial / Bluetoothを通してArduinoとサーボへ出力します。

Outputs to Arduino and servos through Physical Retarget, safety controls, USB Serial, and Bluetooth.

構成 / Architecture

意味から身体へ。役割をレイヤーで分ける。

A layered path from perception and intent to the physical body.

L1PerceptionCamera / Face / Object / STT
↓
L2Attention / Conversation / IntentOrientation / LLM / Body Intent
↓
L3Character MotionVRM / Animator IK / LOOK / POINT / Free Pose
↓
L4VirtualBodyJoint Constraints / Body Representation
↓
L5Physical Retarget / SafetyMapping / Clamp / Authority / Permission
↓
L6CommunicationBodyCommandCoordinator / Serial / USB / Bluetooth
↓
L7HardwareArduino / PCA9685 / Servo / Physical Body

Layer Principle

上位ほど「意味」、下位ほど「身体固有」

上位レイヤーでは、何を見るか、何を話すか、どの動作を選ぶかを扱います。 下位へ進むほど、身体構造、可動域、Servo設定、通信方式など実機固有の責任へ移ります。

Semantic Side認知・注意・会話・意図
Embodiment BoundaryCharacter Motion → VirtualBody
Physical SideRetarget / Safety → Hardware

このレイヤーモデルは、Project Salieri AI独自の技術だけを並べたものではありません。 Perception、IK、通信など他のAI・ゲーム・ロボットプロジェクトと共通する領域も含みます。 その上で、Project Salieri AIではそれらをAIキャラクターから実身体まで連続したRuntimeとして接続し、 VirtualBodyやAuthority / Safety境界を含めて現在のProductionへ実装しています。

Current Free Pose Example

Semantic TargetTarget Selection
→
Free PosePose Request
→
VRM / IKCharacter Motion
→
VirtualBodyJoint Constraints
→
Retarget / SafetyPhysical Mapping
→
TransportSerial / USB / Bluetooth
→
Physical BodyArduino / Servo

現在のFree Poseでは、Unity空間に用意したSemantic Targetを選択し、そのTargetをもとに腕のIKへ接続します。 解決されたキャラクターの動きはVirtualBodyへ反映され、Physical Retargetを経て実機へ伝達されます。 これは現在の主要方式の一つであり、将来の身体制御をIKだけに限定するものではありません。

The layer model includes both familiar building blocks and Project Salieri-specific integration boundaries. In the current Free Pose route, semantic targets are selected in Unity, solved through arm IK, reflected into the VirtualBody, and then transferred through retargeting, safety, communication, and the physical body.

全体構造を見る / Start Here 主要SourceとFlow / Source Guide

開発者向け資料 / Developer Documentation

全体像から、実際の改造箇所まで。

From architecture overview to practical modification points.

Project Salieri AIを触ってみたい場合は、次の3資料を順番に読むと、全体像、Sourceの役割、実際に変更する場所を段階的につかめます。 502 Sourceを最初から追うのではなく、まず自分が変更したいレイヤーと実行経路を把握するための入口です。

01

START HERE

レイヤー構成、Runtime全体の流れ、VirtualBody、Free Pose、Physical Retargetなどを説明する最初の「地図」です。

A first map of the runtime layers and overall execution flow.

読む / Read

02

SOURCE GUIDE

主要Sourceについて、役割、Input / Output、次に渡すSource、Authorityを機能単位で追うための資料です。

Follow the major sources, responsibilities, inputs, outputs, and authorities.

読む / Read

03

MODIFICATION GUIDE

ポーズ、腕IK、首LOOK、Servo、通信、会話、認識、Memoryなど、目的別に「最初にどこを見るか」をまとめています。

A practical guide to where to start when modifying each subsystem.

読む / Read

関連プロダクト / DIY Tools

全部を作らなくても、一部分から始められる。

Start with one part of the system.

Project Salieri AIへ至る開発の中から、AI・音声・キャラクター・サーボ制御を個別に試せるツールも公開しています。 完成したロボットを買うための製品群ではなく、DIY AIロボットを自分の手で試すための入口です。

You do not need to build the whole system at once. These tools let you start with local AI, voice, VRM characters, or physical servo control.

01 / Local AI + Voice + VRM

Android Unity Local AI VOICEVOX Kit VRM

Android実機上でローカルLLM、VOICEVOX音声合成、VRMアバター表示を組み合わせるUnity開発キットです。 AIキャラクターの「頭脳・声・姿」を一台のAndroid端末で試す入口として利用できます。

A Unity development kit for combining local LLM inference, VOICEVOX speech, and a VRM character on Android.

BOOTHを見る / Open BOOTH

02 / Local AI + Voice

Android Unity Local AI VOICEVOX Kit

Android上でのローカルLLM推論とVOICEVOX音声合成を試すUnity開発キットです。 VRMを含めず、ローカルAIと音声の基本経路から始めたい場合の入口になります。

A focused Unity kit for trying local LLM inference and VOICEVOX speech synthesis on Android.

BOOTHを見る / Open BOOTH

03 / Physical Servo Control

AibouMaker2 LoboServoController v1.0.0

PC / UnityからArduinoへ接続し、ロボットアームのサーボを操作・調整するためのDIYツールです。 AIや会話系からではなく、まずPhysical側を動かすところから始めたい人向けの入口です。

A DIY tool for starting from the physical side: controlling and calibrating robot-arm servos from PC / Unity through Arduino.

BOOTHを見る / Open BOOTH GitHubを見る / Open GitHub

04 / Free Starter Tool

LoboServoController v0.9.0-beta-LA

まずPCからArduinoとサーボを動かしてみるためのベータ版 / 導入用ツールです。 左腕側のサーボ制御から、実身体を動かす基本経路を試せます。

A beta starter tool for trying the basic PC → Arduino → servo path with a physical robot arm.

BOOTHを見る / Open BOOTH GitHubを見る / Open GitHub

これらはProject Salieri AIの必須製品ではありません。 AI、Voice、Character、Physical BodyのどこからでもDIYを始められるように用意してきた関連ツールです。 Project Salieri AIは、それらの領域を一つのPhysical AI Runtimeとしてつないだ現在の統合プロジェクトです。

作り方は一つではありません。 別のAI、別のハードウェア、別のRuntimeを使っても構いません。自分なりのAIロボットを作ってみたら、Discordで共有してください。

Discordへ / Open Discord

構築 / Build it

完成品を買うのではなく、自分のキャラクターとボディを作る。

Build it around your own character and body.

Public v0.1は完成済みのターンキー製品ではなく、主要なRuntime Sourceと自作VirtualBody、 Arduino Firmwareを公開した開発者向けの公開版です。利用者は自身のVRMと必要な外部依存関係を用意します。

目指しているのは、全員が同じロボットを作ることではありません。キャラクター、身体形状、サーボ構成、 表現、会話、記憶を、それぞれの開発者や表現者が自分の得意分野から改良していける「開発土壌」を共有することです。

Public v0.1 is a developer-oriented public release rather than a turnkey package. The goal is not for everyone to build the same robot, but to share a foundation that can be adapted to different characters, bodies, servo layouts, expressions, conversation systems, and memory designs.

READMEを読む / Read README 依存関係 / Dependencies
01

Unity / PC
Runtimeの中心環境。
Primary runtime environment.

02

Your VRM
キャラクターは利用者自身が用意。
Bring your own character.

03

Arduino + PCA9685
一般的なサーボ制御へ接続。
Connects to common servo-control hardware.

04

VirtualBody
仮想身体と物理身体をつなぐ中間表現。
Intermediate representation linking virtual and physical bodies.

コミュニティ / Community & Development Notes

製作中の記録を、そのまま共有する。

Share the development process as it happens.

DiscordはProject Salieri AIの製作中メモ兼コミュニティです。開発の進捗、実装時の判断、 具体的なCodexへの指示などを記録しています。質問・相談・雑談も歓迎しています。

ソースコードだけでなく、「なぜこの構造にしたのか」「どこで失敗したのか」「どう直したのか」という 開発過程そのものも、Project Salieri AIの重要な成果だと考えています。

The Discord server is both a development notebook and a community space for Project Salieri AI. Beyond source code, the project also values the reasoning, failures, corrections, and design decisions that shaped the runtime.

Discordに参加 / Join Discord GitHubを開く / Open GitHub Studio Hazama 714