AI & インフラストラクチャ

mikan

互換性のあるコンプリーションAPI、ワークロードに応じたモデルルーティング、設定済みのプロバイダーフォールバックを扱うセルフホスト型AIのケーススタディ。

Peaches AIルーター概要 — コンセプトビジュアライゼーション(実際のスクリーンショットではありません) — ルーター概要 — コンセプトビジュアライゼーション

プロジェクト概要

実際の運用業務を軸に構築された、一体化したプラットフォーム。

Peachesは、キャプション、レビュー返信、案件コンテンツ、見積もりの各本番ワークフローに組み込まれた、セルフホスト型でOpenAI互換のLLMサービスです。各アプリケーションは用途別のモデルを選択でき、設定に応じて制御されたフォールバック動作を利用できます。

課題

このプロダクトは、相互に関連する運用上の課題を解決する必要がありました。

主要なモデルサービスを運用管理下に置きながら、複数のプロダクトワークフローで再利用可能なAI生成を提供する。

技術的アプローチ

意図的な技術的アプローチがこのシステムを形作りました。

互換性のあるコンプリーション(生成)インターフェースが、プロバイダーのルーティングを一元化し、用途に応じてモデルを選択します。PulseはPeachesを主要なAIサービスとして扱い、継続性が求められるワークフローでは、設定済みの外部フォールバックを利用できます。

中央AIプロバイダールーター — コンセプトビジュアライゼーション

ルーティングレイヤーをクローズアップ。

Peachesの文書化された機能をもとに作成したイメージ用ダッシュボードです。用途別のセルフホストモデル構成、OpenAI互換のコンプリーションAPI、そして検証済みの4つのアプリケーションワークフロー全体にわたるフォールバック/障害ログを示しています。実際のサービスのスクリーンショットではありません。

Peachesの中央AIプロバイダールーターとモデル構成 — コンセプトビジュアライゼーション(実際のスクリーンショットではありません)

プロダクトとインターフェース

構築したもの

セルフホスト型モデル提供インフラストラクチャ
OpenAI互換コンプリーションAPI
中央AIプロバイダールーター
用途別のモデル構成
アプリケーション連携と診断
フォールバック・障害ログの制御

プラットフォームの幅広さ

コアケイパビリティ

OpenAI互換コンプリーションAPI
セルフホスト型のプライマリ推論
用途に応じたモデル選定
キャプション生成
レビューへの返信文のドラフト作成
求人内容の生成
見積もり支援
プロバイダーのフォールバックとエラーログ記録

根拠

検証済みの範囲と成果

検証済みの4つのアプリケーションワークフロー:キャプション、レビュー、案件コンテンツ、見積もり
セルフホスト型推論と設定済みフォールバックのための、1つの互換インターフェース

ビジネスの背景

これらの意思決定が重要な理由

キャプション、レビュー返信、案件コンテンツ、見積もりは、それぞれ個別のプロバイダーロジックを持つのではなく、共通のモデル提供インターフェースを共有しています。設定済みのフォールバックにより、継続性が求められる選択済みのワークフローには別の経路が用意されています。セルフホスティングは同時に、インフラと運用の責任も伴います。

本ポートフォリオでは、4つのアプリケーションワークフローと互換性のある提供インターフェースについて説明しています。ここでは、第三者によって測定されたコスト削減、精度、稼働率、応答時間についての成果は主張していません。コンセプトビジュアルは、文書化されたシステムを説明するためのものであり、本番環境での測定結果ではありません。

次に取るべきステップ

プライベートAI導入可能性評価

AI機能やプライベートモデルの導入を検討しており、構築に着手する前に裏付けとなる根拠を必要としている企業の方へ。

AIユースケースを評価する

アプローチを見る

mikanに関するよくある質問

Have a complex system that needs to be built right?

Whether you are starting from an idea, replacing an existing platform, or scaling a system, let's talk.

相談を始める →Explore Services

Better Technology.
Brighter Possibilities.