callingの公式MAD(公式MAD言うな)もう一回見たいから遊戯王ライブの円盤早く売ってくれ、頼む December 12, 2025

@kazumin_0910 kazuminさん、おはようございます☀
コメントありがとうございます!!
『Calling』、初期の素敵な曲が盛りだくさんですよね😍
感謝祭で聴きたいです😊 December 12, 2025

がイケイケスタートアップのエンジニアの方々とお話しさせていただいてめちゃくちゃ勉強になったのでメモ

・AI周りのSDKはPythonが最初に出てくるから、デリバリーのスピードが他言語に比べて早い
・function callingの実装方法（llmにfunction callingのフラグを返してもらう）
・LLM as a judgeのシステム面の設計と組織面の体制の話
・LLMの出力の品質においてリリースブロックになるものはCIで回しきっている（評価だけしっかりロジックが組めていれば割と実装はシンプルなのでライブラリとか使わずやっているおかげで痒い所に手が届くらしい。）
・LLM品質の評価は各応答ごとじゃなくて価値提供の終端で測る
・AIでワークフロー組む際はプログラムでワークフローガチガチに組むのではなく自然言語で指示する
・AIネイティブなアプリケーションとそうじゃないアプリケーションの違いはコアな体験価値がAIによって作られているかどうかで捉えている
・まず最初に評価プロンプトを考えるのが大事でそれを軸にFBループ回していく
・LLMをファインチューニングする必要があるのは再現性が大事な時で、例えばある判断精度を95%を絶対に切らないようにしたいなどのケースとかじゃないとあまり必要ない。（必要な問題空間があまり実在しないとか、汎化性能がボトルネックになっちゃう。）
・AIワークフローを組む際はやっぱりドメイン理解とかハイパフォーマーの暗黙知の形式知化が重要
・ハイパフォーマーの暗黙知の形式知化のコツついては、「良い業務とは何か？良い成果とは何か？」という堀方だと空中戦になるので、実例（実際の業務のアウトプット）ベースで、どこが良いのか悪いのかを言語化しまくること

会社の技術ブログも読み漁ろうかな。 December 12, 2025

イケイケスタートアップのエンジニアの方々とお話しさせていただいてめちゃくちゃ勉強になったのでメモ

・AI周りのSDKはPythonが最初に出てくるから、デリバリーのスピードが他言語に比べて早い
・function callingの実装方法（llmにfunction callingのフラグを返してもらう）
・LLM as a judgeのシステム面の設計と組織面の体制の話
・LLMの出力の品質においてリリースブロックになるものはCIで回しきっている（評価だけしっかりロジックが組めていれば割と実装はシンプルなのでライブラリとか使わずやっているおかげで痒い所に手が届くらしい。）
・LLM品質の評価は各応答ごとじゃなくて価値提供の終端で測る
・AIでワークフロー組む際はプログラムでワークフローガチガチに組むのではなく自然言語で指示する
・AIネイティブなアプリケーションとそうじゃないアプリケーションの違いはコアな体験価値がAIによって作られているかどうかで捉えている
・まず最初に評価プロンプトを考えるのが大事でそれを軸にFBループ回していく
・LLMをファインチューニングする必要があるのは再現性が大事な時で、例えばある判断精度を95%を絶対に切らないようにしたいなどのケースとかじゃないとあまり必要ない。（必要な問題空間があまり実在しないとか、汎化性能がボトルネックになっちゃう。）
・AIワークフローを組む際はやっぱりドメイン理解とかハイパフォーマーの暗黙知の形式知化が重要
・ハイパフォーマーの暗黙知の形式知化のコツついては、「良い業務とは何か？良い成果とは何か？」という堀方だと空中戦になるので、実例（実際の業務のアウトプット）ベースで、どこが良いのか悪いのかを言語化しまくること

会社の技術ブログも読み漁ろうかな。 December 12, 2025