こんにちは。
以前の記事でHermes AgentをOllamaを使って設定から使い方まで紹介しました。
この時は私もまだ触りたてでよくわかっていないことが多くありました。
あれから約1ヵ月、ちょこちょこ触っていたのですが、色々失敗しておりました。笑
今回はそんな失敗談を共有しつつ、私が学んだことをいくつかご紹介できればと思います。
Hermes Agentを触ってみたけど、なんかうまく使いこなせてないなと感じている方の参考になれば幸いです。
それではよろしくお願いします。
Hermes Agent、育てるの難しくね？
前回の記事で「簡単です！」なんて言いましたが、簡単なのは設定と使い方の話。
理想とする自分専属のAIとして活躍できるように育てるのは難しいと感じます。
以下にHermes Agentでぶつかった壁として大きく３つ紹介します。
1. 無料枠のAPIなんて一瞬で溶ける問題
前回の記事ではPCの性能を考慮してOllama CloudやGeminiのAPIを推奨しました。
これらは高性能なモデルを無料で利用できます。
ただしHermes Agentで使用すると、トークンの消費量はなかなかエグイです。
Gemini 2.5 Flashでも２～３回ぐらい会話するともう制限にひっかかります。
Ollama Cloudのgemma4:31bだともう少し持ちますが、これは後述するローカルLLMと同じでクローズドなGemini 2.5 Flashなどと比べると性能的にどうしても見劣りしてしまいます。
そもそもAPIの制限にひっかかることにおびえるぐらいなら、もういっそOpenRouterなどでお金を払ってしまった方がいいかもしれません。
2. OllamaのローカルLLMの性能がイマイチ問題
MacPCではgemma4:26b-mlxというローカルＬＬＭを使ってます。
Thinking機能があるモデルとしては現状最新でコスパが良いモデルです。
日本語としておしゃべりは問題ないのですが、タスクをこなすとなると、「〇〇を確認します。」などで会話が切られ、しばらく待ってもタスクは完了しない。
裏で処理が回っているわけでもなく、結果を催促しても「原因を調査し、その後実行します」と、会話は成り立ってるようで、期待する成果がスッと出てこないんですよね。。
とはいえ、APIを気にせずセキュリティ的にも安心なローカルLLMを使いたい人にとっては、この性能が低い問題は悩ましいところです。
3. 指示しすぎてデフォルトのSkillsがぶっ壊れた問題
論文探索の用途で活用していましたが、ある時から検索が正常に実行できなくなりました。
それなりに動けて定期実行していたのですが、追加で検索の仕方に注文をつけていたのです。
「〇〇のフォルダのキーワードも参照して」
「××と△△は重要だから、これもキーワードとしてkeywords.jsonに追加して」
「AとBという論文から現在この分野のトレンドや共通点を考慮して検索して」
そしてある時から、出力結果を保存するフォルダ付近に色んなPythonスクリプトを生成するようになりました。。
その結果、検索結果を返せなくなり、挙句もともと持っていたarxiv検索スキルまでロードできなくなってしまいました。。
おそらくですが、エージェントが既存のツールを使うのではなく、自分で検索用のスクリプトを書いて実行しようと迷走し始めたり、ツールの実行パスを上書きしてしまった可能性が考えられます。
これはもう一旦リセットしようと思い、Hermes Agentを一旦アンインストールしてやり直したりもしました。。
その後どうしてる？
APIでの実行は一旦やめて、ローカルLLMメインで動かしてます。
理由としては3つ。
- ローカルLLMの性能確認と可能性の探索をしたい
- API制限をイチイチ気にしたくない
- やっぱり無料にこだわりたい
Hermes AgentがデフォルトでもっているSkillsをベースに活用する
会話しながら自分用にカスタマイズしてくれると聞くと、結構自由にチャットして色々指示してしまいますよね。
これを一旦やめて、元からビルトインされている90のSkillsを動かして目標を達成することを考えます。
公開されているすべてのSkillsは87,000以上あるようですね。
例えば私の論文探索でいえば、arxivというスキルがビルトインされています。
これは追加でインストールする必要はなく、チャット欄で「/arxiv」と入力すると実行できます。
例えば「/arxiv ViTに関する最新の論文を検索して」とチャット欄に入力すれば、arxiv機能を使って論文検索してくれます。
このSkillsによる回答はとても安定しており、処理時間もそこまで長くなりません。
まずここから始めつつ、検索内容を覚えてくれるので、そのうち「ViTの深堀として量子化や蒸留についての論文も検索しますか？」と聞いてくれたりします。
そんな感じで、ベースとなるSkillsを使いつつ、自分の興味のある分野を実行していくことで段々と自分好みの提案をしてくれるAIになってくれるのではないかとみてます。
どこまでできるか提示してくれるまで待ってみる
ある程度できてくると、もっと難しいことをやらせてみたくなりますが、そこはグッとこらえます。
まずはとにかく単純な指示で論文検索させます。
そうすると、ただ検索結果を返すだけでなく、向こうから技術のトレンドを考察したり類似論文の深堀をしようとしたり提案してくれます。。
この追加の提案こそが、LLM側のできる範囲の提示であり、更なる可能性を教えてくれるのです。
それが良かったら褒めて「今のは今後も必ず実行して」と指示します。
逆に良くなかったら「それは要らないからいわなくていい」と指示します。
このように、LLMができる範囲を確認しつつ、それが私にとって有益なら残し、不要なら排除することで、徐々に安定した自分好みのAIに育てられるのではないかと考えます。
まとめ
今回はHermes Agentの失敗談とその後の対策について紹介しました。
ChatGPTやGeminiなどのクローズドモデルに慣れてしまうと、つい無茶ぶりや自由度の高い指示を与えてしまいがちです。
特にモデルをローカルLLMにした場合、複雑な思考をさせるとパンクさせてしまいます。
それをいかにコントロールするか、優しく見守るように育てることがコツなのかと思います。
その際Hermes Agentがデフォルトで持っているSkillsやMCPなどのToolを使ってどこまでできるのかを確認しながら進めるのが良さそうです。
Hermes Agentを通してローカルLLMの性能についても色々見えてきました。
一昔前では全然使えない印象でしたが、精度・速度ともにかなり良くなっています。
今後もローカルLLMの技術的な改善については注目していきたいです。
ここまでご覧いただきありがとうございました！
