ユーザーにLlmモデルを選ばせるべきではない理由：「選択」が常にベストとは限りません

ユーザーに、LLMを選択するドロップダウンを用意するのは、しばしば正しいプロダクト判断に見えます。結局のところ、ユーザーにはお気に入りのモデルがあるかもしれませんし、最新リリースが出た瞬間に試したいと思うかもしれません。 問題が1つあります。各モデルが実際にどこで最も性能を発揮するのかを理解するために、定期的に評価（eval）やベンチマークを回しているMLエンジニアでもない限り、その選択はメリットよりもはるかに大きなデメリットを生みがちです。ユーザーが欲しいと思っているものを与えたつもりでも、結...