赤い車、青い車、赤い花、青い花の四枚なら、色で分けても被写体で分けても筋が通ります。「似ている」の意味を決めずに、どちらの分け方が正解かを画像だけから決めることはできません。
評価の基準を目的から選ぶ
正解ラベルがある場合には、そのラベルとの一致を測れます。一方、グループ内で数値上近く、別のグループとは離れているかを測る指標もあります。後者で点が高くても、商品を種類別に探したい利用者に、色別の分類が役立つとは限りません。

あなたの知識の整理をお手伝いします!
赤い車、青い車、赤い花、青い花の四枚なら、色で分けても被写体で分けても筋が通ります。「似ている」の意味を決めずに、どちらの分け方が正解かを画像だけから決めることはできません。
正解ラベルがある場合には、そのラベルとの一致を測れます。一方、グループ内で数値上近く、別のグループとは離れているかを測る指標もあります。後者で点が高くても、商品を種類別に探したい利用者に、色別の分類が役立つとは限りません。