геометрия в языковых моделях
Точки, соседи, косинусы, PCA и SVD считаются из реальных эмбеддингов выбранной модели. Видимая сцена — 3D-тень многомерного пространства; полная геометрия остаётся в исходных координатах.
У каждой модели свой корпус, токенизация, задача обучения, нормализация и масштаб осей. PCA заново выбирает три самые заметные оси для каждого набора и показывает только их, поэтому силуэт может резко повернуться или вытянуться. Надёжнее сравнивать соседей, косинусы и SVD-спектр; форму облака читать как подсказку к устройству выбранной модели.
PCA делает видимую 3D-тень облака. SVD показывает, как устроено всё облако целиком: какие независимые оси держат его разброс. Зачем: видеть, какая доля многомерного облака попала в эту картинку, и помнить, что красивая 3D-форма показывает только часть пространства.