¶ Копипаста. Не я автор этого текста.

Источник: https://x.com/softwarevlogger/status/1974774200612093992

Что происходит, когда вы запускаете LLM?

Работа модели по другому называется inference (вывод) или использование весов модели. Вывод — по сути предсказание следующего токена на основе вашего ввода и всех токенов сгенерированных на предыдущих шагах. Все это образует последовательность.

Токены — это не слова. Токены это кусочки обозначающие текст, который видит модель. В модели они представлены целыми числами или ID токенов. Токенизация — разбиение текста на токены. Распространенные алгоритмы: BPE (byte pair encoding), SentencePiece. Конкретные токены отличаются в разных моделях. Вот иллюстративный пример: “hello” — может быть 1-3 токена, “internationalization” 5-8 токенов.

Контекстное окно — максимальное количество токенов, которые может увидеть модель за раз. Чем больше context тем больше VRAM для KV кеша потребуется и тем медленнее будет декодировка.

В процессе вывода модель предсказывает следующий токен перемножая свои веса. Веса модели — это миллиарды выученных параметров. Параметры модели — миллиарды чисел или весов, которые модель усваивает в процессе обучения. Эти веса кодируют все что модель знает: шаблоны, язык, факты, “мышление”. Когда вы используете модель, она использует эти параметры, чтобы предугадать следующий наиболее вероятный токен. Один токен за раз. Шаг за шагом.

Читать далее…

Появился инструмент Modyfi https://www.modyfi.com/ Инструмент позволяет генерировать изображения из нескольких накладывающихся фильтров. Фильтров десятки, типа шум, мозаика, искажения, маска глубины.

Фильтры можно анимировать по их параметрам и этим делать моушен дизайн, что значительно проще и незатейливее чем делать подобное по старинке в After Effects. Пример с их канала:
https://youtu.be/fdz2FqTY6oE?si=W55O7CYOjLIxsU67

Уже есть много примеров, каждый можно изучить или переделать под свои нужны, а не делать с нуля. Из мастхэв не нашёл там псевдо-3D или работы с камерой/глубиной резкости. Пока ещё редактор регулярно виснет, но изменения не пропадают, просто приходится перезагружать страницу. Думаю, ближайшие полгода-год это всё будет бесплатным, пока все баги не выловят, а потом добавят подписку.

Всем рекомендую использовать Recraft.ai. Сегодня ИИ инструментов много, и если выбирать один, то советую Рекрафт.
https://www.recraft.ai/invite/xGvFZacGMw

Во-первых, ежедневно и бесплатно обновляется 50 токенов, это достаточно много это 50 генераций.
Во-вторых, очень качественные стили и модели графики, там сейчас итерация V3, испытайте их, сложно представить лучше.
В-третьих, и самое мощное, умеет генерировать сразу векторные картинки SVG, можно копипастить сразу в Figma, Illustrator, Affinity Designer.
Думаю, скоро напишу про Recraft ИИ побольше, поэтому подписывайтесь на телеграм. Инструмент очень цельный, имеет лаконичный и изящный интерфейс, приятно находится.

Сколько надо кусочков платформы нарисовать для аркадной 2D игры? Какие комбинации и сочетания плиток бывают и как можно упростить их создание? Заинтересовался этими вопросами и обнаружил за ними науку. Оказывается, за созданием тайлов для игр стоит непростая геометрия, в зависимости от того какие сочетания с соседними клетками по горизонтали, вертикали и диагоналям мы хотим предусмотреть. Вот потрясающий сайт на английском популярно рассказывающий про все виды тайлинга, навигация по главам справа в колонке: http://www.cr31.co.uk/stagecast/wang/intro.html

Кратко. Математик Ван Хао описал законы для плитки на плоскости по разным правилам, связал с машиной Тюринга и всё систематизировал. Вот заумная статья про систематизацию тайлов: https://www.boristhebrave.com/2021/11/14/classification-of-tilesets/ Квадратные тайлы можно придумывать по разным правилам. Основные это — учитывать только соединение сторон (4), или соединение углов (4), или и сторон и углов (8). В современном мире это знание применяют дизайнеры текстур — тайлингом решается всё, от обоев с цветочками до кельтских узоров. И применяют создатели 2D игр, чтобы уметь рисовать по клеточкам землю в море или землю висящую в воздухе, в зависимости от того какую двухмерную игру они делают.

В качестве простого примера, вот варианты спрайтов из 16 видов плитки со всеми вариантами двуцветных углов. Тайлы собраны в спрайт как один остров, что удобно при разработке, чтобы видеть, как изображения состыкуются.

Самая важное знание: что для того, чтобы учитывать и углы и стороны, потребуется придумать 47 видов тайлов. 47 плиточек можно расположить в один спрайт в квадрат 7×7=49 (2 лишних) или в 8×6=48 (1 лишняя) или в 12×4=48 (1 лишняя). Вот примеры как 47 плиток собрать в один спрайт, чтобы было удобно наблюдать соединения:

Кроме того, сформировался опыт, как имея 5 тайлов разрезать каждый на 4 кусочка и собрать их в 47 комбинаций. То есть из такой картинки:

Автоматически сгенерировать вот такой стандартный шаблон 12×4:

Такую текстуру стало принято использовать в 2D игровых движках, поскольку она наглядна, как палитра, например, для создания уровней в играх-платформерах или для создания лабиринтов в RPG с видом сверху вниз.

Обнаружил на распродаже в Steam очень любопытную рисовалку Black Ink. Графическая программа с акцентом на собственную цифровую природу. Действия производятся над растровыми слоями, но слои можно пропускать через неразрушающие фильтры, применять стили, и даже писать шейдеры. При этом все инструменты можно выстроить в блочном автомате, это такой инструмент из блоков и линий соединяющих элементов в результат, который хорошо известен и цифровым музыкантам и трехмерщикам и визуальным программистам. И вот теперь есть серьезная программа с блочным автоматом. Да, это не новинка, есть множество графических генераторов с автоматами, большинство для генерации текстур. Но вот соединение с обычным рисованием руками настраиваемыми кисточками это самый серьезный из известных мне. Это фотошоп в мире генераторов.

Кстати, Фотошоп до версии CS5 поддерживал удивительный по силе плагин-инструмент Pixel Bender, но к CS6 всю поддержку плагинов манипулирования графикой отпилили, видимо из политических соображений, чтобы не дать расти рынку плагинов Фотошопа отдельно от только создавшегося Creative Cloud.

Black Ink работает на GPU под Direct X, имеет очень плавный интерфейс, не встретил ни одного мимолётного фриза пока тестировал. Буду осваивать, на официальном канале есть набор уроков, вот он.