Что-то на https://chat.qwen.ai суточные лимиты токенов на бесплатных аккаунтах какие-то совсем негуманные стали.

По этому поводу попробовал запускать qwen локально На CPU, с использованием llama.cpp скомпилированной с OpenBLAS. Ну надо сказать работает. Медленнее в разы, конечно, чем на их серверах. Зато в неограниченных количествах. Прикручивать к локальному инстансу нейронки командлайновый клиент, чтобы оно код писало, пока не пробовал, хотя знаю как. Вообще командлайновый клиент там через API работает, а через API лимиты другие.

Хочу ещё попробовать

1. Локально погенерировать картинки. Интересно, осилит оно это без NVidia-вской видеокарты?
2. Попробовать собрать llama с ROCm и запустить на chara. Там вроде как видеокарата поприличнее. чем на десктопе. Или лучше с Vulcan?
3. Попробовать запустить генерацию картинок на ноутбуке Ирины. Там-то как раз NVidia, правда с небольшой памятью. (4гига уже небольшая считается. А я ведь помню времена когда 1Мб считалась большая, а маленькая - 256Кб, но и на ней мы ухитрялись режим 640x400x8bit запускать).

Тут в ходе некоей дискуссии в ЖЖ появилось предсказание о том, какая будет вторая ИИ-революция.

1) Для начала очень многие, если не люди, то фирмы, начнут гонять LLM на своих локальных мощностях, дабы можно было спокойно доверять им конфиденциальную информацию, и она бы никуда не утекла.

2) Как только это явление станет массовым, возникнет спрос на LLM заточенные под конкретные задачи. В принципе уже сейчас крупные производители LLM выкатывают по десятку моделей слегка приспособленных к тем или иным задачам - эта для писания кода, эта для разговоров на общие темы и т.д. Но по идее, количество специализированных дообученных LLM должно быть сравнимо с количеством специальностей, которым сейчас обучает система высшего и среднего персонального образования.

3) Далее, фирмы будут брать профессионально обученную LLM и дообучать ее уже на конкретном "рабочем месте" своим внутренним процессам. Очевидно, что позволить себе вычислительные мощности, на несколько порядков превосходящие те, на которых модель способна отвечать на конкретные вопросы, сможет далеко не каждый пользователь модели. Но это и не надо. Большую часть работы по обучению сделают специализированные организации на двух предыдущих пунктах.

Как мы знаем, человек тратит примерно 17 лет для получения общего образования и базовой социализации, 3-6 лет для получения профессионального образования, и несколько месяцев для того, чтобы вписаться в рабочий коллектив на новом месте. Человек отличается тем, что он использует ровно ту же самоую аппаратную часть и для обучения своей нейросети и для inference. Как мы знаем хорошего геймерского десктопа для inference современных LLM вполне достаточно. А куда большие мощности для обучения нужны потому, что создатели моделей не готовы ждать 15-20 лет, пока модель обучится до уровня выпускника общеобразовательной школы. Им нужно прогнать это за несколько месяцев. Но, в отличие от естественного интеллекта, модель копируется. Соответсвенно скопировав созданную на супер-пупер компьютерах базовую модель, можно на компьютере на порядок слабее за пару месяцев дать ей "профессиональное образование", А там еще раз раскопировать и пусть уже дообучается на рабочем месте малой скоростью.

Самое главное это чтобы она дообучалась на любых своих действиях, как это делает человек. Сейчас, когда у нас имеется одна модель и миллионы пользователей, вводится искусственное разделение на модель, скиллы, контекст и прочее. Если моделей будет много, такое разделение с возможностью отбросить более специализированные части будет лишним. (в крайнем случае всегда можно на бэкап откатиться).

Собрался, наконец и нарисовал карту того региона Ирганто, где происходит большая часть действия "Императрицы Кэт". А то во второй части там сплошная экономгеография, и без карты никак. То есть я-то это в голове держу а Ирине текст перерабатывать без карты плохо было. Надо бы еще карту мира нарисовать со всеми тремя материками.

Задумался над тем, что к OsmAnd надо бы прикрутить режим навигации без использования GPS. Пусть грубый, с ошибками, но работающий в условиях отсутсвия сигнала от спутников и прочих внешних источников геолокации. Для пешеходных маршрутов расстояния можно мерить в шагах. Акселерометр телефона вполне себе позволяет считать шаги, и приложений-шагомеров полный плеймаркет. На автомобиле можно добраться до показаний одометра через блютусный донгл на диагностическом разъеме. Тоже железяка вполне стандартная. Естественно погрешность будет гигантская. Поэтому необходимо иметь удобный жест для указания своего реального места на карте. Благо на суше достаточно легко привязаться к какому-нибудь перекрестку или, тем более, бензоколонке, на которой остановился.

Основная беда в том. что для того, чтобы правильно вести счисление, нужно не только лаг, но и компас. Магнитные компасные датчики, которые есть в телефоне, даже в пешем маршруте показывают погоду на Марсе. Погрешность у них составляет в лучшем случае десятки градусов. А для более-менее приличного счисления нужно не более градуса. То есть в железной машине придется магнитному компасу девиацию уничтожать. Хотя основная проблема в том, что этот датчик хоть как-то работает только если телефон расположен горизонтально, экраном вверх. А что в пешем маршруте, что при закреплении на торпеде автомобиля, он будет расположен скорее вертикально. Похоже, нужен внешний компасный датчик с bluetooth интерфейсом. Интересно, кстати, есть ли где-нибудь доступная для скачивания карта магнитного склонения? А то без карты склонения по магнитному компасу особо не поориентируешься. Так что лучше внешний датчик делать на базе гирокомпаса. Правда, тут вылезает проблема в том, что на MEMS-гироскопах гирокомпас не сделаешь. Он основан на явлении прецессии, возникающей у гироскопа на вращающейся Земле. Поэтому через некоторое время после включения сам входит в меридиан.