Искусственный Интеллект

[OtherSide]

Мне наоборот интересно их теребить, смотреть как они "мыслят". Это принципиально новая индустрия, это вообще не программирование в привычном смысле, а где-то на стыке с гуманитарщиной.
Наверное, чистому технарю сложно с их непонятливостью.
Последний раз подобное ощущение у меня было только в детстве, когда первый раз компьютер увидел и сразу понял, что мир не будет прежним.

[OtherSide]

Т.е., возможно, я бы получал удовольствие в разработке и исследовании самих сетей, их топологии, имплементации параллельных вычислений.

Как я писал, это уже все сделано и прям суперсложного чисто технически, как я понял, там нет.
В том то и прикол, что современное программирование, похоже, уходит в прошлое. Взаимодействие с ИИ - какая то абсолютно новая индустрия, для людей с совершенно другим мышлением.
Что-то лингвистически-наркоманское

[Interpolation]

Т.е., возможно, я бы получал удовольствие в разработке и исследовании самих сетей, их топологии, имплементации параллельных вычислений.

Как я писал, это уже все сделано и прям суперсложного чисто технически, как я понял, там нет.
В том то и прикол, что современное программирование, похоже, уходит в прошлое. Взаимодействие с ИИ - какая то абсолютно новая индустрия, для людей с совершенно другим мышлением.
Что-то лингвистически-наркоманское

Мне кажется, что у Вас сейчас такое же ощущение как у разработчика, который понял как в принципе работает "хеш-таблица" (hashtable), но убъется объяснить как и почему работает std::hash_combine формула.

template <class T>
inline void hash_combine(std::size_t& seed, const T& v)
{
std::hash<T> hasher;
seed ^= hasher(v) + 0x9e3779b9 + (seed<<6) + (seed>>2);
}

В этом ИИ куча еще похожих проблем с токенами https://techcrunch.com/2024/07/06/token ... 20formulas. .

Потом уперлись в проблему того, что не могут увеличить на порядок размер сети так как денег на GPU решения и "электричество" для этого не хватает. Следующие модели будут "группа из предыдущих" вместо "одна гораздо больше".

А еще есть старпер Савельев, который бухтит, что все ИИ говно по сравнению с биологическими мозгами, потому что био перестраивает структуру на ходу и манипулирует кровотоком. В транформерах структура статична, только веса пересчитываются. Как утереть Савельеву нос - тоже был бы неплохой проект.

[OtherSide]

Я думаю что оптимизация вычислений и масштабирование моделей нисколько не приближает к пониманию ИИ

Вдохновился сегодня написал текст

Придется начать немного издалека. Долгие века основой любого европейского (и, соответственно, российского тоже) мировоззрения была философия. Это был обязательный элемент в кругозоре любого публичного интеллектуала. Фактически, послевоенное поколение стало первым, которое отошло от этой традиции — и это дало свои плоды. Во многих вопросах современные публичные интеллектуалы, не зная истории мысли, выглядят абсолютно невежественными.

Многие концепции, кажущиеся нам банальными, имеют конкретных авторов. Например, естественная для современных технарей мысль о том, что «природа написана языком математики», была высказана Галилеем. До того, веками безраздельно господствовал Аристотель, который выдвинул тезис о том, что миры математики и физики ортогональны, и физика может быть постигнута лишь чувственно. Простейший формальный тезис опередил историю человечества на века.

На данный момент вся наука написана языком математики, а математика — это строгое и стройное здание, построенное на длинной цепочке логических выводов из нескольких самоочевидных аксиом. Мы знаем, что из нескольких формально простых правил дискретной математики и формальной логики выстроена вся инфраструктура IT.

Теперь немного ближе к теме. Несмотря на то что ИИ создан с помощью IT и математики, на самом деле нет понимания того, как он действительно устроен. Конечно, существуют модели трансформеров, различные алгоритмы градиентного спуска, тензоры и матрицы, но мы понятия не имеем, что именно они означают. Определенно, это не модель Галилея. Человеческий мозг и человеческая культура устроены совсем иначе. Все объяснения, которые мне удалось найти о том, почему расчет статистической вероятности следующего токена в цепочке ведет к имитации человеческого мышления, весьма эффективной во многих областях, сводятся к понятию «эмерджентности». Но эта самая эмерджентность почти не фигурирует ни в физике, ни в философии. По сути, объяснение «потому что так сложилось» было бы не менее убедительным.

Фактически, совершенно неожиданно у нас появилась новая модель познания, новая модель мышления, ранее людям не известная, — а значит, и последствия её возникновения нам неизвестны. Подобно тому, как размышления Аристотеля на тысячу лет остановили физику, а мысли Галилея, напротив, возродили её, ИИ принесет масштабные и совершенно непредсказуемые последствия, поскольку его мышление для нас — черный ящик. Мы можем корректировать те или иные параметры, но почему и как это работает — неясно. Точно так же, как у нас есть код ДНК, но мы лишь отчасти понимаем, почему наследственность закодирована именно так, и до полного проектирования живого организма нам еще очень далеко.

[Komissar]

в сидящих на той стороне индусов с клавами и мониторами - ты не веришь?

[OtherSide]

в сидящих на той стороне индусов с клавами и мониторами - ты не веришь?

Я же писал у ии инструкции вести себя как индус

[Komissar]

в сидящих на той стороне индусов с клавами и мониторами - ты не веришь?

Я же писал у ии инструкции вести себя как индус

ты уверен? ты видел эти инструкции?

[OtherSide]

в сидящих на той стороне индусов с клавами и мониторами - ты не веришь?

Я же писал у ии инструкции вести себя как индус

ты уверен? ты видел эти инструкции?

Да был ролик на ютубе. Ну не дословно но смысл тот же

[Interpolation]

в сидящих на той стороне индусов с клавами и мониторами - ты не веришь?

Я не верю, потому что очень быстро приходит решение моей конкретной задачи. Ее напечатать никто не смог бы даже если бы мгновенно знал ответ и план как этот ответ преподнести.

А еще человеку нужно часто 20 минут чтобы просто вникнуть в проблему и правильно начать думать. Интервью программистов это очень хорошо демонстрируют.

[Interpolation]

в сидящих на той стороне индусов с клавами и мониторами - ты не веришь?

Кстати, более мелкие модели открыто доступны. Открывается книга, грузится Питон, грузятся модели и все видно воочию. Никаких индусов.

[OtherSide]

Я так понял Комиссар шутит

[Interpolation]

Вдохновился сегодня написал текст
...

Я думаю, что текст - кооперативное решение между Вами и GPT.

Но я повторюсь. Мне лично более нравятся проекты, которые лезут внутрь и все-таки путаются понять "токены" и что с ними делать, вместо того, чтобы писать программы подбирающие набор словестных инструкций для модели. А когда модель обновили, ворчать почему тот же набор ведет к несколько другим ответам.

Получающий удовольствие от "магии LLM моделей" мог бы также получать еще большее от выращивания ребенка. Лет до 13-ти. Потом как повезет.

[OtherSide]

Мне лично более нравятся проекты, которые лезут внутрь и все-таки путаются понять "токены" и что с ними делать,

А что, такие проекты есть? Насколько я понимаю, все что доступно, это пляски с бубном вокруг параметров сетки и набора обучающих текстов.
Что еще вы можете сделать с токенами?

[OtherSide]

Получающий удовольствие от "магии LLM моделей" мог бы также получать еще большее от выращивания ребенка. Лет до 13-ти.

Примерно так, какие-то новые для себя инсайты получаю о мышлении самого человека. Вообще Робин как то заметил что от творчества ИИ скзвозит шизофренией. Пока не определил для себя от чего именно такой эффект. Но честно говоря у мен такое же ощущение от текстов и многих живых людей тоже )

[Easbayguy]

Вдохновился сегодня написал текст
...

Я думаю, что текст - кооперативное решение между Вами и GPT.

Но я повторюсь. Мне лично более нравятся проекты, которые лезут внутрь и все-таки путаются понять "токены" и что с ними делать, вместо того, чтобы писать программы подбирающие набор словестных инструкций для модели. А когда модель обновили, ворчать почему тот же набор ведет к несколько другим ответам.

Получающий удовольствие от "магии LLM моделей" мог бы также получать еще большее от выращивания ребенка. Лет до 13-ти. Потом как повезет.

Хорошая у вас работа, а я 2 недели пытаюсь добиться от вендоров и наших нетвворк инженеров, почему после апгрейда фаревалла 1-2% от ДНС запросов теряются! И зачем они проходят через 2 фареволла!

[rona tullia]

Мне кажется, что ИИ нужно специализироваться, одни пусть будут по коду, другие по картинкам, третьи по тексту, четвертые по справке и т. д.

[OtherSide]

Мне кажется, что ИИ нужно специализироваться, одни пусть будут по коду, другие по картинкам, третьи по тексту, четвертые по справке и т. д.

Это уже есть, следующий логичный шаг - ИИ "орекстрация" или менеджер

[rona tullia]

Пока я специализации вижу мало, те ИИ, с которыми приходится работать, многопрофильные и заточены на то, что приносит деньги компании, а это обычно спектр услуг.
Но есть вроде какие-то, специализированные под банковские задачи.

[OtherSide]

Пока я специализации вижу мало, те ИИ, с которыми приходится работать, многопрофильные и заточены на то, что приносит деньги компании, а это обычно спектр услуг.
Но есть вроде какие-то, специализированные под банковские задачи.

Пока я специализации вижу мало, те ИИ, с которыми приходится работать, многопрофильные и заточены на то, что приносит деньги компании, а это обычно спектр услуг.
Но есть вроде какие-то, специализированные под банковские задачи.

Есть нейросети, которые работают с векторной графикой, есть с растровой, есть которые обрабатывают изображения, есть которые генерят, есть нейросети которые переводят картинки в зд и находят на фото объем, есть дополненной реальности, есть motion capture , есть нефросети которые генерируют видео по первому кадру или есть по описанию.
языковые модели тоже специализируются, o1 ориентирована на науку, есть ориентированы на поисковики ну и просто болтологические
То что сейчас существует и пользуетесь только Вы - лишь малая часть. Мы уже много раз обсуждали - не стоит ориентироваться на текущий опыт, все очень быстро меняется. Еще майская нейросеть была прорывом в написании код, а в сентябре уже вышла o1 и там опять на уровень выше. Единственно проблема в платной версии всего 30 запросов в неделю, у меня в первый день заканичиваются за 2-3 часа работы. Где граница - не понятно пока что. Плюс много времени уходит на копипаст и проверки, но это чисто техническая часть, если ее решить и добавить автоматическую проверку и тестирование, можно средний проект, на который уходили месяцы работы команды сделать за пару дней

[rona tullia]

Нефросети это жутковато.