Карьера в ИИ

[Чайник777]

Квас, про фулстеков и нейронки не вижу связи, на мой взгляд это вообще параллельные вещи.

[Euskaldun]

С чего вдруг в сторону gcc⁈ Всем известно, что это лучшие в мире компиляторы.
Просто не ожидал, что Apple, зацикленная на проприеритарности и исключительности и с зашкаливающими ценниками на свой продукт, ими пользуется.

вы наверное пропустили, что в 2014 году емнип Аппл перешел на открытый стандарт

[Euskaldun]

Ну не на петабайтах же её тренируют. Обычно размер датасета - тысячи или десятки тысяч элементов. (Датасет ImageNet содержит много миллионов изображений. Это уже астрономический уровень. На практике его не используют, а берут предобученные сети, если надо.) Данные лежат в файлах, разметка - в текстовых файлах, базы данных не нужны.

А о каком уровне карьеры мы вообще говорим? О промышленном программировании имеет смысл говорить, если человек уже виртуозно обучает нейронки и в качестве вишенки на торте такой: "А я ещё немного фулстеком могу". Но если есть куда развиваться именно в машинном обучении, я бы дал противоположный совет: сосредоточиться на машинном обучении. Для него необходим и достаточен один язык: питон на базовом уровне.

я даже слабо понимаю о чем вы пишете, но точно знаю, что мимо Я повторяю: я лингвист, а не инженер. Программируют инженеры, моя работа - анализировать, грубо говоря фейлы и давать рекоммендации. А сеты из тысячи кейсов - это ни о чем. Такое число проходит через 1 (!) аналитика данных за пару дней, а аналитиков - сотни

[Квас]

Квас, про фулстеков и нейронки не вижу связи, на мой взгляд это вообще параллельные вещи.

Фулстек - понятие растяжимое.

Есть ИИ в виде нейронок. Есть приложения, которые юзают ИИ в виде нейронок. Нейронки обучает специалист по нейронкам. Приложения пишут разработчики. Разработчики должны организовать и запуск нейронки, и какой-то пользовательский интерфейс, и, может быть, интеграцию с какими-то системами, куда автоматические отчёты идут, и т. п. Если человек умеет и нейронку запустить, и гуи для неё написать (может, веб-интерфейс или на телефоне), это вполне можно назвать фулстеком.

Насколько я изначально понял, Euskaldun как раз в эту сторону копает, чтобы разрабатывать айфонные приложения или что-то вроде того. А я говорю: если у вас ещё есть куда развиваться в машинном обучении, лучше развиваться в машинном обучении. Ни плюсы, ни айфон для этого особо не нужны.

[Квас]

я даже слабо понимаю о чем вы пишете, но точно знаю, что мимо Я повторяю: я лингвист, а не инженер. Программируют инженеры, моя работа - анализировать, грубо говоря фейлы и давать рекоммендации. А сеты из тысячи кейсов - это ни о чем. Такое число проходит через 1 (!) аналитика данных за пару дней, а аналитиков - сотни

Тогда давайте больше контекста. Приходится же гадать, что у вас за ситуация. Зачем аналитики? Это же естественный интеллект, а не искусственный. Искусственный - это нейронки. Вы нейронками занимаетесь? Планируете заниматься?

[Euskaldun]

больше контекста - затруднительно по юридическим причинам

[Euskaldun]

насчет естественного интеллекта, тут, мне кажется, должно быть очевидно. Нейронки хороши только настолько, насколько хороши данные, которыми их кормят. Если цель не создавать чат для бредогенерации вроде ЧатГПТ. А кто вам сможет обработать данные так, чтобы от них был толк? кто подготовит тренировочный фураж, так сказать?

[Euskaldun]

Нейронки обучает специалист по нейронкам.

вот это прокомментирую: это - немного наивная точка зрения. Всё это прекрасно, пока речь не идет о личных данных, GDPR, прайваси и т.д. И тогда надувная нейронка с полки уже не подходит, потому что кто ж вам даст нужные качественные данные, чтобы на что-то такое дрессировать нейросети?

[Квас]

больше контекста - затруднительно по юридическим причинам

Даже нельзя сказать, обучаете ли вы нейронки или будете ли этим заниматься? Тогда на форуме эту тему трудно обсуждать. Условия задачи не ясны. Я наудачу пишу о том, с чем сталкивался. А вашу ситуацию - не понимаю. Вы говорите - плюсы. А я не знаю, зачем они вам нужны. Будь я плюсовиком, мог бы понасоветовать литературы на годы изучения. (Кстати, наверняка chatgpt даст хорошие рекомендации по литературе, зря вы его так.) Плюсы - это целая вселенная. Но разве она вам нужна?

насчет естественного интеллекта, тут, мне кажется, должно быть очевидно. Нейронки хороши только настолько, насколько хороши данные, которыми их кормят. Если цель не создавать чат для бредогенерации вроде вроде ЧатГПТ. А кто вам сможет обработать данные так, чтобы от них был толк? кто подготовит тренировочный фураж, так сказать?

Инженер по данным или по машинному обучению. То есть спец по машинному обучению, который обучает непосредственно нейронку, представляет, какие ему данные нужны, и сколько. А инженер по данным, если такой имеется в организации, может взять на себя работу по подготовке этих данных: найти, разметить. Разметка же основное время занимает. Не знаю как в нлп, но в компьютерном зрении разметка - не очень квалифицированный труд.

[Квас]

вот это прокомментирую: это - немного наивная точка зрения. Всё это прекрасно, пока речь не идет о личных данных, GDPR, прайваси и т.д. И тогда надувная нейронка с полки уже не подходит, потому что кто ж вам даст нужные качественные данные, чтобы на что-то такое дрессировать нейросети?

Это очевидная точка зрения. Если у вас есть куча качественных данных, что вы с ними сделаете без специалиста по нейронкам, если не отличаете бинарную кроссэнтропию от среднеквадратичной ошибки?

[Euskaldun]

Это очевидная точка зрения. Если у вас есть куча качественных данных, что вы с ними сделаете без специалиста по нейронкам, если не отличаете бинарную кроссэнтропию от среднеквадратичной ошибки?

а мне и не надо, есть специалисты по сбору данных (data curation) - вот они вылавливают весь мусор. это не моя работа, и даже не инженера по нейронке

[Euskaldun]

Даже нельзя сказать, обучаете ли вы нейронки

нет, конечно. я же писал - я не инженер и такой цели нет у меня.

 

Разметка же основное время занимает. Не знаю как в нлп, но в компьютерном зрении разметка - не очень квалифицированный труд.

Смотря чего размечать. А если оценивать результаты нейронки с точки зрения кастомер-экспириенс - это тоже «не очень квалифицированный»?

[Квас]

если не отличаете бинарную кроссэнтропию от среднеквадратичной ошибки?

Я, кстати, не отличаю. То есть я могу посмотреть, что кроссэнтропия определяется такой формулой, а среднеквадратичная ошибка - сякой. Но формулы никак не подскажут, в каких задачах надо использовать какие лоссы. А нейронщики всё это знают. Им математика особо не нужна, в формулы можно не вникать, но надо знать, какие лоссы характерны для каких ситуаций, какие оптимизаторы. Какую архитектуру взять, как модифицировать, сколько слоёв обучать. Трюки: дропауты всякие, кросс-валидации... Нужно искусство.

[Квас]

нет, конечно. я же писал - я не инженер и такой цели нет у меня.

Вы писали - нет цели стать программистом. Специалист по машинному обучению и программист - совершенно разные профессии. Но хорошо, теперь я понимаю, что речь не идёт о том, чтобы становиться программистом или специалистом по машинному обучению. Я тем меньше понимаю, откуда возник C++. А почему интерес именно к C++? Вам нужно, чтобы что-то считало быстро-быстро? Почему этим заставляют заниматься вас, а не инженера?

А если оценивать результаты нейронки с точки зрения кастомер-экспириенс - это тоже «не очень квалифицированный»?

Вот этого не знаю, не сталкивался. В классическом машинном обучении для получения окончательной оценки качества используется тестовый датасет.

[Euskaldun]

То, что вы написали - чистая правда, но это - типичная тз программистов: натаскали нейронку - и вот, кушайте не обляпайтесть Я вам приведу достаточно нашумевший пример, может слышали. Определенное время назад ТикТоки были завалены такими мемами: юзер просит Алису «Чип и Дейл спешат на помощь» (мультфильм из 90ых), а Алиса (ваша натасканная нейронка) звонит в службы спасения. Наверняка, реагирует на ключевые слова «спешат на вопрос». Вопрос: кто виноват? и второй вопрос: что делать?  Так что, если серьезно заниматься ИИ, то это только кажется: натаскали нейронку на пентабайтах даты = профит, в реальной жизни всё не так. Какие бы нейронки ни были «умные», сначала, как оказалось, надо их научить определять домейн запроса, прежде чем позволять что-то «думать». И таких тонкостей миллионы, и именно тут нужны лингвисты, чтобы выхватить «суть» языкового запроса, никакие пентабайты не помогут с этим, брутал-форс фейлит с живыми языками, увы