ym104432846
Вставьте ссылку на видео из Youtube, Rutube, VK видео
Задайте вопрос по видео
Что вас интересует?
00:02:20
Новые требования 117 приказа ТЭК:
  • Обсуждаются нормативные требования к искусственному интеллекту, включая приказ № 117 тэк, вступающий в силу с 1 марта 2026 года
  • Рассматривается гост по требованиям к искусственному интеллекту (ИИ), который находится на стадии проекта, однако уже понятны основные требования
  • Подчёркивается важность внедрения практических подходов и документации для подтверждения соответствия новым требованиям и повышения безопасности продуктов ИИ
00:08:43
Переход на российские инструменты и необходимость экспертизы:
  • Российские вендоры ориентированы на российский рынок и работают с местными экосистемами, что является важным преимуществом перед западными конкурентами
  • Российские вендоры активно развивают внутреннюю экспертизу и качество продуктов, конкурируя с западными аналогами и иногда превосходя их по качеству
  • Ожидается усиление требований со стороны органов власти и регуляторов к безопасности искусственного интеллекта, включая обязательную очистку данных, проверку на промъинъекции и отказоустойчивость, а также повышение ответственности конечных пользователей
00:20:23
Использование открытых источников и стоимость замены коммерческим инструментом:
  • 1. Участники обсуждения пришли к выводу, что найти опенсорс-инструменты, соответствующие всем требованиям безопасности, практически невозможно, и часто приходится использовать коммерческие решения
  • 2. В процессе подготовки нового ГОСТ по композиционному анализу были собраны комментарии, содержащие отсылки к возможностям использования опенсорс-решений, однако окончательное решение требует значительных внутренних ресурсов компаний
  • 3. Российские вендоры стремятся интегрироваться в российские экосистемы заказчиков, обеспечивая соответствие нормативным актам, стандартам и требованиям регуляторов
00:27:04
Сложности внедрения различных классов анализаторов:
  • Наиболее сложной практикой к внедрению участники считают инструменты статического (sast) и динамического анализа кода, особенно фаззинг и динамический анализ, которые трудно автоматизировать и применять массово
  • Участники пришли к выводу, что проще начать внедрение с практики композиционного анализа, поскольку она менее ресурсоемкая и позволяет быстро получить результат, однако для полного покрытия уязвимостей рекомендуется дополнять композиционным анализом использование sast
  • Обсуждалась необходимость создания национального репозитория доверенных компонентов, аналогичного западному Iron Bank, для контроля безопасности заимствованных библиотек и компонентов, используемых в российских компаниях
00:37:47
Автоматизация в информационной безопасности и влияние на специалистов:
  • Развитие рынка автоматизации и внедрение новых инструментов (включая мультиагентные системы) требует быстрой адаптации сотрудников компании
  • Специалисты останутся ключевой точкой контроля и принятия решений, несмотря на рост автоматизации процессов
  • Использование моделей искусственного интеллекта должно сопровождаться постоянным развитием профессиональных навыков экспертов, чтобы избежать ошибок и рисков
00:43:33
Особенности безопасности искусственного интеллекта:
  • [Принято решение] Необходимо учитывать этические аспекты и технические возможности устойчивости к атакам при создании и внедрении систем искусственного интеллекта (ИИ)
  • [Определена проблема] Основной проблемой является недостаточное доверие пользователей к данным и системам ИИ, вызванное возможными инцидентами и репутационными рисками компаний
  • [Поручено действие] Рекомендуется разработать и внедрить процедуры регулярного обучения сотрудников вопросам защиты данных и повышения осведомленности о возможных угрозах и уязвимостях ИИ-систем
01:06:18
Необходимость локальных моделей для безопасности ИИ:
  • Разработчики не допускают утечек информации через общение с искусственным интеллектом, однако обеспечить абсолютную безопасность данных на современном рынке крайне сложно, особенно при масштабировании решений внутри компании
  • Российские ведущие компании имеют успешный опыт внедрения локальных моделей безопасности, которые обеспечивают контроль над обработкой данных и предотвращение утечек
  • Существуют готовые решения и практики безопасного внедрения технологий искусственного интеллекта, которыми российские компании делятся на вебинарах и готовы обсуждать с заинтересованными сторонами
01:09:15
Выбор между безопасностью и скоростью разработки:
  • Принято решение выделить отдельного сотрудника (бизнес-информационная служба безопасности) для принятия решений по вопросам выбора между скоростью выпуска продукта и уровнем безопасности, который наделяется правом останавливать сборку и релиз новых версий
  • Обсуждалось возможное введение запрета на использование опенсорс-библиотек, однако большинство участников считают такой подход экономически невыгодным и неэффективным по сравнению с использованием специализированных инструментов анализа безопасности
  • Рассматривается возможность перехода российских компаний на отечественные аналоги зарубежных платформ типа GitHub, хотя конкретных выводов о качестве замены пока сделано не было
01:16:11
Безопасность цепочек поставок и использование доверенных источников:
  • Для повышения безопасности цепочек поставок предлагается использовать проверенные и доверенные источники данных, хранить их с цифровой подписью или хэшем
  • Рекомендуется обращаться напрямую к поставщикам моделей машинного обучения для получения необходимого кода вместо использования открытых платформ
  • Регуляторные органы разрабатывают подходы к обеспечению безопасности эмэля (машинного обучения), однако конкретные результаты пока отсутствуют
01:20:10
Возможность выживания небольших команд финтех стартапов:
  • 1. Обсуждалась проблема выживания небольших финтех стартапов в условиях новых требований государственных органов и ужесточающихся нормативных стандартов
  • 2. Участники дискуссии высказывали разные точки зрения: одни считали, что малые стартапы смогут адаптироваться и развиваться самостоятельно, другие поддерживали необходимость соблюдения регуляторных норм и сертификации безопасности
  • 3. Было решено подготовить совместный ответ на оставшиеся вопросы участников эфира и направить его аудитории после завершения трансляции
0: Добрый день, коллеги. Мы начинаем наш эфир, посвящённый 1 из самых горячих тем, в индустрии безопасной разработки, в контексте новых реалий. Сегодня мы поговорим о том, как 117 приказ тэк меняет правила игры.
1: Что делать с безопасностью искусственного интеллекта и где грань между реальной защитой и бумажной безопасностью? Напишите, пожалуйста, в чат, как нас слышно, как нас видно.
2: Пока вы пишите, давайте я представлюсь. Меня зовут Евгений Тодышев, руководитель направления безопасной разработки в Уральском центре систем безопасности. Сегодня я буду вести этот эфир со мной, мои коллеги.
3: Давайте мы с вами представимся. Николай, пожалуйста, начнём с вас. Евгений. Добрый день. Благодарю за приглашение на этот замечательный эфир. Уверен, здесь будет очень много интересного и актуального. Меня зовут Николай Павлов. Я являюсь архитектором млс.
4: Копии а. Гаверн. Здесь я представляю компанию академия айти из города Москва. Эта компания входит в группу софтлайн и в кластер фабрика Ван айай занимается обучением в сфере информационной безопасности искусственного интеллекта. Также обучение
5: Со стороны известных it вендоров я сам занимаюсь аудитом в сфере элси копс и i гаверненс, а также провожу учебные программы по дата гарнес и i гаверненс и mlc копс. Очень рад. Спасибо, спасибо, Лев. Добрый день, спасибо за приглашение меня.
6: Зовут Лев Новоженин, я руководитель службы предпродажной подготовки компании код скоринг, а также отвечаю за партнёрские интеграции. Спасибо, Даниил, привет. Меня зовут Даниил, я куратор направления безопасной разработки в renew ренью.
7: Занимаюсь заказной разработкой, в частности, для госкомпаний, для крупных компаний. Поэтому, надеюсь, непосредственный вклад в этот эфир внесу тоже. Отлично. Спасибо большое, коллеги. Спасибо, что приехали и ещё несколько организа.
8: Ных моментов наш эфир займёт полтора часа. Вопросы можно писать в чат на экране. Поскольку формат у нас насыщенный, время ограничено, то на часть вопросов мы ответим на эфире, а на те, что не успеем после эфира в письме.
9: С материалами. И коллеги, давайте начнём разговаривать уже про наконец то, про безопасную разработку, про безопасность и доверие к искусственному интеллекту. И начнём мы с нормативных требований, кото
10: Которые, без сомнения, являются 1 из самых животрепещущих и начнём обсуждение с требований, которые вступают в силу с 1.03.2026. А именно 117 приказ тэк, который пришёл на смену 17
11: Приказу и гост по требованиям к ii в t, который пока является проектом, но уже можно понять, какие требования будут предъявляться, как данные требования меняют правила игры для разработчиков программного обеспечения.
12: Которые работают с гисами, которые работают с кии. Обязательно ли их внедрение и в каком объёме? Даниил, вопрос тебе? Да, на самом деле все прекрасно понимают, что сейчас про 117 приказ со всех щелей.
13: Ребят, естественно, это самая, наверное, яркая тема в иб последних пару месяцев точно. И тут ещё наверх нам накручивают проект ивки. Он примерно так и называется общие положение про искусственный интеллект в критической инфрастру.
14: Структуре. Здесь на самом деле все довольно прозаично. Как только какой-то документ официально утверждается у нас в государстве, мы, естественно, идём к тому, что заказчики, особенно госзаказчики, будут его в свои контракты всегда запихивать и
15: Нас, например, как заказного разработчика, это в 1 очередь коснётся и всегда касалось, и всегда так будет продолжаться. И всех наших друзей конкурентов всегда будет одно и то же. Мы получим новый документ, мы получим новые требования. И здесь вопрос
16: Не стоит, не на федеральном уровне, что вот мы должны какие-то там требования выполнять, если это не фз, а именно гост. То есть, как, например, было с гостом 5, 6, 9, 3, 9 по безопасной разработке. Как только заказчик поймёт, что этот документ утверждён, он
17: Сразу же начнёт его везде включать. Поэтому всем, абсолютно всем заказным разработчикам надо заранее об этом думать и наперёд что-то уже внедрять из того, что сейчас на стадии проектов и всегда надо иметь это ввиду.
18: Спасибо за ответ, Даниил. К сожалению, на практике встречается, что компаниям достаточно формально выполнить практики и получить заветную бумажку. Как же избежать превращения требований стэк в
19: Бумажную безопасность и интегрировать практики в agile devops, эмэль опс процессы Николай, спасибо большое за интересный вот комментарий даниила продолжу его мысль в плане
20: Того, что вот есть гост ивки и он составлен так что этот гост все-таки ориентирован больше на практику. Мы сами видим, что здесь там нет такого требования, что, ребята, давайте делайте нам нормативку. Вот здесь, конечно, важно понимать, что все что
21: Там написано вот насколько я это понимаю, вижу из за своего опыта, там все конкретные вещи, вещи которые нужно применять и на которые нужно ориентироваться сейчас это ghost через пару лет, это будет уже нормативка, потому что в мире, мы видим ужесточается нормативка.
22: Мы сами видим экспоненту рост по количеству требований, по количеству законов. Как избежать того, чтобы это было не бумажная волокита, а именно практические вещи. Нужно, во первых, учитывать, что если даже стек сейчас что-то примет, они не придут, сразу не будут ломиться в двери. Ребята, давайт
23: Там требуете это бумажки, там и так далее. У вас есть техническая документация, чек листы при саас, там, диагностике, при других вот проверках остаётся комментарий коду. Все это является доказательствами для того, что вы проводили те или иные работы и всяко разное
24: Вот этих работ уже какие-то действия вы предпринимаете. Просто надо думать над тем, что мы делаем из этих требований уже сейчас какие-то проценты и потом просто наращивать то, что мы уже делаем и все получится. То есть это не нужно, это не барьер даже это наоборот возможно.
25: И этот гост, он на самом деле неплохой, он очень хороший. И просто это хорошее подспорье для тех, кто, может быть, сейчас уже делает искусственный интеллект в критической информационной структуре. И там есть опорные точки, по которым пройдись, там есть и риски, мы видим и отказоустойчивость, и все.
26: И проверки на разные направления и специфики там даже вот 4 уровня критичности, да, у нас искусственного интеллекта все это представлено, и это соответствует международным трендам. Европейский акт, вот этот и казахстанский закон там и все остальное. Поэтому в принципе нужно просто действовать.
27: Спасибо, отлично, спасибо, Николай. Ну e, логичным завершением внедрения практик безопасной разработки является подтверждением их достаточности и тут в дело вступает уже.
28: Уже сертификация по гос 56 939 от 2022 года. Но открытым все равно остаётся вопрос, становится ли наличие сертифицированного процесса разработки гарантией безопасности конеч.
29: Продукта в рамках новых требований. Лев, хотелось бы услышать твоё мнение. Ну, стопроцентную гарантию безопасности, конечно, никто же не даст, как минимум, потому что никто из нас не защищён из идей уязвимости. Но тем не менее, важно отметить, что и сертификация
30: И сертифицированный процесс рбпо, они повышают порог качества безопасности конечного продукта. Так или иначе, компания, выполняя, проходя процессы сертификации или выполняя процессы, сертифицированные рбпо, они проходят через
31: Определённые проверки через определённые чек листы. В рамках этих проверок они обрабатывают найденные уязвимости, какие-то оказавшиеся тру позитив сработками, они их устраняют, обрабатывают как итог. Конечный продукт становится гораздо безопаснее, естественно.
32: Продолжая линию про ту историю, когда это делается из под палки ради галочки в рамках аттестации внутренней проверки или ещё чего-то не принесёт тебе максимальный результат. Максимальный результат здесь даст естественное внутреннее желание компании выпускать без
33: Безопасный продукт совместно с новыми государственными нормативными актами про внутреннее желание компании. Мы ещё поговорим немножко позже про time to маркеты и бизнес показатели. Спасибо большое.
34: И давайте перейдём к следующему вопросу. Ряд компаний, которые уже имели ранее внедрённые инструменты безопасной разработки, но после недавних событий им пришлось эти инструменты заменять, как
35: Быть уверенным этим компаниям, что новые российские инструменты будут такие же качественные, а может быть, даже и лучше, и покажут достаточный результат.
36: Чтобы оперативно выявлять и устранять проблемы безопасности в продуктах. Даниил, да, могу прокомментировать. На самом деле, здесь, во первых, в 1 очередь не стоит вообще точно ориентироваться.
37: На рекламщиков и маркетинг, которые там вливают вам в уши, что вот у нас отсутствие фолсов, у нас все супер классно, мы находим все, что есть здесь. Единственный, конечно, момент, он прост в понимании, но сложен реализации
38: Нам нужны эксперты, то есть нам нужна экспертиза. Каждый в своём штате должен иметь там хотя бы какого-нибудь 1 человечка, на которого можно положиться. То есть там можно назвать его ссср чемпионом, например, когда он точно будет
39: Будет понимать, что-то, что делает вот этот вот сканер, он делает правильно и даже будет уже потом неважно. Это коммерческий, это опенсорс, это там интерпрайс, какое-то решение, если есть человек, который понимает для себя эти критерии, когда компания для себя эти критерии понимает в любом
40: Случае придём к тому, что заданный инструмент соответствует тому, что мы от него хотим и
41: В этом вся, наверное, сложность найти такого человека, который будет этим всем руководить, это все на себе держать, и когда к нему можно будет обратиться, и он тебе конкретно даст ответ.
42: Даниил, спасибо. Осталось только, конечно, таких людей ещё поискать секьюрити чемпионов, регулярно общаясь с циса. Ну, наверное, процентов 10 вообще не верят в эту практику. Угу. Секьюрити чемпионов и, в принципе,
43: Обоснованные доводы приводят, но тоже несколько позже. Если успеем, то обязательно поговорим про эту практику. Лев, а ты вот как представитель компании, которая вкладывается в маркетинг, я сегодня даже узнал сумму приблизительную ваш.
44: На этот год хорошая сумма, что скажешь? Ну, я скажу, что вот как именно представитель российского вендора, что мы, нам также важно, и мы стремимся наращивать российскую внутреннюю экспертизу.
45: Как российский вендор из того, что хочется отметить, это, конечно, то, что российские вендора все-таки ориентированы на наш рынок. Мы работаем с экосистемами, с которыми работает заказчик. Это тоже очень важно, особенно в текущих реалиях геополи.
46: Критическая ситуация, когда западные вендора на наши экосистемы не особо то внимание обращают в целом внутренняя экспертиза, то, что важно отметить, это то, что фиды у нас в целом вулканизируются не только на нашем рынке, а в целом по миру и каждый
47: Каждый, каждая операционная система даже ведёт свои какие-то фиды с определёнными условиями. Мы, например, стремимся все эти фиды обрабатывать, дедуплицировать на своей стороне, чтобы конечному пользователю предоставлять единый результат и чтобы он мог
48: Не только основываясь на нашей какой-то экспертизе, видеть ответы по определённым сработкам и компетенциям, но также мог и ориентироваться на тот фит, которому он доверяет именно как заказчик, так как заказчики доверяют абсолютно разным фидам тут.
49: Также стоит, наверное, добавить про то, что
50: Потерял мысль коллеги, давайте помогу наводящим вопросом.
51: Предположим, я заказчик. Угу. И у меня всю жизнь был чекмаркс, да, вот как, как перейти, не опасаясь. Да. Зачем? Давай сначала. Зачем мне переходить с чек маркса замечательного проверенного продукта?
52: Да, тут опять-таки нужно, возвращаясь, наверное, все-таки к экспертизе внутренней, и которую российские вендора растят. Отмечу, что российский рынок далеко не самые слабые требования выставляет к по и к продуктам, которые
53: Он закупает, и не только заказчик. Это также и регулятор. Если мы сравним, например, регуляторные требования. У нас и на западе наши требования на самом деле довольно серьёзные и покрывают большое количество аспектов информационной безопасности. Что заставляет
54: Вендоров, так или иначе покрывать тоже всю эту историю, развиваться и закрывать все требования. Что касается экспертизы. Тут, наверное, можно сослаться мне на отчёт гигаом недавний, который как раз-таки
55: Пускал сравнение западных инструментов в контексте саплай чейна именно если опять-таки сравниться с ним, наш российский рынок далеко не отстаёт и где-то даже превосходит в качестве экспертности западных.
56: Тут также стоит отметить, что многие западные вендора зачастую ссылаются на какой-то 1 общедоступный фит, а вдобавок к нему уже прикладывают собственную экспертизу ну, например, можно сонатайп тот же привести.
57: Который ссылается на собственную экспертизу и на national или data base у нас же российские вендора, и мы, в том числе, как правило, ссылаются на несколько доступных общедоступных источников, ну то есть подводя итоги.
58: Рынок российской безопасной разработки готов импортозамещать зарубежные продукты и делать это успешно, без потери качества, да, на касательно потери качества я тут уже отмечал.
59: Что зачастую российские вендора не уступают в своей экспертизе западным. Да, конечно, тут добавлю тоже прости, можно, конечно, брать баттл карты и сравнивать по конкретным фичам, и тут мы где-то будем лучше, где-то хуже.
60: Но если брать общую картину, общую конъюнктуру, то российские вендора далеко далеко не позади, а то и впереди западных конкурентов. Очень приятно это слышать, ну и.
61: И в завершении блока. Николай, подскажи, расскажи, какие новые требования со стороны органов власти мы ожидаем в области безопасности по искусственного интеллекта в ближайшие несколько лет?
62: Тоже классный вопрос. Вот вообще, я считаю, это 1 из фишек. У нас здесь только такие, да, да. 1 из фишек этого замечательного эфира. Во первых, нужно смотреть на суть. Вот я сказал, что есть экспоненциальный рост требований в мире, если раньше там было требование к тому же искусственному интеллект,
63: Вот, ну я в своём блоге писал где-то около 20 буквально вот пару лет назад, сейчас уже 87 стран приняли национальные стратегии в области искусственного интеллекта. Мы видим нормативку, мы все ждали. И закон об искусственном интеллекте, который анонсировали
64: И в ноябре, сейчас вот уже, насколько я понимаю, в правительстве до конца февраля, там кто-то сказал, что давайте мы черновой вариант предоставим. И методические рекомендации стека стали вступать, уже принимаются в декабре. И вот сейчас ожидаются тоже в разработке, там много
65: Интеллекту и 117 приказ, который вот с 1 марта у нас вступает в силу, там, по моему статья 60 61 62, где-то вот такие про искусственный интеллект и гостики мы видим, тоже идёт. То есть идёт тренд на вообще создание этих требований.
66: Ну, что важно понимать? Важно понимать то, что мы же не просто их создаём. В мире есть общепринятые практики, есть китайские законы, их там больше 20 жёстких, достаточно законов и нормативных актов. Есть европейский акт, есть американские.
67: И вопрос в том, как вообще будет выстроена архитектура нормативно правового регулирования искусственного интеллекта и разработки по в Российской Федерации. Я уже вижу то, что мы делаем больше на китайский, на восточный мотив, в части того, что мы регулируем, не
68: 1 законом, как вот европейцы, все пытаемся, а именно по отраслям, именно вот какие-то направления. И в 1 очередь более жёстко сейчас регулируются государственные вот информационные системы, а коммерческие меньше, то есть и пока что у нас
69: Более, я считаю, мягкое все-таки регулирование, чем вот в других странах. Это позволяет нашему искусственному интеллекту и разработке по расти, но тем не менее, вот дальше это будет просто ужесточаться. Я считаю, что будет следующее. Вот если говорить про искусственный
70: Интеллект обязательно будет уходить в требованиях, дай Бог, чтобы они все это делали именно так. Регуляторы то, что должно быть конкретно при разработке искусственного интеллекта это очистка данных, проверка на data, пользовании для лм моделей для rock системы для агентов это.
71: Проверка на пром инъекции джейлбрейки, да, это сплайне. Так, то есть проверка цепочки поставок, да, чтоб все это было, это обязательно тоже сейчас начинает входить в требования. Также мы видим в требованиях стека, проверка на отказоустойчивость. Дальше
72: Требования начинают заходить соци, даже вот работа с сотрудниками и с персоналом социальной инженерии в европейском, вот её якт там есть 3 уровня, вот при искусственном интеллекте, при разработке. 1, это поставщик модели, потом оператор и потом пользователь.
73: Мы должны. И сейчас я вижу тоже этот тренд будет то, что ответственность за пользование, по ответственность за пользование и системами будет переноситься, в том числе за конечного пользователя. То есть если инцидент будет происходить, и это не значит, что только поставщик
74: Модели или тот, кто владеет этой моделью. Организация будет нести ответственность, платить штраф. Я думаю, что в будущем обязательно будет перенос ещё и на нормативно правовое регулирование на пользователей Конечных. Это значит, что сейчас уже важно заниматься этикой искусственного интеллекта, так называемой
75: Аяяй, гаверна, которая растёт, которая вот как раз новое направление. То есть очень много разных будет нововведений. По сути, это будет ужесточаться просто потому, что мир ускоряется, требования к системам растут. И самое интересное, что мы видим, что
76: Контур вот атак, он все больше смещается в сторону социальной инженерии. То есть человек это уязвимое звено, а системы жёстче, они более такие надёжные и все усложняется. И мошенникам проще добраться до обычных людей. Мы должны сейчас уже думать о том, как защищать обычных граждан и
77: Ставить на поток вот эти моменты, что обучать людей безопасной работе с по и безопасной работе с искусственным интеллектом. Подход секьюрити идёт. Сейчас мы видим гости, мы видим 117 приказ.
78: То, что раньше было так что ребята, вы сделаете по вы сделаете искусственный интеллект и потом ну упадёт, ладно, все и b защищала на уровне вот этих уже после выкатки модели в prod, а сейчас на этапе разработки мы должны обеспечить безопасность, то есть по сут,
79: Специалистами по иб должны быть все айтишники. Вот и все. И мы видим острую нехватку таких специалистов. Очень сильный спрос на иб, и нужно как минимум повышать компетенции. А мне кажется, пока это недостаточно учитывается. То есть нужно к этому идти. Ну, чем
80: С вами тут, в принципе, занимаемся частично, да, несём вечное и светлое в массы с данным блоком мы закончили. Давайте я перейду в чат и
81: И прочитаю вопросы, которые нам тут задают, коллеги, и 1 вопрос, можно ли строить процессы безопасной разработки с использованием open source инструментов ну, постоянно его слышим.
82: И мне кажется, что тут есть как минимум 2 у нас мнения. Давайте, коллеги, по порядку. Даниил, да. Ну, я, наверное, начну, как вы строите у себя собственного опыта в любом случае. То есть, вот я не встречал ещё компа.
83: Которые подумали сначала о безопасной разработки и сразу решили на это выделить деньги. Всегда это нужно обосновать руководителю, что вот эта штука действительно работает. А как это обосновать ты начинаешь?
84: Шерстить рынок с инструментов. Смотришь все классы решений, которые тебя интересуют, и в любом случае выбираешь какие-то там по простоте решений, может быть по опыту, может где-то у кого-то че то слышал, но всегда начинается с опенсорса и
85: И тут, наверное, вопрос, не можно ли тут, наверное, вопрос? Нужно, чтобы вы почувствовали сначала на бесплатных инструментах, че они вообще в целом могут, дают ли они вам что-то, а потом поняли, в чем разница с
86: Инструментами коммерческими. И действительно ли эти коммерческие инструменты так хороши, как они себя показывают. Продолжу этот вопрос как раз есть комментарий. Просто зачем покупать дорогостоящие инструменты, если
87: Основные процессы можно реализовать, используя бесплатные аналоги. Вот расскажи, пожалуйста, насколько у вас дорогостоящий инструмент и можно ли его заменить бесплатным аналогом? Недорогостоящий инструмент в целом? Саму концепцию, конечно, любого вендорского инструмента можно заменить?
88: Опенсорсом вопрос только того, сколько ты готов инвестировать ещё в этот open source, чтобы довести его до того состояния, в котором он будет полностью удовлетворять твои потребности все-таки, когда вендор делает какой-то
89: Решение, он прикладывает все свои усилия, так как он в этом напрямую заинтересован, чтобы этот инструмент полностью покрывал потребности заказчика. Но если говорить конкретно о нашем инструменте, это композиционный анализ. Да, мы контроль цепочки поставок мы прикладываем.
90: Те усилия, чтобы максимально покрыть данные проверки. Что касается опенсорса, тут вопрос. Вернусь к тому, с чего я начал. Да, это сколько вы готовы инвестировать, сколько вы готовы допиливать там свои правила, сколько выделять?
91: Человека, часов на это. Ну, зачастую компании приходят к тому, что на самом деле сильно проще и дешевле обратиться к вендору, а качество, естественно, качество, качество опенсорс не всегда продолжает развиваться.
92: Же продолжает пополнять экспертизу внутри, так как опять-таки он в этом заинтересован, чтобы его инструмент оставался актуальным, продолжает развивать свой инструмент это и какие-то, может быть, не только экспертные вещи, но и integration.
93: Для обеспечения удобства работы, соответственно, заказчика конечного в своей инфраструктуре. То есть это постоянное развитие инструментария, постоянное обновление экспертизы, постоянное её пополнение. Угу.
94: Вот если мы говорим в разрезе статического анализатора, то у нас уже есть гост по start анализу, есть требования стека к поиску недекларированных возможностей в программном обеспечении.
95: Письмо от центробанка с рекомендацией по использованию, по рекомендации к выбору инструментов по статическому анализу и анализи и разбираясь в этом вопросе.
96: Мы с командой пришли к выводу, что
97: Найти опенсорс, который бы соответствовал вот всем требованиям, ну, невозможно. И приходится все-таки идти в инструменты энтерпрайзного характера.
98: Вот Лев, да, в продолжении тоже вопроса. Знаю, что скоро выйдет гост по композиционному анализу.
99: Который в дальнейшем, ну, естественно, будет при учитываться при сертификации процесса безопасной разработки, безопасной разработки. Вопрос, проводили ли вы анализ?
100: А можно ли соответствовать этому госту с помощью опенсорса? Хороший вопрос в целом, да, наша компания имеет непосредственное отношение к написанию нового госта по композиционному анализу. Проект уже
101: Собственно, был выложен, собрали кучу комментариев и как раз частично эти комментарии содержат в том числе и отсылки к опенсорсу. Все эти комментарии в рамках работы над новым гостом сейчас обрабатываются. Я думаю, что в целом то прийти к нему
102: Можно к результату конечному, да, как соответствие госту с помощью опенсорса, но опять-таки это вопрос усилий и затраченных инвестиций внутри компании, которые они готовы в это вложить, потому что, возвращаясь, наверное, к
103: 1 из предыдущих ответов на вопрос российский вендор он стремится интегрироваться в наши реальные экосистемы, с которыми заказчики работают, это какие-то и смежные внутренние интеграции, это соответствие нормативным Актам, гостам, требованиям.
104: Регуляторки и так далее. Поэтому, безусловно, частные решения здесь, наверное, упростят конечный путь, но прийти к конечному результату можно и с использованием опенсорса, и с использованием коммерческих решений. Спасибо за ваши ответы.
105: Коллеги, думаю, практика сертификации процессов нам все-таки покажет, как жить нам проще и действительно, куда проще вкладывать ресурсы. Это в людей, в продукты или
106: Какую-то смежную отрасль и от требований законодательства. Теперь предлагаю перейти к процессам и поговорить уже непосредственно про инструментарий. Даниил, ты как представитель компании, кото
107: Кто занимается разработкой программного обеспечения? Поделись, пожалуйста, своим опытом внедрения практик. На каком, а именно на каком этапе больше чаще всего из твоего опыта текущего прошлого?
108: Возникает, возникает проблем при внедрении различных классов анализаторов. Ну здесь такой немножечко кликбейтный ответ на моменте, когда включается человек
109: Потому что каждый раз, когда я там, как куратор направления, подхожу условно к генеральному директору и начинаю ему что-то объяснять, всегда нужно вот этот момент проработать, всегда какое-то непонимание, вопросы, что-то ещё, допустим.
110: Шёл этот шаг. Я Иду дальше, Иду там к направлению девсеков девсекопс в и начинаю им говорить, ребята, надо вот это внедрить вот так, вот так, вот так вот так я начинаю ещё 1 уровень убеждения ещё 1 количества людей. Что, а, ку,
111: Да, а как найти время и зачем это делать, и так далее. И вот этот вот ещё 1 Пласт работы. Допустим, мы это все внедрили. Я всех уговорил. Мы идём к следующему этапу. Люди, которые непосредственно занимаются написанием кода, они полу,
112: Огромное количество каких-то сработок у них, если только 1 решение вот только внедрилось у них там начинается грейс период, они получают просто вал уязвимостей, которые им надо отработать, на которых у них тоже нет времени, которые они там записывают, рядом с тех,
113: Долг безопасности и начинается огромное количество переработок по этому всему, то есть и на каждом из этих этапов нужно держать себя в руках и действительно доносить, что
114: Инструменты созданы для того, чтобы я там вам просто работы прибавил. А для того, чтобы мы реально качество наших продуктов повышали, то есть с технической точки зрения уже все 1000 раз рассмотрено и опенсорс
115: И коммерция, и интерпрайзы, они все уже понятны. У всех есть документашки, у всех есть опыты внедрения там статьи на хабре и так далее. Но когда дело доходит до взаимодействия с твоими людьми, если в компании
116: Нет культуры, иб. Ты убьёшь на это больше времени, чем на то, что ты технически это реализовываешь.
117: Спасибо. А пробовал ли ты заменить вот этот вот пряник на кнут и уже с ним идти к разработчикам, к девопсам? Понятно, что кнут должен выдать генеральный директор.
118: Да и внушать им, что это надо. Я ещё держусь. Я ещё пока что у меня очень много раз возникала эта мысль, и с моим прошлым опытом в
119: Работы в органе власти, где непосредственно только кнут работал. Конечно же, я прям, у меня прям рука уже ждёт вот этого, но я пока что ещё добрый полицейский, я ещё мягонький, пока что меня
120: Ещё хватает терпения, скажу так, но, но на самом деле уже близко. Учитывая, с какой скоростью развивается у нас нормативка и регуляторика, скорее всего, нужно будет прям ускорять процессы развития, внедрения
121: И нужно будет как-то это уже пожёстче делать. Окей. Хорошо. Коллеги, может быть у вас есть какое-то мнение по тому, какая практика все-таки наиболее сложная к внедрению пра,
122: Безопасной разработки. Ты, если про инструментарии анализа. Ну да. Ну слушай, саст, в целом 1 из самых таких тяжеловесных практик, это как и движки анализа, у них довольно тяжёлые работают долго. Это раз.
123: Результатов, как вот уже верно подметили. Соответственно, разбор результатов просто даже занимает определённое количество времени. Практика композиционного анализа, она здесь гораздо более легковесна, это и движки работают, защи.
124: Минуты условно, в то время как состы могут, ну, иногда часами разбирать тяжёлые проекты, это и разбор результатов, например, ск. Практика гораздо быстрее поддаётся разбору результатов, нежели нежели сей.
125: Потому что, наоборот, прошу прощения, сей результаты разбираются гораздо быстрее, чем результаты от саста. Это связано с тем, что сей все-таки это практика, направленная на сторонние компоненты. Ты получил компонент, получил информацию о её уязвимости, посмотрел релевантно.
126: Для тебя или нет, и как бы закрыл в случае необходимости саст требует более глубокой аналитики. Ну как итог порог входа, да, для специалиста он при разборе результатов, для анализа гораздо ниже, чем для разбора сас.
127: Результатов. Ну и наверное можно ещё добавить помимо экспертизы скорости работы это то, что все-таки саст, он ещё наверное можно добавить да, что sast все-таки направлен на больше проприетарный код и
128: И, разбирая уязвимости, ты ещё не получи, можешь не дополучить полную картину, пока не перейдёшь, например, к практике даста, так как и при работе со сторонними компонентами у тебя выдаёт сразу всю, ещё всю имеющуюся информацию в базах знаний. Ты сразу ещё покры.
129: Пачку уязвимостей, которые, например, саст мог бы пропустить, поэтому си тут гораздо легковеснее, гораздо легче для внедрения, чем тот же sast да, я согласен по нашему опыту конечно, тоже.
130: Проще, наверное, внедрять композиционный анализ, но дополнить хотел по сложности внедрения продуктов и, ну, практик, наверное, правильно говорить. Это все-таки фаззинг, динамический анализ кода, это где?
131: Что вообще крайне редко встречается у заказчиков даже с высоким уровнем зрелости процессов и которую достаточно сложно автоматизировать, сделать 1 раз и распространить на компанию, скорее всего, не получится.
132: Приходится делать под конкретные проекты, под конкретные команды, начали говорить про композиционный анализ, что его внедрить действительно легче, наверное.
133: Правильней всего, именно 1 этапом. И когда к нам приходят заказчики и спрашивают, вот, Евгений, у нас есть условно возможности внедрять только 1 конкретную практику.
134: Я все-таки всегда советую внедрять, начинать внедрение с композиционного анализа, в том числе потому что внедрение, когда ты что-то заносишь к себе в компанию, ты
135: Должен понимать, что это зачем это. И тоже самое касается, когда ты что-то заносишь к себе в исходный код. Вот Лев в контексте импортозамещения 117 приказа.
136: Как контролировать безопасность заимствованного кода и библиотек? Нужен ли нам все-таки национальный репозиторий доверенного по про который говорят уже, я даже предположить уже боюсь, сколько лет, довольно давно довольно.
137: И готовы ли российские компании к обязательствам сбом, станет ли это паспортом безопасности продукта или дополнительной бюрократической нагрузкой? Я немного размажу твой вопрос. Давай резких.
138: Формулировок немного к более мягким. Оо, да, что касается 117 приказа. Ну тут у него есть прям такая тенденция, что он нас приводит одразовые сертификации к постоянным проверкам на соответствие требованиям к информа.
139: Информационной безопасности, как минимум, например, в области пач менеджмента, да, который он также описывает. У нас. Соответственно, тут необходимо саплай чейн полностью выстраивать, то есть контролировать те компоненты, которые поступают в контур вашей организации, там даже при
140: Взаимодействие с ними контролировать. Какие компоненты у вас используются в сборке, пострелизно все это контролировать для того, чтобы обеспечивать безопасность конечного продукта. Что касается, я бы сказал, доверенного.
141: Не доверенного, а контролируемого репозитория. Мне эта формулировка чуть больше нравится с точки зрения законодательной, скажем так, базы, да, каких-то актов. Тут отмечу, что в новом госте как раз-таки по композиционному анализу доверенный репозитории
142: Тоже учитывается и раскрывается его формулировка, и там он обозначен просто как, по сути, репозиторий со сторонними компонентами, которые проходят все необходимые проверки. Практика хорошая, мы вообще всецело 2 руками за неё.
143: Немного отойду в сторону от национального, чтобы не попадать в холивар, но, например, западные истории показывают, что это интересная практика, которая требует внимания министерство войны, например, в сша у них есть свой айрон бэнк называ.
144: Доверенный репозиторий, в который разработчики, соответственно, могут обращаться за безопасными компонентами. Там, кстати, был интересный скандал. 1 из компонентов, он маинтейнился разработчиком из московской области. Компонент довольно популярный и был
145: Большой скандал в связи с тем, а можно ли этому компоненту доверять, как так разработчик из России его поддерживает? Docker, например, пришёл тоже к этому хардене, образы запилил, если говорить о российском.
146: Российском рынке, например, есть аксиом jdk ребята очень экспертные, могут и исходники компонент переписывать и создают свой собственный репозиторий компонент для явы отличная практика, если эта практика реализовывается в хоро.
147: Виде для конкретной там, например, экосистемы, либо для конкретных технологий мы максимально её поддерживаем. Но тут вопрос, удастся ли создать такой контролируемый репозиторий для сразу всех технологий? Мне кажется, тут могут возникнуть некие
148: Сложности, сложности возникают, да, у нас постоянно на всех этапах. И небольшой дискуссионный вопрос. Я попрошу каждого там по порядку высказаться.
149: Тема вопроса это автоматизация в информационной безопасности многие российские разработчики инструментов для обеспечения безопасной разработки заявляют об автоматизации разбора уязвимости.
150: Такие встроенные механизмы появились у статических анализаторов, такие уже есть и давно заявляются у инструментов класса осок.
151: А как вы относитесь к подобной автоматизации? И сможет ли она действительно заменить специалистов, ну или хотя бы уменьшить их количество в штате? Николай, ну как сказать, здесь.
152: Конечно, нужно понимать, что сейчас быстро развиваются все эти инструменты автоматизации. С 1 стороны. С другой стороны, раз они сюда приходят новые в нашу компанию люди должны быстро тоже адаптироваться, кто будет быстрее адаптироваться вендора, которые будут поставлять на
153: Рынок проводить вот эти обучения, вебинары внедрять, заключать договора. Или специалисты, которые раз вечером хабр почитали, да, и уже все готовы. Ну, 1 вопрос, 2 вопрос. Все равно. Сейчас, значит, наступил год агентов мультиагентных даже систем.
154: Прошлый год был агент искусственного интеллекта. Сейчас мультиагентные системы. Я знаю, что уже на рынке есть компании, которые предоставляют услуги, вот эти автоматизации проверок с помощью мультиагентных систем, да, к этому идёт, да, здесь есть некие риски, но мультиагентные системы над
155: Даже оркестрировать и roll специалистов информационной безопасности. Здесь человек, человек остаётся в петле, да, так сказать, мне meddle, но он будет со временем трансформироваться в оркестратора мультиагентных систем, хотим мы этого или нет. Я
156: Вижу этот чёткий тренд, я знаю, что к этому придёт, к этому надо готовиться. И поэтому здесь такая задача, что, ну, нужно проверять, автоматизировать, но с помощью агента все, что можем, и какие-то новые острые углы, пока человек, но потом переносим это на агентов и там ещё
157: Больше, ещё больше вся эта техничка будет расти, раз объём бигдейта по экспоненте растёт, а по гиперэкспензий искусственный интеллект мультиагентной системы. Поэтому вот здесь такая задача чётко видеть тренд и человека, направлять туда, куда он идёт. Все. Спасибо, Николай.
158: Да, я думаю, что человек так или иначе останется в этой системе полностью, его однозначно не получится убрать, потому что за всеми этими системами нужен все равно контроль. Да, Николай дал такой развёрнутый ответ, что как будто бы
159: И добавить на самом деле уже нечего. Инструменты, мне кажется, в какой-то момент, да, будут выполнять основную часть работы, но при этом человек все равно как конечная точка решения не должен уходить, он должен оставаться и контролировать эти системы и
160: В таком случае я вижу, что инструменты должны стать помощником, а не заменителем. Можно ли будет снизить требования к специалистам за счёт компетенциям специалистов за счёт
161: Снижение, точнее, за счёт увеличения использования. Да, мне кажется, что точно не стоит, учитывая, что все эти тренды уже есть, кстати, различные исследования на то, что все эти эмели и прочие агентские системы, они
162: Они довольно-таки притупляют взгляд, то есть человек в какой-то момент начинает уже, ну чуть ли не слепо доверять тому, что ему искусственный интеллект подсказал и перестаёт оттачивать именно свой ум со стороны.
163: Своего ума, то есть переходит на доверие и уже такой, ну раз она так сказала, значит так и есть. Мне кажется, тут, наоборот, нужно быть очень осторожным для того, чтобы эксперты оставались экспертами постоянно подтачивать свои навыки для того, чтобы как раз-таки не
164: Попасть в ситуацию, когда неверно выданный вердикт от мельки поставит под угрозу, скажем так, ну пусть будет инфраструктура компании, например. Спасибо, Даниил, тут есть что добавить. На самом деле, каждый
165: Когда мы используем любую модель, неважно какую каждый раз она должна на чем-то была научиться, а кто эти данные предоставил этой модель для обучения? То есть какая-то организация осознанно
166: Скрыла кому-то информацию о своих уязвимостях, чтобы там кто-то об этом научился. И здесь же мы уже приходим к пром коннекшн, к тому, что можно вытащить эти данные из этой модельки и так далее. То есть это вот такой животрепещущий
167: Вопрос, что надо где-то таким образом поместить и обучить модель свою на себе, на своих данных, чтобы она ещё и выдавала правильно, без каких-либо внешних факторов. Тут в любом случае без человека, ну не обойтись, то есть
168: И она должна остаться в любом случае. Да, коллеги, спасибо. Буквально 30 секунд. Тогда, да, небольшое добавление про данные знаю точно 1 крупную компанию с кучей дочкой дочек, которая сама обучает своих внутренних
169: Внутренние модели это довольно дорогая история, поэтому позволить, наверное, такой подход себе могут, ну, по сути, единицы. Все остальные как раз-таки, да, становятся подверженными промт инжекшн.
170: У меня в направлении 25 человек, я 26, и я понял, что сокращать их нельзя, так что коллеги могут спать спокойно.
171: К сожалению, в данном блоке время у нас уже закончилось, на вопросы коллег из чата, если успеем, то ответим уже в следующем.
172: И теперь я предлагаю перейти к вопросам, которые касаются опять g1 из самых модных, но и в то же время и сложных блоков это безопасность.
173: Искусственного интеллекта. Здесь достаточно много вопросов от редакции. И начнём с такой небольшой предыстории, когда я там безопасной разработкой, ещё когда давным давно начинал заниматься
174: То приходил к своему тогда руководителю циса и пытался убедить его, что классические подходы к обеспечению безопасности при разработке программного обеспечения.
175: Особенно в микросервисных архитектурах все то не работает, а как дело обстоит с безопасностью и систем, чем принципиально отличаются?
176: Подходы от тех подходов, которые, к которым мы уже все-таки начали привыкать и где-то привыкли в безопасной разработке.
177: Николай, тут попрошу тебя прокомментировать и системы, они, конечно же, отличаются очень сильно. Во первых, они стремительно развиваются, они очень быстро усложняются, их архитектура растёт. Мы сами помним, что когда у нас был ноябрь 22,
178: Да, релиз 2 чат GPT-3 с половиной. И после этого можно сказать, такой социальный взрыв, когда все поняли, что такое лмка. И давайте, давайте быстро. И сейчас уже агенты мультиагентные. Во первых, они немножечко непредсказуемы. Всегда есть вероятностный момент в их работе, когда они выдают
179: На один и тот же промт разные ответы, то есть, так сказать, температуры, там другие счётчики атаки у них есть специфичные. Эти атаки перечислены в наших отечественных фреймворках, есть фреймворк от яндекса, от Сбера, другие компании выпускают, есть
180: Международный, типа градация апи вас выпускала в 2003 году вас топ 10 для эмэль, вас топ 10 для м в 2025 году. И вот в начале 26, в январе, авас топ 10 для application, ну, для для агентских приложений дженти апликейшен и
181: Уже с развитием этих систем увеличивается и контратаки их различия с Ростом возможностей и систем. Вот, и агентов сейчас уже искусственного интеллекта, этот спектр атак, спектр их возможностей увеличится. Значит, спектр риска угроз увеличивает
182: Тоже многогранно конечно же здесь надо проверять на data poisoning любые модели которые обучаются они могут быть отравлены и это значит, что данные могут быть подменены так что при обучении специалист не заметит, что он будет думать, что это нормальные данные нужно обязательно проверять вот на.
183: Этические риски есть, то есть на бис, да, так называемый, это значит, что датасет должен быть сбалансирован. Он должен не иметь предвзятости к тем или иным типам людей, допустим, чтобы моделька работала одинаково ко всем людям, то если она с персональными данными, какими-то работае,
184: Так далее. То есть в этом плане эмэль, система их атаки, ну, их уязвимости, они существенно отличаются, да, есть общий кластер знаний, и б. Здесь никуда не делась, которая говорит о том, как хранить данные для эмэль. Ну, стандартное шифрование на
185: Оптимизация, там, хэширование, цифровые подписи и моделей, и данных. Могут быть ошибки, да, что данные, допустим, цифровую подпись делаем, модель храним, не делаем. Уже есть какие-то риски, есть практики дейта гаверненс, которые говорят, как правильно распоряжаться данными и в организации, они нам помогаю.
186: Поддерживать эмэль, но при этом сейчас есть проблемы, проблемы в том, что понимание вот эмэль си копса, оно немножечко направлено в сторону иб. Больше я считаю, что все равно опс, вот этот кончик, он должен сохраняться. И эмэль си копс это ещё и про отказ.
187: Устойчивость. То есть это целый огромный кластер знаний, когда мы должны говорить, что агенты не должны, ну и искусственный интеллект не должны падать. И все очень большие уязвимости сейчас вот в Китае наблюдаются в части, там же они лидеры по автономным системам, беспилотные
188: Машины, роботы, дроны и так далее. И здесь мы видим то, что эти системы тоже растут. Они выходят из под контроля. Физический спектр атак огромный. Риски заложены в медицинских системах. Любое маленькое отклонение, любое 0 целых. 1 де,
189: 10% отравленных данных приводят 2, 3 вероя, 2, 3% сдвига точности модели. А что такое точность модели на врачебном прогнозе? Это все, это риск смерти и жизни человека. Да, соответственно, здесь мы должны тоже очень осторожно работать с этим. То есть
190: Данные атаки специфичны, все они перечислены в реестрах, какие-то фреймворки говорят, что их 70 перечисляют, так некоторые вот по 10 градируют, но там уже под атаки разные специфичные. То есть мы здесь защищаем все то, что нормальной архитектурой б, и
191: То есть систем инженер, устойчивость, я об этом ещё говорю, но и всю специфику кладём. Модельные версии извлечения данных. Вот как правильно Данил сказал, да, из модели. То есть пишутся промт, и чтобы она что-то нехоро, ну, выдала, на чем она обучалась. Вот так она
192: Как DDoS атака, то есть чтобы она переизбыток мощностей, тоже есть такая специфичная атака, когда модель у нас в облаке развёрнута, туда много пишут запросов специфичных, из разных триггеров составленных, и чтобы как можно больше мощностей, чтобы денежек много потерял, самое.
193: Главное в рисках эмэль. Вот самое главное то, что как только эмэль инцидент происходит, сильно, сильно падает репутация компании, падают акции, все рушится просто потому что это все любят, все говорят, искусственный интеллект сказал, то-то сделал то-то в России официально ни 1
194: Инцидента никто нет, я знаю, что они есть, но в этом никто не признается. И здесь мы говорим о том, что как только в России будут происходить первые официальные инциденты, все эти все компании десятилетиями будут помнить, мы все знаем, что вот в сша происходит. Я сейчас не буду юридических соображений говорить все эти инциденты, если
195: Надо, вот почитайте, везде это известно, но все эти инциденты знают, как там беспилотные машины, там на рейсах, это и смертельные случаи там есть. Поэтому это очень все серьёзно. Николай, спасибо. Я не знаю, после твоего ответа блок может, наверное, следующий.
196: Приходи специально, поэтому и позвал тебя прокомментировать вопросы по мальсе опсу доверенному и и блиц вопрос что все-таки важнее этика ису.
197: Интеллекта или техническая устойчивость к атакам.
198: Да, да, спасибо. Это значит быстро, быстро, да, техническая чуть важнее, но с каждым годом будет выравниваться просто потому что техничка будет все сильнее работать, а этика, она всегда останется сейчас этика понимается не совсем. То есть некоторые считают вот это
199: Лично некоторые люди считают, что это, ну, нормально, техничка, если угроза это когда целенаправленная атака это компрометация, это инцидент. Все, ну то есть этика будет добавлять технику, а для этики у нас пока не хватает понимания, что является этичным.
200: Именно так. Отлично. Спасибо. Ну и, наверное, как нам вот в целом Николай подсветил. 1 из основных проблем безопасности является доверие к данным. То есть, да, есть классическая безопасность, которую никто не отменял. Защита датасетов за
201: Моделей, защита процессов разработки, а есть данные, которые как-то обучаются и как обучаются службы безопасности, наверное, сложно сказать, они не могут в этом моменте разобраться.
202: И вот вопрос, Даниил, как обеспечить выполнение требований по защите данных при обучении моделей? Ну, здесь действительно только дополнять николая. Действительно, во первых, нужно понимать, что мы берём для обучения модели
203: Только те данные, которые ей действительно нужны. То есть это минимизация данных, которые мы ей в целом отдаём.
204: Следующий момент в любом случае мы живём в России, и к нам в любом случае применяются законы Российской Федерации, нам нельзя про них забывать. И в любом случае, когда мы какие-то данные у кого-то берём для обучения, мы должны понимать, что мы берём эти данные на законных основания.
205: И как только вот этот маленький нюансик мы забудем сразу же опять это такие репутационные риски, которые, может быть, даже мы не оправимся с них. И здесь, наверное, я сразу всем напомню об 1 маленькой
206: Такой вещи, это элайн текс, это когда мы ставим границы, какие-то ограничения на модель, чтобы она там не выдавала, там по религии не выдавала, там по расе, не выдавала какие-нибудь медицинские показания. Это все
207: На все это тратит свои токены. То есть все эти вещи, как только мы её начинаем ограничивать, она теряет свою мощность сразу же. То есть, когда мы проектируем в целом эту модель, мы должны понимать, сколько ресурсов она у нас
208: И вообще, будет ли она, в конце Концов, полезной, как мы её запроектировали. То есть вот 0 пунктик это оценка, то есть оценка и рисков, и производительности, и в целом репутации. То есть у нас на чаше весов всегда
209: Какая-то этичность, да, не создать терминатора, конечно. А с другой стороны, ну, хочется, чтобы и выполнял те ролли, под которые он задумывался, да, чтобы это все-таки было действительно, вот фейерверком на твоём производ.
210: Чтобы к тебе хотели идти клиенты, и чтобы это было реально прям звездой твоего мышления и твоей компании, и естественно, и как в целом сейчас в мире. Ну, естественно, она везде, это прям все об этом знают.
211: Все об этом говорят, все используют, че то генерируют. И когда ты предлагаешь какое-то решение на базе, и оно должно быть прям, вау, отлично. В тз так и запишем, как говорится. Ну.
212: Кроме шуток, государство тоже очень быстро взялось за регуляторику в искусственном интеллекте, и кажется, что это действительно правильно, если посмотреть количество гостов, которые выпущены
213: По различным требованиям и к медицине, к Железнодорожному транспорту их очень много, и, конечно, их необходимо соблюдать. Так вот что все-таки необходимо делать, чтобы не нарушать
214: В искусственном при использовании искусственного интеллекта. И как не попасть под санкции госорганов? Николай. Ну во первых, нужно соблюдать эти требования, да, и очень часто были инциденты.
215: Вот, понятно, что вот на моей практике, по крайней мере, о 2 точно знаю таких инцидентов, когда собирают данные, обучают модели, выходит, ну, персональные данные, выходит потом, что согласие на обработку персональных данных неправильно оформлено. Либо где-то не на все, на 5%, да?
216: Ну, извините, уже модель там в продакшен уходит, и все, ребята, останавливаем. Ну, в 1 случае удалось там как-то переобучить, там, дофайнтюнить, да, в другом случае пришлось все это откатывать и заново все перезапускать. То есть, во первых, это согласие, что и цель, и то, что субъект должен быть информирован.
217: И так далее. То есть и куда и какие данные именно должны быть использованы. Понимания часто нету у компании какие вот именно данные являются персональными, какие коммерческими. Все есть очень большая проблема. Здесь же сразу подсвечу то, что по некоторым, вот америка,
218: Исследованием на конец года. Вот 25. Именно свежайшие, да, данные, то, что самые большие, больше всего уязвимостей. Больше всего инцидентов в мире происходит из за искусственного интеллекта. Мы все понимаем, почему все сидят, открывают переплести чат gpt. Ребята там, кто там
219: Клод и так далее. И пишут туда личные вопросы, рабочие задачи из из восточных некоторых стран. Так, 1 из корей, так скажем, код у этой компании утекал. Для этих микросервисов, для передовых технологий ушло все.
220: Они там, когда вы инцидент выявили, тогда и знали. То есть нет обучения сотрудников, нет обучения людей, нет понимания, нет ответственности, ответственность. Ладно, допустим, юридически там не готовы вписывать в должностную инструкцию. Но составьте чек лист какой-то приказ, чтобы небольшой, что человек все так.
221: Не должен эти данные куда-то лишний раз уводить. То есть вот именно таким образом мы должны защищать вот эти все требования. Обязательно нужно смотреть наперёд. Обязательно нужно вот как тоже здесь кто-то из коллег сказал, что нужно следить за обновлениями в законода.
222: То, что выносится и так далее. То есть вот именно так. Спасибо, Николай, наверное, пока не появится ответственного, то и контролировать это никто не начнёт.
223: Коллеги, и все-таки какие проблемы при разработке, внедрении систем искусственного интеллекта влияют на уровень доверия к этим системам?
224: Ну и вообще, возможно ли полностью доверенный искусственный интеллект? Можно я скажу ещё про по поводу ответственного здесь? Спасибо, Евгений, но ответственны должны быть все, потому что давайте прямо, если 1 кто-то ответственный, он бегает по
225: Делом собирает. Ребята, вы это сделали, вы это сделали. Во первых, свою работу не успевает. Работодатель не понимает, что у него там он, чем он занимается, чем ты весь день занимался? Все нужно поднимать культуру. Это должно быть в agile процессах всех зашито. Давайте там на спринте сделаем, давайте на ретро посидим, поговорим про
226: Про эти уязвимости, про безопасность данных и так далее. Вот. А по поводу доверенный, да, доверены, да, сейчас нет термина доверенный, прямо искусственный интеллект. В российском законодательстве есть нюансы, да, то, что каким именно образом это должно быть? Ну, по идее,
227: Российские какие-то технологии, российские модели, но сейчас же даже тот же. Понятно, что передовые модели, не будем снова их называть. Мы все прекрасно знаем. Они так или иначе используют эти цепочки поставок, используют эти элементы зависимости иностранные или опенсорсные какие-то
228: Я видел в облачных репозиториях наших российских. Вот, ну, queen давайте тоже прямо, и поэтому здесь вопрос о доверенности нужно ставить тогда, когда мы будем к этому окончательно готовы. Доверие это когда нет инцидентов, но это значит, должно быть правильное тестирование модели.
229: Тестирование по разным вот бэнчмаркам, по разным бэнчмаркам это и оружие, и насилие, и вот эти все кучи Промтов есть разные системы для тестирования искусственного интеллекта из российских. Это хай трейс ред ломате, как минимум можно назвать
230: Да, тоже. И в принципе, я рекомендую их именно их использовать, но есть иностранные, которые имеют свою специфику и свои сильные стороны. Поэтому эту систему нужно знать. Должен быть специалист, который занимается доверием искусственного интеллекта. Нужна этическая составляющая, нужно следование законам.
231: Конечно, и само понимание, как именно мы используем систему искусственного интеллекта. Здесь, извините, я последнее скажу то, что я уже хотел останавливать, да, очень важно сказать на рабочем месте. Вот, ребята, вот вам искусственный интеллект, и вы делаете
232: Это вот так, вот так вот вам система шаблона Пронтов. Если вы делаете что-то не так, вот это вы уже неправильно делаете. У нас сейчас такого нет и мы должны в рабочей функции на каждой должности, где внутренний искусственный интеллект это внедрять такой подход я ещё накинул дополнительную проблему. Проблему.
233: Вайб кодинга это достаточно серьёзная проблема, особенно если разработчик делает это не во внутренних каких-то нейроночка, а идёт в какую-нибудь в интернете, куда он загрузил код, какой код он взял? А как это все контролировать?
234: Это все тоже большие вопросы, которые пока остаются без ответа. Ответа в виде того, к чему все это может привести в айподик сознательно не включал, потому что это про это можно прям отдельно собираться.
235: Да, да, и главное, это пока не сильно понятно, что с этим делать, наверное.
236: Даниил, что-нибудь добавить хочешь? Это очень сложно на самом деле что-то здесь добавить. Ну, я ещё раз просто повторю, всегда говорю это на все темы по информационной безопасности. Всегда сначала думайте.
237: Всегда сначала оцените риски и только потом, когда вы в целом какой-то вот вектор поняли для себя, где действительно лежит самая высокая возможность эксплуатации, там, уязвимости какой-то, где-то вы что-то не доработали, ну
238: Вы работаете, вы разрабатываете, вы знаете, где у вас самое слабое звено. Вы в любом случае поймёте, что вот, вот в этом месте нужно приложить дополнительные усилия. И если для вас риски будут выше, чем, ну, условный доход, скажем, раз мы
239: Про коммерцию, то конкретно вот эту функциональность лучше, наверное, все-таки на общее обозрение не внедрять.
240: Если коротко, вот прям вот по сути, то скорее вот так. А кто должен оценить вот эти вот риски? Здесь сотрудник безопасности в эмеле ещё не разбирается. Специалист по Эмеля в безопасности не хочет разбираться.
241: Есть ответственный, которого я предложил, он бегает, и у руководства много проблем, вопросов к нему его невозможно найти, где он, да, куда-то убежал. На самом деле очень важный здесь, опять же, момент взаимодействия. То есть, если
242: Эль, специалист не может просто понятно объяснить, что делает конкретно вот эта функция или почему я, например, решил использовать именно эту модель, или почему вот у меня, например, торчит наружу вот конкретно вот этот вот порт, то ибшник.
243: Он и не будет задавать вопросы ему, типа, ну объясни, ну покажи, ну расскажи, он просто рубанёт и не будет потом претензий к нему, что он где-то там не защитил компанию, потому что он придерживается принципа безопасности для него.
244: Безопасность. Ну, для ибшника она первоочередная, а того, что там, где-то, как-то мы там потеряли прибыль, где то что-то у нас там фича какая-то не вышла, да, по большому счёту, ну, без разницы ему будет, поэтому он просто закроет. И объяснил, не объяснил, не
245: Зато сразу все нужные ответы появятся. У меня не работает это без этого я не могу сделать это. Да, да, да, да.
246: Да, коллеги, спасибо за ваше мнение. И в завершении пара вопросов. Если, когда мы разобрались вот с практической стороной, понятно, что объём работ достаточно большой.
247: Но есть ещё различные требования госта к кии, про которые мы уже говорили, и не превратит ли этот гост искусственный интеллект в закрытую экосистему без доступа.
248: К международным моделям и технологиям. Николай, тебе слово, но попрошу кратенько. Прям вот спасибо. Гос. Составлен, как я говорил, так, чтобы чётко все ориентироваться. Здесь другой момент. То, что все равно всегда государственная информационная система будет немножко закрыты.
249: Коммерческие будут открытыми, будет некое отставание, но это отставание там на год, на 6 месяцев можно перекрыть, используя какие-то дополнительные компоненты, обмениваясь опытом с китайскими коллегами и применяя уже российские передовые наработки. То есть важна скорость.
250: Нужно быстро быстро внедрять. И чем быстрее мы это делаем, сокращаем эти лаги и, может быть, выйдем уже дальше, сами будем обгонять все. А не будет ли вот это быстрое внедрение во вред безопасности? Спасибо за вопрос. Конечно, важно.
251: Формировать некое консенсус безопасность всегда fast секьюрити фест да, но тем не менее, скорость важна тоже и куда мы денемся. Поэтому здесь нужно на этапе разработки прям учить всех. Я сказал об этот тезис, что все должны знать б и б.
252: Должно проникать вот как методология ***. Вообще сейчас вот вы сами видите, на рынке труда даже что происходит больше всего, ***. Специалисты востребованы по многим градациям, там он острая нехватка, даже больше. Некоторые пишут, что мэлики это не значит, что иб
253: Отдельная сфера. Года 4 назад ещё 11% рынка вакансий в России было иб, сейчас 20%. И дальше будет доля расти. Это значит, что этот навык, он повсеместный. Значит, все должны учить. Все. Спасибо, Николай. Ну и
254: Блиц опрос в завершении блока просьба каждого высказать своё мнение по следующему вопросу как обосновать бизнесу возросшие затраты на разработку, связанные с соблюдением новых стандартов, какова цена?
255: А небезопасности. Сегодня, Даниил, я попрошу себя. Слава Богу, что мы занимаемся заказной разработкой. Для нас это всегда очень чёткий и понятный ответ. Заказчик увидел, что это требование. Он нам его выставил. Если мы его не выполним.
256: Мы не, мы потеряем доход, мы потеряем в целом клиента, мы все потеряем, поэтому здесь вот оно настолько фундаментально и просто. И я, кстати, благодарю на самом деле наше правительство за то, что мы наконец то имеем вот законодательную базу, на которой все это можно основать. Что
257: Как только она появляется, появляется требование в контактах, оно сразу в нас стреляет моментально, и нам ничего не остаётся, кроме как реагировать.
258: Спасибо, Лев. С точки зрения вендора тут аналогичная вполне история это и гостребования к той же рбпо, которые появляются. Это различные бизнес метрики, которые также можно бизнесу приносить. Это такие
259: Классический, как time to market, риски, определённые финансовые потери, которые можно получить там, если тебя ломанут. Особенно если это касается финтехов каких-нибудь, они все очень сильно боятся. За это репутационные потери трудо.
260: Затраты, которые ты тратишь, например, на устранение рисков уже в проде экономические какие-то показатели, например, тот же shift left, да, когда он внедряется, он значительно сокращает затраты на устранение рисков уже на
261: Более поздних этапов этапах. Так что это классические бизнес метрики, классические оценки рисков. Они обычно помогают бизнесу понять важность и ценность информационной безопасности. Спасибо.
262: Николай, ну, в принципе, коллеги все сказали, Лев очень хорошо сказал, но вот немножко дополню его мнение, что должны быть риски и ущерб. То есть мы оцениваем деньги, показываем заказчику деньги, не просто ущерб, а мультипликативный ущерб. Это когда мы говорим, вот это произойдёт. Вот.
263: Я вот это вот это сейчас рухнет и потом из за этого произойдёт ещё вот столько всего. И он в 3, в 4 раза больше этот мультипликатор делает нашу ставку. Все, когда ты показываешь заказчику, а я такой, о, оценивал сотни миллионов, показывал ценники и, конечно,
264: В этом плане уже сразу же реагируют и согласны спасибо большое, коллеги, есть вопросы из чата, как безопасно внедрить ии ассистентов, например, для автогенерации кода или Тестов все cd pipeline, чтобы исключить риски внедр.
265: Уязвимости или утечки секретов. Вот такой вот вопрос.
266: Прям гарантированно, безопасно, да? Хотите прям, чтоб вот точно, вот прям никуда ничего не ушло, не утекло, да? Ну, во первых, я от себя скажу чисто моё исключительно мнение, не претендую на истину в 1 инстанции, но опять же,
267: Как ибешник, как вот security ферст, опять же подход моделька должна быть локальной никогда в жизни я не поверю, что разработчики при общении с искусственным интеллектом вот прям.
268: Не допускают утечки информации. Никогда в жизни не поверю. Поэтому моделька должна быть наша, которая точно, абсолютно гарантированно данные не отдаёт. Естественно, естественно, там обучение, естественно, какие-то подходы.
269: Там повышение квалификации и так далее. Естественно, на работа не так я хочу. Поэтому, наверное, я отвечу так, что гарантировать безопасность на вот сегодняшнем вот рынке и в сегодняшних реалиях, ну, в целом,
270: Очень, очень сильно сложно, только если оно вот максимально ограничено максимально локально. То есть на 1 команде, например, внедрено либо на каком-то на 1 проекте, тогда это можно, это контролируемый процесс. Как только вы делаете это глобально на компанию у вас сразу же
271: Сыр увеличивает количество дырок своих просто экспоненциально кому-то добавить к тезису, что это должна быть локальная модель. Ещё какие-то рекомендации есть небольшая, может быть в принципе все правильно тоже.
272: Сказал, есть опыт у российских ведущих компаний, они им делились. Но я сейчас тоже не буду называть. Он есть вебинары на эту тему. Посмотрите, есть уже готовые решения, очень хорошие решения. Ребята готовы общаться, готовы делиться этим опытом. Вот это 1 из ведущих, так скажем, финтех компаний.
273: Наших, российских. И они действительно, вот как правильно сказал, когда это внедряли, они внедряли это ещё 2 года назад, они стали на 1 домене, проверили, все работает безопасно, там решение, ну, у них как бы, их облако, собственно, этой компании. То есть, ну, для них это локально до 4 компании.
274: Не сократилось. Да, да. Вот. Ну, в общем, и они это на 1 домене все нормально пошло, и у них прям код анализируется в режиме реального. Ееще подсказчик пишет, что там, как правильно этот код написать, почему там неправильно написано. И там действительно очень хорошо работае.
275: Такие решения есть. Я не рекомендую запускать это все делать собственными руками. Я рекомендую однозначно найти опыт, который уже внедрён, просто пообщаться. Рынок готов общаться. Айтишники все позитивные. Вперёд. Вот.
276: Спасибо, коллеги, на позитивной ноте с позитивными айтишниками переходим к следующему блоку.
277: К самому прагматичному блоку, где безопасность уже сталкивается с деньгами, со сроками и с кадрами, и
278: В 1 вопросе попросим николая прокомментировать безопасность или скорость, что выберет бизнес в условиях кризиса, готов ли бизнес реально замедлить тайм ту маркет ради соблюдения всех требований.
279: Безопасный разработки или безопасность закончится на 1 же дедлайне. И насколько, ну, как правило, это зависит от культуры компании. То есть, есть, конечно, компании, которые быстро, быстренько, быстренько, а потом мы уже доделаем. И потом никогда это не возвращается, этот вот
280: Технический долг, который остаётся, он, к сожалению, продолжает иметь место быть. И мы здесь можем столкнуться с огромными уязвимостями. В принципе, это потом им очень сильно аукается. Понятно, что если где-то сэкономил на информационной безопасности, потом в 10 раз дороже, уже на этапе про
281: Это все править. Ну, нужно это делать, нужно ускоряться и ускоряться как можно больше ускоряться эффективно с помощью, ну, в то же время вот какого-то искусственного интеллекта с помощью лучших практик непрерывно повышать квалификацию. Здесь был момент, сказали мы, да, о том,
282: О том, что будет ли компетенции разработчиков падать во первых, по трендам, по вакансиям на хедхантере на хабре, мы видим, что требования к it специалистам растут, мы понимаем, что сейчас на рынке пробка джунов, и давайте говорить прямо вакансии, которые 3 года назад
283: Ещё можно было, ну, зайти там полгода, поучиться что-то сделать сейчас, чтобы стать айтишником, начинающим нужно лет 5, может быть, 3 года готовиться. Это естественный процесс. В Китае есть статистика, как и в России тоже, что люди учатся там в прошлом веке, там.
284: Учились в среднем дополнительно, там 2 часа в неделю, потом там 4 часа. Сейчас уже нужно учиться чуть ли не каждый день, я уверен, и здесь и специалисты сидят очень грамотные ребята. Каждый день вы учитесь, правильно же? Я вот каждый день учусь без выходных, без праздников, без нового года, потому что сейчас
285: Такое время, илон маск уже, по моему, я так понимаю, вот нейрочипы все, давайте включим и давайте уже туда знания подкачивать. Происходит вот такая ситуация и это значит, что мы должны непрерывно вот это все ускоряться и, ну тут не избежать ускорения, поэтому бизнесу
286: Нужна скорость. Вот, наверное, из своего опыта добавлю, что пока что процесс вот этого
287: Выбора между time to маркеттом или все-таки принятие рисков, когда в компании появляется выделенный человек, который принимает это решение, такая роль бизо да бизнес информейшен секьюрити офицер на самом деле не част.
288: Я её встречаю, но где встречаю именно этот человек и. И бизнес должен понимать, что он наделён определёнными правами, как и остановить сборку, выкатку нового релиза.
289: Так и безопасность должна понимать, что это именно тот человек, который принимает риски и принимает и принимает также ответственность за работу в дальнейшем с техническим
290: Долгом и пока нету вот такого независимого человека, который вроде бы и не за безопасность вроде бы и не за it, и не за бизнес, а с другой стороны, за все сразу и нету у него.
291: Упора больше в какую-то 1 из областей. Вот с таким человеком, конечно, жить становится. Кажется, что проще. Ну да, Евгений, допустимый уровень риска, то, что вы сейчас сказали, да, да. То есть согласовал с бизнесом безопа.
292: Достигли его. Идём дальше, пусть остаётся технический долг. Согласен. Если мы продолжаем говорить про тайм ту маркет, то использование опенсорса, конечно, ускоряет разработку программного обеспечения, но учитывая новые требования,
293: 117 и для кии не проще ли вообще запретить использование опенсорс библиотек, чем пытаться проверить их все на наличие закладок и уязвимостей? Справится ли наша индустрия без
294: Khabar Лев тебе да ну полностью отказаться от опенсорса я думаю это будет очень дорого любой разработки все-таки напомню, зачем мы все используем опенсорс это сокращение собственных ресурсов на разработку, да, когда уже какие-то
295: Готовы, допустим, функции фичи у нас уже готовые лежат. Мы просто берём их готовые, поэтому полностью отказаться от опен Сорса. Мне кажется, это на самом деле нереалистично, очень дорого. Да и мало кто из компаний сможет себе позволить такую
296: Дорогую разработку. Что касается отказа от гитхаба, гитхаба, гитлаба, кто тебе больше в целом в целом на русс? На нашем рынке российском есть уже аналоги, да, тут 3.
297: Аналога, наверное, готов назвать, но лучше не буду, чтобы не дай Бог, вдруг кого забуду, чтоб не обидеть. Наверное, я пока не готов говорить о том, насколько хорошо они заменяют зарубежные аналоги. Я бы дождался каких-то отчётов.
298: Чтобы посмотреть, да, сколько все-таки российских компаний действительно на них перешли. Ну, поэтому тут, наверное, в целом разговор про отказ от опенсорса, вот все-таки, что дороже проверять.
299: Специализированные инструменты, покупать инструменты композиционного анализа может быть лучше на эти же деньги нанять разработчиков, которые будут переписывать опенсорс. Да нет, конечно, проверить композиционный явно дешевле, чем нанимать.
300: Огромную, раздутую, огромный раздутый штат разрабов, которые будут просто сидеть и переписывать уже существующее, и к тому же не факт, что, переписывая существующее, они не перенесут те же уязвимости, которые в этом уже существуют.
301: Щем находится вот это, наверное, это очень важный, да, тезис, да, что создание собственных библиотек вполне возможно, что принесёт ещё больше проблем, чем использование тех, которые комьюнити хоть как-то смотрит, хоть как
302: Проверяет, но как будто бы снижаются риски с цепочками поставок. Ну, снижая риски, цепочки поставок, в этом случае ты подвергаешь себя совсем уже другим рискам. Ну и как бы
303: Цепочка поставок чисто технологически проверяется то довольно просто те же саплай чейн практики это, по сути, proxy firewall, который просто перехватывает запрос на компонент, компонент проверяет тут же отдаёт тебе ответ это быстрая практика.
304: Она не сложная. И, ну и в реализации, и в использовании это довольно простая практика. И как бы не сказал бы, что какие-то прям сложности она приносит в жизнь компании. Окей, спасибо, Лев.
305: И в целом, продолжая вопрос, продолжая тему, точнее, с безопасностью цепочек поставок. Это же не только композиционный анализ, да, это целый процесс, начиная от того, что надо защищать и системы разработки, и как-то работать с по
306: Программного обеспечения. А вот что нам делать с безопасностью цепочек поставок для эмэль, особенно учитывая, что инструментов как таковых, то для этого нету. И берём
307: Мы эти датасеты, непонятно откуда данные берём, непонятно откуда. Ну, если честно, да, элементарно. Эмэль сбом, даже непонятно, на основании каких, какого стандарта то делать. У, Сидик Гена, вот недавно
308: Смотрел на сайте, у них появилась страничка с бомом эмэль бомом. Извините, но не написано никакие данные, ничего. Говорят, мы вроде умеем, но никому не расскажем, как вот, Николай, что ты тут думаешь. Спасибо за вопрос.
309: Тоже вопрос очень, конечно, важный. Были инциденты, мы знаем инциденты с библиотеками, то есть известными, причём и причём их выпускают люди, обучают на них модельки, да, не будем тоже их называть, но все их знают, эти инциденты. И вот весной, допустим,
310: В мае 25 года, спустя несколько месяцев, там после выходки только вот китайский исследователь 1 нашёл уязвимость резко и все. И когда это происходит буквально на весь мир, сразу новость пролетает. И у нас есть несколько часов буквально, чтобы защитить
311: Наши системы от вот этих атак на цепочку поставок, потому что это исправляется потом, как правило, только какими-то костылями до получения обновления этой библиотеки, которая вот была атакована, найдена уязвимость. А так злоумышленники узнают, они, конечно же, бегут атаковать, они
312: В чем эта история и так далее. Здесь очень важно, конечно, брать все данные из доверенных источников. Датасеты должны быть проверены. Как правило, они, когда хранятся, там хэш, с ними хранится или какая-то цифровая подпись, мы должны их получать, мы их должны сами лишний раз проверять.
313: При хранении мы их должны тоже там обеспечивать. Опять же были инциденты. 1 известнейшая платформа, которую все знают, и там находилась вот моделька, и она оказалась отравленная. И что здесь может быть как рекомендация, если есть какое-то подозрение или неувер,
314: Можно напрямую связываться с поставщиком модели машинного обучения, которую вы хотите взять и вместо мену эту платформу прям напрямую получить у них необходимый код, и они, как правило, готовы делиться. Это все. Вот если они в открытом репозитории разместили, это все бесплатно происходит. Ну конечно.
315: Анализы уязвимости. Все идёт точно также и очень важно также понимать, что когда мы работаем с любым источником данных, во первых, может быть риск того, что это нехватка источников. Во вторых, регулярно проверяем. В третьих, сейчас компании используют источники данных
316: Поставщики синтетических данных данных уже ограничено. Модели требуют все больше данных. Слышали Салман, илон маск, заявляли, что данных в мире закончились. Вот, и поэтому компания генерит синтетику, в том числе, чтобы избежать так называемых adversaries состязательных атак, когда мы
317: Потому что примерный образец на модель, и она нам выдаёт нечто другое, то есть подобное, да, через небольшое изменение информации на входе с помощью специальных алгоритмов. И здесь очень важно, конечно, проверять эти всех этих поставщиков, относиться всегда принципа.
318: Каждый раз проверяем эти источники, как будто бы это нечто новое. Ну, тут масса можно назвать. То есть я не буду. Спасибо, Николай. Ну тут, да, тут довольно широкий, хороший ответ. Ну, в целом, знаю, что ещё регулятор у нас сейчас делает подходы как раз-таки.
319: Безопасности Эмеля к безопасности альбомов. Ну, тут мы, наверное, с точки зрения регуляторки. Вот то, что можно добавить. Тут, наверное, нам надо ждать первичных каких-то результатов от собственно, наших органов для того, чтобы понять куда
320: Ещё законодательно все это будет двигаться. Коллеги, спасибо.
321: И в завершении блока такой тоже экспресс вопрос, а всем ли вообще подвластен вот этот вот сдл? Могут ли небольшие команды финтех стартап?
322: Вообще выжить под гнётом вот этих вот всех новых требований.
323: Государственных органов или теперь вот разрабатывать программное обеспечение и продавать его в крупный бизнес. Это все-таки игра для таких крупных больших тяжеловесов и госкорпораций.
324: Ну, давай, Даниил, как представитель 1 из такой компании, что ты тут считаешь? Да, здесь на самом деле большой вопрос в рынке. В какой рынок вы хотите выйти с тем багажом?
325: Которые у вас есть. То есть мы прекрасно понимаем, что для каких-нибудь местечковых фирм, которые делают разработки там, каких-нибудь там лендингов, может быть у них какие-то странички сайтики, портфолио, им вот этот вот
326: Cycle безопасный, он вообще не интересен. Они потратят на него деньги, потратят на него ресурсы. А клиентам, которым они продают свои потом услуги, им тоже оно не надо, потому что никто не будет.
327: Взламывать страничку, на которой просто контактные данные там какого-нибудь beauty агентства, соответственно, свой рынок, такие маленькие стартапики они найдут, в любом случае останутся, в любом случае будут делать, когда уже эти стартапики захотят.
328: Выходить на более широкий горизонт, вот тогда у них начнётся челлендж, тогда они начнут уже понимать, что игроки, которые рядом с ними то сидят, они уже и про композиционный анализ подумали, и про даст, подумали и про фаззинг уже.
329: Подумали и уже про сертификацию безопасной разработки подумали. И уже вот на таких вот общих равных они уже не вывозят. Поэтому каждый раз, когда речь идёт про апгрейд, апгрейд должен идти ещё и внутренний, а не
330: Только на той рынок, который ты идёшь. Поэтому, ну, консолидируя ответ, я, наверное, скажу, что стартапики в целом выживут, просто они будут не рядом с госкорпорациями, крупными компаниями, то есть все равно разработ.
331: Таких вот требований от регуляторов приводит к расслоению. Я согласен абсолютно, да, потому что когда мы видим новые требования, то есть это на самом деле не только иб имеет
332: Значение это вот недавний закон, ну, относительно недавний, про электронную подпись очень яркий пример того, как у нас позакрывались удостоверяющие центры, потому что они не выполняли требования по, по марже, соответственно, просто
333: Всех маленьких игроков это закрыло намертво. Они либо стали дочками каких-нибудь больших компаний, либо просто ушли с рынка. И то есть вот в целом, я думаю, что эта картина, она будет примерно такой же. Очень интересно. Давайте тогда все тоже выскажу.
334: Слушай, а я, наверное, немножко противоположную точку зрения выскажу. Я бы, наоборот, похвалил регулятора, потому что регулятор то он не придёт к тебе с проверками, если ты пишешь блокнотик на сайте.
335: Он придёт к тебе, когда ты работаешь уже с непосредственно, ну, критичными данными, критично важными данными. И если ты финтех стартап, а, ну, в таком случае данные у тебя совсем не уровня блокнотика на веб страничке, ну,
336: Будьте добры, соблюдайте нормативы, будьте добры, заложите тогда в бюджет, а уж тем более, если финтех стартап, скорее всего, у него есть какое-то финансирование, ну, стороннее, да, какие-то инвесторы, ну, при запросе на инвестиции можно также
337: Собственно, заложить туда бюджет на иб. А как вы пойдёте на собственно свою собственную сертификацию? Дальше, если вы не соответствуете стандартам, я бы наоборот поддержал эту историю в плане того, что это действительно
338: Полезная история. Усложнит ли это жизнь? Ну, вероятно, каким-то финтех стартапам придётся где-то найти дополнительные денежки, но здравый смысл как будто бы говорит, что это все полезно, потому что если вы не будете
339: Соответствовать этим нормативам и требованиям, которые придуманы были тоже не просто так. Есть вероятность, что ваш финтех стартап закроется как бы по причинам не несоответствия требованиям, а, например, по причине того, что вас взломают.
340: И порушат там вообще абсолютно все, потому что, прости, добью фразу, потому что организации уровня финтехов, они представляют собой повышенный интерес. Ну, опять-таки, тот же блокнотик не интересен. Ха.
341: Ему интересно что-то уровня финтеха, а ты не слышал про последнюю уязвимость в блокноте? Какую именно нашли уязвимость, что специально сгенерированную ссылку если запустить через блокнот, то появляется рц не пропустил как-то надо.
342: Подписываться, подписывайтесь, подписывайтесь на группу цсб, там все эти новости есть. Ну и подводя коллеги, подводя итог по данному вопросу,
343: Наверное, там, тут с вами соглашусь, что если компания разрабатывает программное обеспечение для значимых объектов критической информационной структуры, для fine отрасли, для государственных информационных систем, где риски действительно
344: Велики и как бы не хотелось бы, может быть, эту избитую фразу говорить, но где-то они написаны кровью, соответственно, и требования для таких компаний соответствующие.
345: Соответствующее. Ну и тут либо будет продолжаться какое-то расслоение между смб и энтерпрайзом, ну либо смб будет на сайтиках зарабатывать.
346: Зарабатывать, накопит и купит какой-нибудь композиционный анализ, да, например, инструмент. Потом ещё заработает статический анализ. Но это все шутки шутками, конечно. К сожалению, на часть вопросов мы ответить не успели.
347: Обязательно подготовим совместно с коллегами ответы на вопросы.
348: Вижу, что да, вопросы, на которые мы не успеваем ответить в эфире мы их соберём и ответы вам всем направим. Ну и всем безопасного. Завтра. Всем спасибо за эфир, за ваши вопросы. До новых встреч.
349: Спасибо. Спасибо.