форкастирование что это такое
Что такое форкастинг и почему он является важным процессом для малого бизнеса
Форкастинг – это довольно новый термин в предпринимательстве. Дословно он переводится как прогнозирование или предвидение, и сейчас как никогда важен именно для малого бизнеса во всем мире.
В сложные времена прогнозирование может показаться бесполезным делом, ведь предсказать будущее состояние дел, в частности сейчас, довольно сложно. Тем не менее, заглядывая наперед, невозможно подготовиться к худшему или наоборот лучшему сценарию развития вашего предприятия.
Форкастинг не должен вызывать ужас и неприятие. Существуют простые способы спланировать будущее вашего бизнеса, даже при серьезной неопределенности, вызванной глобальной пандемией COVID-19.
Что такое форкастинг
Форкастинг является процессом анализа прошлых и нынешних данных, показателей отдельного предприятия, а также тенденций рынка для предсказания финансовых результатов деятельности компании в будущем.
Форкастинг позволяет оценить, сколько дохода предприниматель сможет получить за определенный промежуток времени и какие шаги для этого необходимо сделать.
Этот процесс несколько отличается от планирования бюджета компании, хотя и происходит параллельно. Форкастинг только предусматривает финансовые результаты, когда бюджет компании четко описывает все возможные доходы и расходы предприятия и является исключительно одним утвержденным документом.
Почему делать форкастинг важно
Как начать форкастинг малого предприятия
Существует два общих метода форкастинга. Выбрать один из них стоит в зависимости от того, насколько долго существует ваше предприятие:
Что следует учитывать
Необходимо помнить, что худшие прогнозы могут посеять тревогу или показать абсолютную нерентабельность вашего бизнеса. В таких случаях, не стоит опускать руки или падать духом. Форкастинг должен стать не страшной историей, а общим инструментом, который поможет вам эффективно управлять собственным делом и быть готовым к самым непредсказуемым развитиям событий.
Как я за год победил откаты на предприятии
И теперь экономлю 15 млн рублей в год
В 2013 году я возглавил крупную строительную компанию в Краснодаре — «Анод-плюс».
До этого я три года работал в ней же главным инженером и с закупками напрямую не сталкивался. Когда я стал гендиректором, у меня в подчинении появился отдел снабжения, который занимается закупкой стройматериалов, инструментов и тому подобного.
Я начал разбираться с тем, как организованы поставки, и общаться с контрагентами. Выяснилось, что нам часто продают товары по завышенным ценам.
Я решил победить откаты. У меня получилось.
Как снабженцы берут откаты
На рынке стройматериалов жесткая конкуренция: поставщикам важно найти и удержать клиентов любой ценой, тем более таких крупных, как мы. Что и у кого покупать, часто решает конкретный сотрудник отдела снабжения. Если удастся с ним договориться, дав откат, то поставщик гарантированно получит клиента. Причем заработать получится больше, чем в обычном случае, ведь «своему» снабженцу можно продать стройматериалы по завышенным ценам.
Откаты дают не обязательно деньгами. Я знаю случаи, когда дарили Айпад или подарочную карту на 10 тысяч рублей в парфюмерный магазин.
Снабженцам, которые давно работают, не надо каждый раз договариваться о взятке с контрагентом. У них имеются свои проверенные поставщики, работа с которыми давно отлажена. Например, сотруднику платят ежемесячно фиксированную сумму — фактически вторую зарплату. Такие «оклады» стартуют от 5 тысяч рублей. Могут и просто выплачивать процент от сделки — от 5 до 20%.
Например, один из наших специалистов во всех регионах заказывал у одного и того же поставщика расходные материалы — шлифовальные круги, электроды, сверла. Подобными товарами торгуют многие крупные сети, например «Сатурн», «220 вольт», «Все инструменты». Но снабженец уверял, что именно его поставщик предлагает самые низкие цены. Но на деле оказалось, что это не так и можно было покупать дешевле.
Обнаружить закупки по завышенным ценам хоть и тяжело, но все же можно, а вот доказать сговор просто нереально. Снабженец начинает говорить, что у него мало опыта в закупках именно этого товара. Поставщики, в свою очередь, уверяют, что случайно выставили завышенную цену. Все извиняются — и делают вид, что произошла ошибка.
Признаваться в сговоре никому не выгодно: снабженца могут уволить, а поставщик потеряет гарантированного клиента. А еще за это вообще-то положена уголовная ответственность по УК РФ: можно получить большой штраф или даже сесть в тюрьму. Поэтому сотрудники обычно говорят что-то вроде «у этой фирмы лучше качество», «поставщик повысил стоимость за срочность и мне не сказал». Самая популярная отговорка: «Я не знаю, почему он потом дал скидку».
Снабженцы понимают, что доказать ничего нельзя — за руку никого не поймаешь. Поэтому проще признаться в собственной глупости, чем в жадности. Единственное, что остается руководителю, — выявлять случаи завышения цен и бороться с ними.
Как я узнал, что мы за все переплачиваем
Когда я возглавил фирму в 2013 году, завышенные цены не были большой проблемой. На тот момент мы не строили столько объектов, сколько строим сейчас. Поставщиков было немного, около сотни, а тех, кто продавал нам материалов больше чем на 100 тысяч рублей, — и вовсе пара десятков. О ценах договаривались лично топ-менеджеры.
С годами компания росла, увеличивалось количество заказов и, соответственно, закупок. Где-то к 2016 году счет поставщиков пошел уже на тысячи, договариваться со всеми лично стало физически невозможно. Пришлось проводить точечные проверки работы снабженцев.
В нашей компании работает специалист службы экономической безопасности. Я выборочно давал ему счета на проверку. Он смотрел на цены, которые предложил контрагент, звонил ему под видом клиента и спрашивал, за сколько можно купить такой же товар. Но оказалось, что такой способ не эффективен. Поставщики часто выставляли счета на еще большие суммы: либо пытались заработать на новом клиенте, либо думали, что звонит новичок-снабженец, которому можно предложить максимальную цену.
Еще специалист по безопасности искал других поставщиков с более низкими ценами. Такая проверка тоже часто не срабатывала. На рынке стройматериалов много перекупщиков — компаний, которые закупают товары напрямую у производителей, а потом продают дороже. Безопасник не снабженец, он не знает, как отличить прямого поставщика от такого посредника. Если просто вбить в поисковике «купить кабель», с большой вероятностью наверху окажутся именно перекупщики. Цены у них выше, чем у производителей, даже с учетом откатов снабженцам.
Более действенный способ — отдать счет на проверку другому снабженцу и попросить его найти такие же материалы, но дешевле. Главное, чтобы этот человек не был никак связан с вашими сотрудниками. Ведь коллеги могут просто прикрывать друг друга. Я обычно обращался к своему знакомому — тоже директору строительной фирмы. Счета проверял его отдел снабжения. В большинстве случаев проверка показывала, что мои подчиненные завысили цены.
С 2016 по 2018 год мы выявляли 20—30 таких счетов с завышенными ценами ежегодно. Но так как проверки проводили выборочно, я стал подозревать, что на самом деле случаев было сильно больше. Стало ясно, что откаты — системная проблема и решать ее тоже надо системно.
Р » loading=»lazy» data-bordered=»true»>
Способы, которые мне не подошли
Проводить открытую закупку материалов — это значит выкладывать на сайте компании цены поставщиков и искать таким образом контрагентов с более низкими ценами. Но, к сожалению, в нашей компании так поступить не получилось бы. Почти всегда по условиям договоров с заказчиками мы не имеем права разглашать стоимость материалов, которые используем в строительстве. Такой способ подходит крупным организациям, которые используют закупаемые материалы для себя, а не выступают как подрядчики.
Показательно наказывать снабженцев при малейшем подозрении. Это самый легкий путь, но он не решает проблему системно. Ведь так руководитель борется не с причиной коррупции, а со следствием. Я через это прошел: неоднократно срезал премии сотрудников, завышающих цены. Одного даже показательно уволил, когда знакомый поставщик рассказал, что снабженец пытается договориться об откате. Оказалось, санкции и запугивания работают один-два месяца, после этого все начинается снова.
Единая база поставщиков и цен
С 2016 по 2018 год я безуспешно выборочно анализировал счета, которые выставляют снабженцы, наказывал провинившихся, но это не помогало. В итоге я понял, что надо избавиться от человеческого фактора в выборе поставщика. Я решил внедрить в отделе снабжения информационную систему, которая будет автоматически выбирать контрагента с самой низкой ценой.
Если сильно упростить идею, то она выглядела так: я решил взять все накладные на материалы, которые мы покупали за последние два года, и внести поставщиков и их цены в одну большую базу данных. Чтобы сразу было видно, что и сколько у кого стоит. Так легко можно выбрать самое дешевое предложение.
Свою систему мы решили создать на базе программы «Алтиус» — это специализированная ЦРМ для строительных компаний. Теоретически можно было бы попробовать сделать все и в 1С, но потребовалось бы много доработок.
Сама программа «Алтиус» обошлась в 270 тысяч рублей — мы купили систему на 10 рабочих мест. Еще 160 тысяч ушло на доработку конкретно под наши задачи: например, программисты добавили возможность ранжировать поставщиков по накладным, а не только по прайс-листам.
я потратил на покупку и доработку программного обеспечения
Чтобы внести все материалы, цены и поставщиков в базу данных, понадобилось полгода. Следующие полгода я боролся с отчаянным сопротивлением сотрудников отдела снабжения во главе с начальником подразделения. Они всячески старались убедить меня, что программа работает с ошибками и вообще бесполезна.
Сотрудники даже объявили, что не могут и не будут пользоваться новой программой. Пришлось проводить еженедельные часовые совещания для всего отдела снабжения, на которых я объяснял, зачем нужна программа.
Все время, пока шла эта борьба, мы параллельно продолжали унифицировать базу данных — это касалось не только названий, но и единиц измерения. Например, встал вопрос, в чем считать стальные мачты, на которые крепятся прожекторы. Оказалось, что лучше считать их не в штуках, а в тоннах: мачты имеют разные размеры и цена чаще всего зависит именно от тоннажа.
Я издал приказ, в котором обязал снабженцев пользоваться новой системой под угрозой отмены премий. Кроме наказания, ввел и премии для тех сотрудников, которым удавалось купить стройматериалы по цене ниже, чем выдавала программа.
Помимо этого, на предприятии появилась должность специалиста по контролю цен, который подчинялся напрямую генеральному директору, то есть мне. Им стал тот самый бухгалтер, который создавал базу данных.
Как работает программа
Эти данные попадали к снабженцу. В его задачу входило сделать запрос минимум трем поставщикам с самыми низкими ценами из списка, устроить торг между ними и добиться скидок. Если получалось снизить стоимость товара — компания экономила. Эта экономия потом превращалась в премию для снабженца. Правда, сотрудник получал не все сэкономленные деньги: премию рассчитывали на основе специально созданной системы мотивации.
Если цена закупки оказывалась выше минимальной из базы данных, то снабженец бонусов не получал. Если в течение месяца больше половины счетов этого специалиста снабжения были с таким перерасходом, у него и начальника отдела срезали премию.
При такой схеме работы снабженец уже не мог никого обмануть. К каждому счету, который идет на оплату, специалист по контролю прикладывал выгрузку из базы с минимальными ценами. Если в счете завышенная цена, это сразу было видно. Договариваться с контролером снабженцу тоже не имело смысла: создать такой же отчет в базе, чтобы проверить цифры в выгрузке, может любой другой сотрудник компании.
Я исходил из того, что хороший снабженец всегда может купить материалы по ценам ниже, чем указаны в нашей базе. Пока моя теория работает. Что касается инфляции, возможно, в будущем мы пересмотрим стоимость каких-то товаров в списке, но только после того, как купим их хотя бы один раз. Исправить что-то в базе данных, например изменить цены, можно только по моему специальному разрешению.
За год применения программы закупочные цены на некоторые товары снизились на 3—25%. Например, сэндвич-панели мы теперь покупаем дешевле на 10% и экономим около 500 тысяч рублей в год. В целом, по моим оценкам, за год на закупках удалось сэкономить до 15 млн рублей.
Живая вода: пять прогрессивных технологий очистки
По оценкам ООН, к 2050 году на Земле будут жить 9,8 млрд человек. Изменение климата, а также развитие сельского хозяйства и промышленности для удовлетворения потребностей постоянно растущего населения приведут к серьезному сокращению доступных водных ресурсов.
Согласно исследовательскому проекту WaterAid, 60% населения планеты уже сейчас живет в районах, где водоснабжение не может или скоро прекратит удовлетворять спрос. Водный кризис наиболее болезненно проявляется на Ближнем Востоке, в Центральной Азии и Северной Африке.
Россия в рамках прогнозного горизонта 2040 года находится в зоне низко-среднего риска.
Главные тренды рынка
Как развитые, так и развивающиеся страны сталкиваются с одной общей проблемой — ростом объемов промышленных и городских сточных вод. Это, в свою очередь, побуждает разработчиков из разных стран к поиску новых и все более совершенных технологий очистки воды.
Традиционные методы очистки включают использование адсорбентов, обратного осмоса, ионного обмена и электростатического осаждения. Их недостатки — высокая стоимость, плохая возможность повторного использования и низкая эффективность. Несмотря на прогресс, достигнутый в разработке новых технологий за последнее десятилетие, их использование ограничено в основном из-за свойств материалов и стоимости.
Негативно повлияла на рынок пандемия COVID-19. Но она же привела к появлению новой технологии, которая позволяет обнаружить коронавирус в сточных водах. Метод позволяет измерить присутствие РНК-генетического материала SARS-CoV-2 (рибонуклеиновая кислота) в человеческих фекалиях в системе сбора сточных вод. Исследования в Нидерландах показали связь между объемом вирусного материала в сточных водах и количеством случаев заражения в данном районе и помогают отслеживать эпидемиологическую ситуацию и эволюцию вирусов. Эта методика была также протестирована в 2020 году в более чем 40 штатах Америки, причем в университете Аризоны помогла предотвратить вспышку коронавируса, где выявили двух человек с бессимптомным течением болезни.
Перечислим пять наиболее инновационных, по нашему мнению, технологий очистки воды.
1. Мембранное разделение
Это давний и популярный метод очистки воды от примесей и загрязнителей. Есть много технологий, которые работают как фильтр: пропускают воду через пленку с микроскопическими отверстиями. Вода проходит, а загрязняющие частицы застревают на мембране.
Методы современного мембранного разделения, такие как обратный осмос (удаляет частицы даже размером 0,001-0,0001 мкм — соли жесткости, сульфаты, нитраты, ионы натрия, красители и т.д.), могут очистить воду от 99,5% примесей. Но для этого размер пор должен быть менее микрона. Основной недостаток технологии — высокая стоимость обслуживания (мембраны часто забиваются).
2. Облучение
Как следует из названия, этот процесс основан на воздействии радиации на сточные воды, чтобы уничтожить органические загрязнители. Источники излучения — от гамма-лучей до ультрафиолетового света.
Облучение обычно используют для обеззараживания, но некоторые методы, например, ионизирующее облучение, в сочетании с добавлением озона или перекиси водорода улучшают эффективность разложения органических примесей, включая пестициды и фенолы.
Современные системы УФ-обработки предлагают применять светодиодные лампы. Сейчас такие лампы начинают активно внедрять в коммунальном секторе, а также используются NASA в космических разработках агентства.
Второй способ — это гидрооптические технологии. Они позволяют использовать несколько раз энергию фотонов, так как ультрафиолетовые лучи отражаются от стенок кварцевой камеры. Это повышает эффективность дозы УФ-облучения для уничтожения сложных вирусов, например, коронавируса или аденовируса.
Артур Душенко, главный инженер VODACO, Россия:
«Вирусы и бактерии, поступающие в водоемы со сточными водами, в дальнейшем могут попадать в системы коммунального водозабора на том же водоеме. Современные системы реагентной дезинфекции с использованием гипохлорита натрия или жидкого хлора не способны обезвредить все бактерии, так как многие из них, такие как Cryptosporidium или Giardia (криптоспоридии или лямблии. — РБК Тренды), устойчивы к воздействию хлора так же, как и сложные формы вирусов — аденовирус и коронавирус (как яркий пример — SARS-CoV-2).
Системы УФ-дезинфекции на базе технологии HOD UV обеспечивают дозу воздействия на данные микроорганизмы в 120 mJ/cm2 и выше — это необходимое условие для обезвреживания вируса, разрушения цепочки РНК и угнетения способности к восстановлению. В России стандарт воздействия ограничен на законодательном уровне — 30 mJ/cm2».
3. Очистка наночастицами
Люди давно используют такие вещества, как древесный уголь, для очистки воды путем адсорбции. При очистке наночастицами используется та же механика, но с частицами в наномасштабе. Различные типы наноматериалов — металлические наночастицы, наносорбенты, биоактивные наночастицы, нанофильтрационные (NF) мембраны, углеродные нанотрубки (УНТ), цеолиты и глина — оказались эффективными материалами для очистки сточных вод. Их использование устраняет пестициды и тяжелые металлы в воде. Углеродные нанотрубки также рассматривают как прорывную технологию для опреснения морской воды до стадии питьевой. Основной недостаток технологии — стоимость.
4. Биоаугментация
Органический способ очистки представляет собой добавление в воду смеси микроорганизмов, которая разрушает и удаляет загрязнения. Эти микроорганизмы включают ферменты и безопасные бактерии, которые естественным образом разлагают загрязняющие вещества, такие как масла или углеродные продукты. Но биоаугментация может влиять на экосистему микрофлоры и, как следствие, нарушать процесс очистки. Поэтому эту технологию пока нельзя использовать для получения питьевой воды.
5. Мембранная биоаугментация
Мембранные биореакторы (MBR) — гибридная технология, которая включает мембранное разделение и биоаугментацию. Сточные воды после биологической очистки при помощи активного ила подают в емкость, называемую биореактором. В этой емкости располагаются мембраны, которые разделяют сточные воды на два потока — активный ил, используемый повторно для биологической очистки, и чистую воду.
На рынке представлены два основных типа MBR — это системы с вакуумным (или гравитационным) потоком и системы под давлением. Вакуумные системы погружаются в воду и имеют мембраны, установленные либо внутри биореакторов, либо в последующем резервуаре. Второй тип MBR, где поток управляется давлением, представляет собой внутритрубные картриджные системы, расположенные вне биореактора.
Преимущество мембранной биоаугментации — небольшая площадь для биологической очистки. MBR-реакторы увеличивают мощность очистных сооружений без увеличения площади конструкций.
Ольга Рублевская, директор Департамента анализа и технологического развития систем водоснабжения и водоотведения ГУП «Водоканал Санкт-Петербурга»:
«Нева — это основной источник водоснабжения в Санкт-Петербурге. Благодаря программе прекращения сброса сточных вод без очистки в Неву и Финский залив в 2021 году уровень очистки достиг 99,5%. К 2030 году весь объем стоков будет перерабатываться на очистных сооружениях. Сейчас наша технологическая схема очистных сооружений состоит из механической, химической и биологической очистки.
Так как в Санкт-Петербурге нет дефицита воды, то в городе нет ни вторичного использования очищенной воды, ни планов по применению таких технологий».
Необходимость через отвращение
Повторное использование сточных вод для орошения и других непитьевых целей стало обычным явлением и существует уже не одно десятилетие. Так, например, в Израиле, почти 90% сточных вод страны используется повторно в сельском хозяйстве.
Для доочистки сточной воды до состояния питьевой необходима надежная технологическая схема, которая включает как минимум пять стадий. Повторно используют очищенные сточные воды питьевого качества Австралия, Сингапур, Намибия, Южная Африка, Кувейт, Бельгия, Великобритания и США (штаты Калифорния и Техас). В этих странах очищенной водой пополняют подземные или поверхностные водные источники (плотины).
Речная вода, используемая в различных городах для производства питьевой воды, содержит в себе большие объемы сточных вод. Переработанная вода безопасна для питья, но некоторые люди не могут преодолеть чувство отвращения. Периодически во всем мире проходят акции по преодолению психологических барьеров. Так, основатель Microsoft Билл Гейтс выпил стакан жидкости, которая была переработана из человеческих фекальных масс в питьевую воду по технологии Omniprocessor Фонда Билла и Мелинды Гейтс. А французская компания Veolia запустила в Чехии совместный проект с пивоварней Čížová, которая из переработанных стоков сварила пиво.
AI для людей: простыми словами о технологиях
Представляем исчерпывающую шпаргалку, где мы простыми словами рассказываем, из чего «делают» искусственный интеллект и как это все работает.
В чем разница между Artificial Intelligence, Machine Learning и Data Science?
Artificial Intelligence — AI (Искусственный Интеллект)
В глобальном общечеловеческом смысле ИИ — термин максимально широкий. Он включает в себя как научные теории, так и конкретные технологические практики по созданию программ, приближенных к интеллекту человека.
Machine Learning — ML (Машинное обучение)
Раздел AI, активно применяющийся на практике. Сегодня, когда речь заходит об использовании AI в бизнесе или на производстве, чаще всего имеется в виду именно Machine Learning.
ML-алгоритмы, как правило, работают по принципу обучающейся математической модели, которая производит анализ на основе большого объема данных, при этом выводы делаются без следования жестко заданным правилам.
Наиболее частый тип задач в машинном обучении — это обучение с учителем. Для решения такого рода задач используется обучение на массиве данных, по которым ответ заранее известен (см.ниже).
Data Science — DS (Наука о данных)
Наука и практика анализа больших объемов данных с помощью всевозможных математических методов, в том числе машинного обучения, а также решение смежных задач, связанных со сбором, хранением и обработкой массивов данных.
Data Scientists — специалисты по работе с данными, в частности, проводящие анализ при помощи machine learning.
Как работает Machine Learning?
Рассмотрим работу ML на примере задачи банковского скоринга. Банк располагает данными о существующих клиентах. Ему известно, есть ли у кого-то просроченные платежи по кредитам. Задача — определить, будет ли новый потенциальный клиент вовремя вносить платежи. По каждому клиенту банк обладает совокупностью определенных черт/признаков: пол, возраст, ежемесячный доход, профессия, место проживания, образование и пр. В числе характеристик могут быть и слабоструктурированные параметры, такие как данные из соцсетей или история покупок. Кроме того, данные можно обогатить информацией из внешних источников: курсы валют, данные кредитных бюро и т. п.
Машина видит любого клиента как совокупность признаков: 
. Где, например, 
— возраст, 
— доход, а 
— количество фотографий дорогих покупок в месяц (на практике в рамках подобной задачи Data Scientist работает с более чем сотней признаков). Каждому клиенту соответствует еще одна переменная — 
с двумя возможными исходами: 1 (есть просроченные платежи) или 0 (нет просроченных платежей).
Совокупность всех данных 
и — есть Data Set. Используя эти данные, Data Scientist создает модель 
, подбирая и дорабатывая алгоритм машинного обучения.
В этом случае модель анализа выглядит так:
Алгоритмы машинного обучения подразумевают поэтапное приближение ответов модели к истинным ответам (которые в обучающем Data Set известны заранее). Это и есть обучение с учителем на определенной выборке.
На практике чаще всего машина обучается лишь на части массива (80 %), применяя остаток (20 %) для проверки правильности выбранного алгоритма. Например, система может обучаться на массиве, из которого исключены данные пары регионов, на которых сверяется точность модели после.
Теперь, когда в банк приходит новый клиент, по которому еще не известен банку, система подскажет надежность плательщика, основываясь на известных о нем данных .
Однако, обучение с учителем — не единственный класс задач, которые способна решать ML.
Другой спектр задач — кластеризация, способная разделять объекты по признакам, например, выявлять разные категории клиентов для составления им индивидуальных предложений.
Также с помощью ML-алгоритмов решаются такие задачи, как моделирование общения специалиста поддержки или создание художественных произведений, неотличимых от сотворенных человеком (например, нейросети рисуют картины).
Новый и популярный класс задач — обучение с подкреплением, которое проходит в ограниченной среде, оценивающей действия агентов (например, с помощью такого алгоритма удалось создать AlphaGo, победившую человека в Го).
Нейронная сеть
Один из методов Machine Learning. Алгоритм, вдохновленный структурой человеческого мозга, в основе которой лежат нейроны и связи между ними. В процессе обучения происходит подстройка связей между нейронами таким образом, чтобы минимизировать ошибки всей сети.
Особенностью нейронных сетей является наличие архитектур, подходящих практически под любой формат данных: сверточные нейросети для анализа картинок, рекуррентные нейросети для анализа текстов и последовательностей, автоэнкодеры для сжатия данных, генеративные нейросети для создания новых объектов и т. д.
В то же время практически все нейросети обладают существенным ограничением — для их обучения нужно большое количество данных (на порядки большее, чем число связей между нейронами в этой сети). Благодаря тому, что в последнее время объемы готовых для анализа данных значительно выросли, растет и сфера применения. С помощью нейросетей сегодня, например, решаются задачи распознавания изображений, такие как определение по видео возраста и пола человека, или наличие каски на рабочем.
Интерпретация результата
Раздел Data Science, позволяющий понять причины выбора ML-моделью того или иного решения.
Существует два основных направления исследований:
Естественно, производство интересует не только прогноз самого брака, но и интерпретация результата, т. е. причины брака для их последующего устранения. Это может быть долгое отсутствие тех.обслуживания станка, качество сырья, или просто аномальные показания некоторых датчиков, на которые технологу стоит обратить внимание.
Потому в рамках проекта прогноза брака на производстве должна быть не просто создана ML-модель, но и проделана работа по её интерпретации, т. е. по выявлению факторов, влияющих на брак.
Когда эффективно применение машинного обучения?
Когда есть большой набор статистических данных, но найти в них зависимости экспертными или классическими математическими методами невозможно или очень трудоемко. Так, если на входе есть более тысячи параметров (среди которых как числовые, так и текстовые, а также видео, аудио и картинки), то найти зависимость результата от них без машины невозможно.
Например, на химическую реакцию кроме самих вступающих во взаимодействие веществ влияет множество параметров: температура, влажность, материал емкости, в которой она происходит, и т. д. Химику сложно учесть все эти признаки, чтобы точно рассчитать время реакции. Скорее всего, он учтет несколько ключевых параметров и будет основываться на своем опыте. В то же время на основании данных предыдущих реакций машинное обучение сможет учесть все признаки и дать более точный прогноз.
Как связаны Big Data и машинное обучение?
Для построения моделей машинного обучения требуются в разных случаях числовые, текстовые, фото, видео, аудио и иные данные. Для того чтобы эту информацию хранить и анализировать существует целая область технологий — Big Data. Для оптимального накопления данных и их анализа создают «озера данных» (Data Lake) — специальные распределенные хранилища для больших объемов слабоструктированной информации на базе технологий Big Data.
Цифровой двойник как электронный паспорт
Цифровой двойник — виртуальная копия реального материального объекта, процесса или организации, которая позволяет моделировать поведение изучаемого объекта/процесса. Например, можно предварительно увидеть результаты изменения химического состава на производстве после изменений настроек производственных линий, изменений продаж после проведения рекламной кампании с теми или иными характеристиками и т. д. При этом прогнозы строятся цифровым двойником на основе накопленных данных, а сценарии и будущие ситуации моделируются в том числе методами машинного обучения.
Что нужно для качественного машинного обучения?
Data Scientiest’ы! Именно они создают алгоритм прогноза: изучают имеющиеся данные, выдвигают гипотезы, строят модели на основе Data Set. Они должны обладать тремя основными группами навыков: IT-грамотностью, математическими и статистическими знаниями и содержательным опытом в конкретной области.
Машинное обучение стоит на трех китах
Получение данных
Могут быть использованы данные из смежных систем: график работ, план продаж. Данные могут быть также обогащены внешними источниками: курсы валют, погода, календарь праздников и т. д. Необходимо разработать методику работы с каждым типом данных и продумать конвейер их преобразования в формат модели машинного обучения (набор чисел).
Построение признаков
Проводится вместе с экспертами из необходимой области. Это помогает вычислить данные, которые хорошо подходят для прогнозирования целей: статистика и изменение количества продаж за последний месяц для прогноза рынка.
Модель машинного обучения
Метод решения поставленной бизнес-задачи выбирает data scientist самостоятельно на основании своего опыта и возможностей различных моделей. Под каждую конкретную задачу необходимо подобрать отдельный алгоритм. От выбранного метода напрямую зависят скорость и точность результата обработки исходных данных.
Процесс создания ML-модели.
От гипотезы до результата
1. Всё начинается с гипотезы
Гипотеза рождается при анализе проблемного процесса, опыта сотрудников или при свежем взгляде на производство. Как правило, гипотеза затрагивает такой процесс, где человек физически не может учесть множество факторов и пользуется округлениями, допущениями или просто делает так, как всегда делал.
В таком процессе применение машинного обучения позволяет использовать существенно больше информации при принятии решений, поэтому, возможно, удается достичь существенно лучших результатов. Плюс ко всему, автоматизация процессов с помощью ML и снижение зависимости от конкретного человека существенно минимизируют человеческий фактор (болезнь, низкая концентрация и т. д.).
2. Оценка гипотезы
На основании сформулированной гипотезы выбираются данные, необходимые для разработки модели машинного обучения. Осуществляется поиск соответствующих данных и оценка их пригодности для встраивания модели в текущие процессы, определяется, кто будет ее пользователями и за счет чего достигается эффект. При необходимости вносятся организационные и любые другие изменения.
3. Расчет экономического эффекта и возврата инвестиций (ROI)
Оценка экономического эффекта внедряемого решения производится специалистами совместно с соответствующими департаментами: эффективности, финансов и т. д. На данном этапе необходимо понять, что именно является метрикой (количество верно выявленных клиентов / увеличение выпуска продукции / экономия расходных материалов и т. п.) и четко сформулировать измеряемую цель.
4. Математическая постановка задачи
После понимания бизнес-результата его необходимо переложить в математическую плоскость — определить метрики измерений и ограничения, которые нельзя нарушать. Данные этапы data
scientist выполняет совместно с бизнес-заказчиком.
5. Сбор и анализ данных
Необходимо собрать данные в одном месте, проанализировать их, рассматривая различные статистики, понять структуру и скрытые взаимосвязи этих данных для формирования признаков.
6. Создание прототипа
Является, по сути, проверкой гипотезы. Это возможность построения модели на текущих данных и первичной проверки результатов ее работы. Обычно прототип делается на имеющихся данных без разработки интеграций и работы с потоком в реальном времени.
Создание прототипа — быстрый и недорогой способ проверить, решаема ли задача. Это весьма полезно в том случае, когда невозможно заранее понять, получится ли достичь нужного экономического эффекта. К тому же процесс создания прототипа позволяет лучше оценить объем и подробности проекта по внедрению решения, подготовить экономическое обоснование такого внедрения.
DevOps и DataOps
В процессе эксплуатации может появится новый тип данных (например, появится ещё один датчик на станке или же на складе появится новый тип товаров) тогда модель нужно дообучить. DevOps и DataOps — методологии, которые помогают настроить совместную работу и сквозные процессы между командами Data Science, инженерами по подготовке данных, службами разработки и эксплуатации ИТ-систем, и помогают сделать такие дополнения частью текущего процесса быстро, без ошибок и без решения каждый раз уникальных проблем.
7. Создание решения
В тот момент, когда результаты работы прототипа демонстрируют уверенное достижение показателей, создается полноценное решение, где модель машинного обучения является лишь составляющей изучаемых процессов. Далее производится интеграция, установка необходимого оборудования, обучение персонала, изменение процессов принятия решений и т. Д.
8. Опытная и промышленная эксплуатация
Во время опытной эксплуатации система работает в режиме советов, в то время как специалист еще повторяет привычные действия, каждый раз давая обратную связь о необходимых улучшениях системы и увеличении точности прогнозов.
Финальная часть — промышленная эксплуатация, когда налаженные процессы переходят на полностью автоматическое обслуживание.
Шпаргалку можно скачать по ссылке.
Завтра на форуме по системам искусственного интеллекта RAIF 2019 в 09:30 — 10:45 состоится панельная дискуссия: «AI для людей: разбираемся простыми словами».
В этой секции в формате дебатов спикеры объяснят простыми словами на жизненных примерах сложные технологии. А также подискутируют на следующие темы:
Николай Марин, директор по технологиям, IBM в России и СНГ
Алексей Натекин, основатель, Open Data Science x Data Souls
Алексей Хахунов, технический директор, Dbrain
Евгений Колесников, директор Центра машинного обучения, Инфосистемы Джет
Павел Доронин, CEO, AI Today
Дискуссия будет доступна на канале YouTube «Инфосистемы Джет» в конце октября.