Сельскохозяйственный робот с машинным зрением
для локального уничтожения вредителей
Авторы:
ГБОУ Лицей № 000
Описание проблемы
Ущерб, причиняемый вредителями, велик: по данным Организации по продовольствию и сельскому хозяйству (ФАО) ООН, мировые потери ежегодно составляют примерно 20—25% потенциального мирового урожая продовольственных культур. Наилучшие результаты в борьбе с вредными насекомыми дают химические методы. Сельскохозяйственные поля, леса и наши собственные сады и газоны обрабатываются огромными количествами химических пестицидов. В сельских хозяйствах, где посевы занимают большие площади, применяются тракторные опрыскиватели. А на ещё больших площадях широко используются самолёты (авиахимический метод). Но химические средства не безопасны, как для растений, так и для окружающей среды ввиду эффекта накопления ядохимикатов в почве (рис.1) и приспособляемости вредителей к ним. Пестициды, распылённые в воздухе при использовании самолётов, переносятся на огромные расстояния и с осадками выпадают не только на поверхность земли, но и на водную поверхность, нанося огромный вред всему живому. Остатки химикатов все больше отравляют запасы воды, возникает серьезная опасность для здоровья самого человека.
Некоторые ученые считают продолжающееся широкое применение пестицидов наиболее серьезной проблемой загрязнения во всем мире. Менее 1% такого огромного количества пестицидов попадает в организмы вредителей. Так как многие пестициды распыляют с воздуха, не более половины препаратов вообще достигает культурных растений. Остальное разносится и оседает на окрестные экосистемы и водоемы. Затем, менее 0,1% количества, достигшего культурных растений, поглощается вредителями, с которыми ведется борьба. Возможность отрицательного влияния на окружающую среду и здоровье человека очевидна. Более того, доказано, что пестициды, так же как радиация, относятся к химическим мутагенам, вызывающим генные мутации, способные передаваться последующим поколениям.
Цели проекта
Мы поставили перед собой задачу разработки оптимального способа борьбы с вредителями, который
· был бы эффективным и давал результаты не хуже имеющихся на сегодняшний день;
· приносил минимальный вред окружающей среде и здоровью человека или снижал его в несколько раз;
· исключал человеческий фактор;
· имел шансы на реализацию, т. е. был не пустой фантазией изложенной на бумаге, а подкреплялся экспериментами, расчётами, максимально готовый к реализации;
· имел экономическую целесообразность.
Предполагаемый спектр применения: фермерские хозяйства, теплицы, оранжереи, большие подсобные хозяйства.
Анализ ранее проведенных исследований
На сегодняшний день существуют следующие способы борьбы с вредителями.
1. Агротехнический. Агротехнические мероприятия проводят, чтобы создать условия, благоприятные для развития и роста растений и одновременно препятствующих распространению вредителей и паразитных микроорганизмов, вызывающих болезни растений.
Плюсы: изменяя условия среды различными агротехническими приемами, можно повысить урожайность растений, их устойчивость к повреждениям, а также способствовать уничтожению зимующего запаса вредителей и возбудителей болезней.
Минусы: эффективность перечисленных агроприёмов в сильной степени зависит от сроков их проведения и особенностей развития каждого вредителя или болезни растений.
2. Физико-механический. Заключается в непосредственном уничтожении вредителей и возбудителей болезней путем сбора вручную и вылавливания их различными ловушками и другими приспособлениями.
Плюсы: как таковых нет, но в ряде случаев данный способ является необходимым. Например, если зимой или рано весной не собрать зимующие гнезда боярышницы, висящие на деревьях, то весной вышедшие из гнезд гусеницы могут уничтожить значительную часть листьев.
Минусы: этот метод очень трудоемкий.
3. Биологический. Использование живых организмов или продуктов их жизнедеятельности для предотвращения или уменьшения ущерба, причиняемого вредными организмами.
Плюсы: отсутствие вредного влияния на окружающую среду и человека.
Минусы: проблема состоит в том, чтобы найти естественных врагов и «натравить» их на вредителя, не нанося ущерба остальным видам. По оценкам энтомологов, только 1% из почти 50.000 известных видов растительноядных насекомых, способных стать серьезными вредителями, действительно являются таковыми. Часто для этого требуются многие годы трудоемких исследований.
4. Химический.
Плюсы: быстрота действия, возможность одновременного уничтожения нескольких вредителей или возбудителей болезней, а также его высокая окупаемость.
Минусы: при неумелом использовании химических препаратов может дать отрицательные результаты.
В настоящее время химический способ является повсеместно используемым. Также он один из самых эффективных при уменьшении вреда окружающей среде и разумном его использовании. Недаром некоторые европейские и американские фирмы начали разработки сельскохозяйственных роботов:
· Future Farm (рис.2). В рамках проекта Future Farm ведутся работы по созданию сети умных роботов, которые собирают информацию о состоянии сельскохозяйственных угодий, растений и сообщают эту информацию остальным роботам группы. Это позволит более точно локализовать места, нуждающиеся в подкормке удобрениями или обработке против вредителей. Оптимальным вариантом будет использование групп, состоящих из 4-5 роботов, каждый из которых выполняет определенную функцию.
· Prospero (рис.3). Роботы Prospero являются прототипом будущего большого автоматизированного организма. В настоящее время имеется группа из шести шестиногих паукообразных роботов, способных обмениваться информацией и выполнять поставленную задачу, используя технологии "роя" и программное обеспечение, основанное на алгоритмах теории игр. Роботы общаются между собой, используя инфракрасную беспроводную связь, и помечают места посадки семян или саженцев специальными маркерами. Благодаря этому система справляется с процессом посадки максимально быстро. Роботы-фермеры смогут работать круглосуточно, они смогут содержать сельскохозяйственные угодья в идеальном состоянии, борясь с сорняками и вредителями.
· Роботы-садовники лаборатории Информатики и Искусственного интеллекта Массачуссетского технологического института (рис.4). Каждый из роботов оборудован механической рукой с захватом и водяным насосом для полива растений. На «подопечных» растениях установлены специальные датчики, датчики других типов установлены в грунте. Все датчики объединены в сеть, что позволяет производить постоянный мониторинг почвы, влажности и диагностировать состояние растений. На основе данных, поступающих от датчиков, система управления робота принимает решение о необходимости своевременного полива растений, съема созревшего урожая и т. п.
Суть решения
Мы предлагаем опрыскивать не всё поле, а только поражённые растения, применяя точечное опрыскивание, чтозначительно снизит вред, наносимый окружающей среде и здоровью человека, так как ядохимикаты не попадают ни на почву, ни на здоровые растения и не происходит прямого контакта человека с химическими веществами. Также данная идея экономически выгодна, поскольку позволит использовать в несколько раз меньшее количество пестицидов. Данная задача в сельскохозяйственной практике не является решённой. Кроме того, использование робота позволяет исключить человеческий фактор.
В работе разрабатывается система с распределённым интеллектом, включающая прототип робота и программу управления им для локального опрыскивания растений с целью уничтожения вредителей. Решается задача оптического распознавания вредителей нескольких видов и организация зрительной обратной связи при работе мобильного робота в изменчивой среде. Разрабатывается программно-аппаратный комплекс с удобным пользовательским интерфейсом оператора для возможности наблюдения и контроля за действиями робота.
Прототип позволяет идентифицировать и удалять любых вредителей размером больше 0,5 мм. Для этого нужно предварительно подготовить шаблоны характерных визуальных признаков и загрузить их в программу. В настоящее время происходит распознание колорадского жука и бабочки карадрины. На каждый вид вредителя предусмотрен свой тип химиката.
Методы и инструменты реализации
1. Описание методов решения
Робот планомерно обследует поле с сельхоз растениями, и идентифицирует вредителей разных типов, используя систему машинного зрения. Для этой цели робот снабжён беспроводной видеокамерой GE-8308 (рис.5). Её главная особенность в том, что передача цветного изображения и звука происходит в диапазоне частот ТВ-приёмников. Камера работает на 8-ми предустановленных частотах, таким образом, с одним ТВ-приёмником одновременно могут работать 8 камер. А соответственно и восемь роботов одновременно. При обнаружении вредителей машина останавливается и совершает опрыскивание области растения, поражённой вредителями.
Для оптического распознавания образов используется алгоритм идентификации объекта по шаблонам. Для получения шаблонов выделены характерные визуальные признаки вредителей. А для определения шаблонов реализован алгоритм идентификации по монохромному изображению.
2. Устройство робота
Управление роботом (рис.6) ведётся с помощью согласованных действий микроконтроллера NXT (ARM7 AT91SAM7S256), установленного на роботе, и пункта контроля (компьютера). В настоящий момент связь между ними осуществляется по каналу Bluetooth. Робот приводят в движения два DC-двигателя HiTechnic и два серводвигателя HiTechnic. Система оснащена датчиком угла поворота для DC-двигателей и датчиком-компасом HiTechnic. Используемой 12V NiMh аккумуляторной батареи хватает на шесть часов автономного использования без подзарядки. Прототип собран на основе конструктора TETRIX - идеальной платформы для создания гибкого проекта робота. Робот оснащён системой опрыскивания с возможностью уничтожения вредителей разными видами химикатов.
3. Выбор среды программирования
В основе LabVIEW (рис.7) лежит язык программирования С++. Помимо самой возможности программирования среда LabVIEW предоставляет в распоряжение пользователя широкий спектр инструментов и библиотек: от интерактивных мастеров настройки и пользовательских интерфейсов до встроенных компилятора, компоновщика и средств отладки. Существует два основных отличия LabVIEW от других языков программирования.
Во-первых, LabVIEW реализует концепцию графического программирования G, поэтому исходный код представляет собой блок-диаграмму: соединённые друг с другом пиктограммы элементов языка, которая затем компилируется в машинный код. Несмотря на такой подход в языке используются те же конструкции и методы программирования, что и в других языках: типы данных, циклы, переменные, рекурсия, обработка событий и объектно-ориентированное программирование.
Вторая отличительная особенность LabVIEW - это поддержка выполнения кода в режиме потока данных (потоковое программирование), в то время как традиционные текстовые языки (например, C и C++) обеспечивают выполнение кода в виде последовательности команд. В основе языков потокового программирования (таких как G, Agilent VEE, Microsoft Visual Programming Language и Apple Quartz Composer) лежит концепция потока данных, который и определяет последовательность выполнения функциональных узлов программы. Поначалу может показаться, что отличие подобного подхода от традиционного не существенно, однако на практике оказывается иначе. А именно, потоковое программирование в среде LabVIEW позволяет разработчику полностью сфокусироваться на данных и последовательности их обработки.
4. Описание программы на языке LabVIEW
Программу, написанную в среде LabVIEW, принято называть виртуальным прибором. Он состоит из лицевой панели и блок диаграммы со схемой программы. Во многих задачах разрабатываемых в среде LabVIEW Education Edition удобно значения некоторых параметров выводить на экран для контроля и управления. Для отображения количества объектов в окне индикатора в режиме Online необходима постоянная связь PC с микрокомпьютером NXT.
· Блок диаграмма
Параллельно работают три задачи: задача идентификации, работающая в постоянном режиме, задача движения робота(выполняется автономно) и задача моделирования движение робота в пространстве. Через панель глобальных переменных одна задача запускает и завершает остальные задачи, т. е. управляет ими. Между тремя программами происходит постоянный обмен данными. Упрощенная блок-схема алгоритма работы системы приведена в приложениях (рис.8).
Вначале происходит инициализация камеры, и в памяти компьютера выделяется место для получаемых изображений. Далее (при первом запуске по обработке нового типа вредителей) система предлагает оператору в ручном режиме создать шаблоны видов скоплений вредителей, которые впоследствии будут обнаруживаться роботом и опрыскиваться автоматически. Оператор управляет движением робота, и в нужный момент, когда он видит в графическом элементе объекты, подлежащие обработке, останавливает робота. В появившемся окне выделяется область, пораженная вредителями. Эта операция повторяется до тех пор, пока не будут задетектированы все необходимые виды вредителей. Далее оператор переключает робота в автоматический режим.
Запускается параллельно вторая программа, отвечающая за перемещение робота. При движении датчик ультразвука отслеживает расположение грядки, и робот перемещается вдоль неё на постоянном расстоянии для поддержания допустимой дистанции между опрыскивателем и растениями. Робот движется по пропорционально-дифференциальному регуляторуup=k1*(s3-L)+k2*(s3-sold), где up – управляющее воздействие, k1, k2 – коэффициенты, L – эталонное расстояние до грядки, s3 – текущее показание датчика ультразвука, sold – предыдущее показание. При окончании грядки, робот объезжает её и начинает анализировать следующую.
Параллельно с движением робота на компьютер поступают изображения с камеры в режиме Online, которые он и анализирует. Сначала изображение переводится в черно-белый вид (GrayscaleU8), затем сравнивается с шаблонами, полученными в процессе детектирования. В случае обнаружения вредителей робот останавливается и опрыскивает пораженный участок растения. После чего продолжает «обследовать» поле.
На лицевой панели, помимо всего прочего, отображается траектория движения робота. В непрерывном режиме третья программа, опрашивает энкодеры моторов и вычисляет расстояние, пройденное роботом за единицу времени. Затем умножает его на специальный коэффициент и показывает изменение положения робота на схематичной карте сельскохозяйственного поля, расположенной на лицевой панели. Благодаря этому созданы предпосылки для постоянного сбора данных и комплексного анализа состояния поля по ним. Например, построения схемы, показывающей, какие участки поля заражены вредителями, и насколько эффективно подействовали применённые средства борьбы с ними.
· Лицевая панель
Лицевая панель состоит из двух вкладок (рис.9). На одной из них находятся графические элементы для отображения используемых в данный момент шаблонов, кнопка, позволяющая заменить заданные ранее примитивы и кластер параметров идентификации объектов.
На основной вкладке присутствуют:
1. Графический элемент, в котором помещается снимок, захваченный с камеры, на котором выделяется область, поражённая вредителями.
2. Кнопки управления программой («Начать работу», «Начать движение», «Приостановить», «Завершить работу»).
3. Ползунки для регулировки допустимой погрешности при сравнении шаблонов.
4. Индикаторы количества оставшихся химикатов.
5. Индикаторы количества обработанных скоплений вредителей.
6. Встроенная лицевая панель подпрограммы, на которой моделируется движение робота по полю.
7. Текстовое окно, в котором оператор может получить подсказки по запуску системы.
Анализ полученных результатов
В проекте разработан эффективныйспособ удаления вредителей, снижающийвред окружающей среде и здоровью человека, исключающий человеческий фактор и ошибки. Создан действующий прототип сельскохозяйственного робота, удовлетворяющий всем заявленным требованиям.
В ходе работы был разработан программно-аппаратный комплекс в среде LabVIEW с удобным пользовательским интерфейсом для оператора. Правильность результатов идентификации подтверждается устройством с функцией подсвечивания области заражения растений вредителями. На экране монитора высвечиваются кадры с видеокамеры и видовые названия вредителей. Присутствует возможность визуального автоматического контроля процесса идентификации вредителей для оператора. Система опрыскивания позволяет обрабатывать вредителей двумя видами химикатов.
Нами было подсчитано, что один робот обрабатывает поле размером 50 гектаров в течение 10 дней, что является достаточным для постоянного контроля за популяциями вредителей в летний период.
Используемая литература
1. , ,Горгуца систем технического зрения на базе NILabVIEW. Учебный курс. Учебно-техническая лаборатория «Современные системы автоматизации научных исследований», Московский гос. Университет им. Физический факультет и Международный учебно-научный лазерный центр. 2008. – 64 стр.
2. Журавлёв образов и анализ изображений / ёв, // Искусственный интеллект: Модели и методы. Т. 1. – М. : Радио и связь, 2000. – 310 с.
3. , Белиовский микрокомпьютер NXT в LabVIEW. – М.:ДМК Пресс; 2010-280с.: ил. + DVD
4. Справочник агронома по защите растений (под. Ред. ). 3-е изд. перераб и доп. – М, Россельхозиздат, 1999, 352 с.
5. Корчагин сада от вредителей и болезней. – 3-е изд., перераб. и доп.- М, Колос, 1998, 287 с.
6. http://www. labview. ru
7. http://www. dailytechinfo. org
Приложения
Рис.1
Рис.2
Рис.3
Рис.4
Рис.5
Рис.6
Рис.7
Рис.8
Рис.9
