Что такое LiDAR простыми словами?
LiDAR (Light Detection and Ranging) — технология лазерного сканирования, которая измеряет расстояние до объектов и на основе множества таких измерений строит трёхмерную модель окружающего пространства. Сенсор LiDAR излучает короткие лазерные импульсы, фиксирует момент их возврата от поверхности объекта и по времени пролёта вычисляет точное расстояние до каждой точки.
Название LiDAR — это одновременно и метод измерения, и физическое устройство, которое его реализует. Такие сенсоры устанавливают на автомобили, дроны, самолёты, роботы и стационарные штативы — набор измеренных точек в каждом случае складывается в подробную геометрическую карту сцены вокруг сенсора.
Технология не новая: первые лазерные дальномеры для картографии и метеорологии появились ещё в 1960-х годах, а сегодняшний бум связан с удешевлением компонентов и спросом со стороны автономного транспорта и робототехники, которым нужна точная трёхмерная геометрия сцены в реальном времени.
От сонара и радара, которые тоже измеряют расстояние по принципу «излучить сигнал — дождаться отражения», LiDAR отличает именно тип сигнала: короткая длина волны лазерного света даёт заметно более точную и детальную геометрию, чем звуковая или радиоволна той же дальности действия. Эта разница в физике сигнала и определяет, для каких задач выбирают каждый из сенсоров.
Как LiDAR строит облако точек?
Каждый лазерный импульс LiDAR после отражения от поверхности возвращается на сенсор, и по времени его пролёта устройство вычисляет расстояние до точки отражения — это называют time-of-flight, измерением времени полёта. Тысячи таких измерений в секунду складываются в облако точек: набор координат (x, y, z), которые вместе описывают форму окружающих объектов в трёхмерном пространстве.
Помимо координат, каждая точка облака часто несёт дополнительный атрибут — интенсивность отражённого сигнала, которая зависит от материала поверхности. По интенсивности можно, например, отличить металлический кузов от растительности или бетонное покрытие от грунта, даже если геометрически точки расположены рядом.
Плотность облака точек — то, сколько измерений приходится на единицу площади сцены, — определяет, насколько подробно виден объект: редкое облако различает только силуэт машины, а плотное позволяет разглядеть отдельные детали кузова. Плотность зависит от частоты вращения сенсора, числа лазерных лучей и скорости движения носителя.
Автомобильные лидары обычно излучают в ближнем инфракрасном диапазоне — чаще всего на длине волны 905 или 1550 нанометров, — эти значения выбраны как компромисс между безопасностью для глаз человека, дальностью действия и стоимостью производства компонентов. Чем больше независимых лазерных лучей у сенсора и чем чаще он опрашивает сцену за секунду, тем плотнее и актуальнее получается итоговое облако точек.
Какие бывают виды LiDAR-сенсоров?
LiDAR-сенсоры делят по конструкции на механические (вращающийся блок с несколькими лазерными лучами, обзор 360°) и твердотельные (solid-state, без движущихся частей, компактнее и дешевле в производстве), а по месту установки — на воздушные (авиация, дроны), наземные (автомобили, роботы) и стационарные (геодезические станции). Выбор типа зависит от задачи, требуемого угла обзора и бюджета проекта.
Механические лидары дольше остаются отраслевым стандартом для беспилотных автомобилей благодаря широкому обзору без слепых зон, но твердотельные и гибридные конструкции постепенно вытесняют их за счёт меньшей стоимости и большей надёжности — в них нет вращающихся механических частей, которые изнашиваются со временем.
Отдельно выделяют флеш-лидары, которые освещают всю сцену одной широкой вспышкой лазера вместо последовательного сканирования лучом, — они снимают кадр целиком за один момент времени, что удобно для быстро движущихся объектов, но обычно уступают сканирующим конструкциям по дальности действия.
Где применяется LiDAR: беспилотники, робототехника и геодезия?
LiDAR применяют везде, где нужна точная трёхмерная геометрия сцены: в автономном транспорте — для обнаружения препятствий и построения карты движения, в робототехнике — для навигации и захвата объектов, в геодезии и картографии — для лазерного сканирования местности и создания цифровых моделей рельефа. Также LiDAR используют в строительстве, сельском хозяйстве и археологии.
В беспилотном транспорте LiDAR обычно работает вместе с камерами и радаром: он даёт точную геометрию сцены, которую другие сенсоры дополняют цветом, текстурой объекта и данными о скорости — подробнее о том, чем каждый сенсор хорош и как они дополняют друг друга, разобрано в отдельной статье о разнице между лидаром и радаром.
В геодезии и аэросъёмке лазерное сканирование с дрона или самолёта позволяет за один пролёт получить облако точек всей местности — эти данные используют для построения точных карт рельефа, мониторинга строительных объектов и учёта лесных массивов, где ручные измерения заняли бы недели.
В складской и промышленной робототехнике стационарные и мобильные лидары помогают роботу строить карту помещения и одновременно определять своё положение на ней — эту задачу в робототехнике называют SLAM (одновременная локализация и картографирование). Похожий принцип применяют и в сельском хозяйстве: лидар на технике или дроне измеряет высоту и густоту растений, чтобы точнее оценить состояние посевов на большой площади.
Зачем нужны LiDAR-данные для машинного обучения?
Модели компьютерного зрения для автономного транспорта и робототехники обучают на размеченных облаках точек LiDAR, чтобы они научились находить объекты, определять их границы и отслеживать перемещение в трёхмерном пространстве. Без обучающего датасета из размеченных сцен LiDAR модель не сможет отличить пешехода от столба или правильно оценить расстояние до препятствия.
Само по себе облако точек — это только координаты, в которых нет информации о том, что за объект перед сенсором. Значение этим координатам придаёт разметка: 3D-рамки вокруг машин и людей, попиксельная сегментация поверхности или трекинг одного и того же объекта между последовательными кадрами сканирования. Как именно устроена эта разметка, какие инструменты для неё используют и чем она отличается от привычной разметки плоских изображений — подробно разбираем в статье про разметку LiDAR и облаков точек.
Качество LiDAR-датасета напрямую влияет на итоговую точность модели: чем плотнее и разнообразнее размеченные сцены — разная погода, время суток, типы объектов, — тем увереннее модель ведёт себя в реальных условиях, а не только на тех сценариях, которые уже встречались в обучающей выборке.
Собрать репрезентативный датасет LiDAR сложнее, чем набор обычных фотографий: нужны редкие и потенциально опасные сценарии — внезапный выход пешехода на дорогу, плотный туман, объект, частично скрытый другим препятствием, — которые трудно снять в достаточном количестве естественным образом. Поэтому команды часто дополняют реальные записи синтетическими сценами и целенаправленным сбором редких ситуаций, а затем размечают весь массив по единому гайдлайну, чтобы модель одинаково уверенно вела себя и на типичных, и на редких кадрах.