Зачем iphone 12 нужен лидар, или самая бесполезная функция

Принцип действия

Рис. 1. Принцип действия лидара

Принцип действия лидара не имеет больших отличий от радара: направленный луч источника излучения отражается от целей,
возвращается к источнику и улавливается высокочувствительным приёмником (в случае лидара — светочувствительным
полупроводниковым прибором); время отклика прямо пропорционально расстоянию до цели.

Рис. 2. Схема простейшей лидарной системы

Принцип действия лидара прост. Объект (поверхность) освещается коротким световым импульсом, и измеряется время, через
которое сигнал вернется к источнику. Свет распространяется очень быстро — 3∙108 м/с. Однако он возвращается с
некоторой задержкой, которая зависит от расстояния до объекта.

Расстояние, которое прошел фотон на пути до объекта и обратно, можно рассчитать по формуле:

L=c∙tпролёта2

Оборудование, необходимое для измерения этого малого промежутка времени, должно работать чрезвычайно быстро.

Лидар запускает быстрые короткие импульсы лазерного излучения на объект (поверхность) с частотой до 150000 импульсов в
секунду. Датчик на приборе измеряет промежуток времени, необходимый для возврата импульса. Свет движется с постоянной
скоростью, поэтому лидар может вычислить расстояние между ним и цели с высокой точностью.

Лидар — лазерный радар для беспилотных автомобилей

Многие автоконцерны используют для создания новых беспилотных автомобилей различные системы управления, датчики, видеокамеры и усовершенствованное программное обеспечение

Но без одного важного компонента работа смарт-авто практически невозможна. И этот элемент – лидар

Подобная система довольно дорогостоящая, средняя стоимость лидара составляет 10000 долларов. Это компактный модуль, который помогает беспилотному транспорту надежно передвигаться по дорогам и трассам города.

Лидар — это лазерный радар, который используется для «зрения» беспилотных автомобилей. Lidar (Light Identification Detection and Ranging) в переводе с английского обозначает обнаружение и ранжирование дальности света. Это новая разработка, которая при помощи импульсов отраженного света может составить информацию о любом рядом находящемся объекте. Другими словами, система направляет на определенное расстояние лазерные лучи, которые и определяют окружающие объекты. Именно лидар помогает автомобилю «видеть».

Помимо обычных городских препятствий, таких как дорожные знаки, деревья, здания или пешеходы, система лидар может распознавать и другие материалы: скалы, облака, дождь и даже химические соединения. Такая инновационная технология используется не только в разработке автомобилей, но и в создании топографических карт, исследовании космоса, археологических раскопках или градопланировании.

Главные преимущества системы

Лидар в самоуправляющемся транспорте – это устройство, которое помогает имитировать карту местности. Это обязательный элемент автономной машины (за редкими исключениями), также как видеокамеры, радиолокаторы или датчики. Лидар – комплект самостоятельно крутящихся зеркал, обычно находящихся на крыше беспилотного автомобиля. Технология может определять различные объекты на расстоянии от пары сантиметров до сотни метров.

Минимальная дистанция, на котором лидар может определить объект, составляет два сантиметра, например у системы GPS минимальное расстояние – 2 метра. Также устройство работает при низкой освещенности, поэтому в любой ситуации и погодных условиях лидар сможет распознать объект.

Эффективность лидара уже была доказана компанией Volvo. Исследования были проведены на полях фермеров. Компания протестировала свои модели грузовиков с лидаром. При вождении обычной фуры фермеры теряли порядка 4% урожая. Грузовики, оснащенные лидарами, имели плавный ход, одинаковую скорость и не пропускали ни одного посева.

Необходимость новых технологий

Многие разработчики беспилотных автомобилей говорят о необходимости установления лидаров на любой автомобиль. Но например, разработчики Tesla пока не торопятся внедрять данную технологию. Недавно были проведены испытания беспилотных моделей компании Tesla и автомобили не смогли правильно сориентироваться в окружающем пространстве, из-за чего возникло несколько аварийных ситуаций. Несмотря на это, пока Tesla отказывается от применения лидаров.

Лидар является один из самых дорогих составляющих беспилотного автомобиля. Стоимость такого устройства может составлять до 75000 долларов. В скором будущем цена будет намного ниже, и многие владельцы автомобилей смогут позволить себе это устройство.

Общее

Для точного трехмерного сканирования помещения я создал этот Lidar (LIght Detection And Ranging) турель. Основан он на Garmin LIDAR-Lite v3, который сканирует свое окружение с помощью инфракрасного лазерного луча сама платформа вращается с помощью небольших серводвигателей. Это видео показывает, что в итоге получилось:

Время сканирования в основном зависит от выбранного шага серводвигателей. Диапазон составляет от менее минуты до 30 минут (полное разрешение, более 32 000 точек данных). Точность измерений составляет около 1 см, дальность до 40 метров.

Программное обеспечение для сбора и визуализации, которое я создал для этого проекта, может извлечь облако точек для дальнейшего использования (3D-печать, программное обеспечение CAD и т. Д.).

Примечания

1. Middleton, W. E. K, and Spilhaus, A. F., Meteorological instruments, University of Toronto, 3rd ed. 1953
2. ↑  (недоступная ссылка). Дата обращения 27 декабря 2007.
3. Marcus, I. R., Rangemeter for XM23 Rangefinder, U. S. DoD report of 17/02/1964,
4. См., например, Deitz, Paul H., Atmospheric Effects on the Beam Propagation of the XM-23 Laser Rangefinder, Laser Range Instrumentation, SPIE Proceedings Vol. 11. Bellingham, WA: Society for Photo-Optical Instrumentation Engineers, 1967., p.35
5. R. T. H. Collis, Lidar: A new atmospheric probe, Quarterly Journal of the Royal Meteorological Society, Volume 92, Issue 392, Pages 220—230, 1966
6. Практическая и теоретическая сторона разработок 1980-х годов зафиксирована в: Jean Rueger. Electronic Distance Measurement: An Introduction, Springer, 1990, 4th edition 1996, ISBN 978-3-540-61159-2
7. Басов Н. Г., Кокурин Ю. Л. Лазерная локация Луны // Наука и человечество, 1986. — М.: Знание, 1986. — С. 262—277.
8. Георгиев Н. И., Нойберт Р., Татевян С. К., Хайретдинов К. А. Лазерные спутниковые дальномеры // Наука и человечество, 1989. — М.: Знание, 1989. — С. 314—327.
9. Таисия Филиппова. . nplus1.ru. Дата обращения 22 января 2019.
10.  (недоступная ссылка). Дата обращения 3 мая 2013.
11. . www.lsystems.ru. Дата обращения 20 августа 2018.
12. Laser Doppler Velocimetry Applied to the Measurement of Local and Global Wind, J. M Vaughan and P. A. Forrester, Wind Engineering, Vol. 13 No. 1 1989
13. Захаров В. М. Метеорологическая лазерная локация / В. М. Захаров, О. К. Костко. — Ленинград: Гидрометеоиздат, 1977. — 222 с.
14. ↑ Зуев В. Е. Дистанционное оптическое зондирование атмосферы / В. Е. Зуев, В. В. Зуев. — СПб.: Гидрометеоиздат, 1992. — 232 с.
15. Кащеев Б. Л. Дистанционные методы и средства исследования процессов в атмосфере Земли / Под общ. ред. Б. Л. Кащеева, Е. Г. Прошкина, М. Ф. Лагутина. — Харьков: Харьк. нац. ун-т радиоэлектроники; Бизнес Информ, 2002. — 426 с.
16. Lidar measurements taken with a large-aperture liquid mirror. 2. Sodium resonance-fluorescence system / P.S. Argall, O. N. Vassiliev, R. J. Sica, and et al// Applied Optics. — 2000. — Vol. 39, No. 15. — P. 2393—2400.
17. ↑ Лазерный контроль атмосферы / Под ред. Э. Д. Хинкли. — М.: Мир, 1979. — 416 с.
18. Behrendt A. Combined temperature lidar for measurements in the troposphere, stratosphere, and mesosphere / A. Behrendt, T. Nakamura, T. Tsuda // Applied optics. — 2004. — Vol. 43, No 14. — P. 2930—2939.
19. Lidar: range-resolved optical remote sensing of the atmosphere series, Springer series in optical sciences, vol. 102 / C. Weitkamp (Ed.). — New York: Springer, 2005. — 460 p.
20. Behrendt A. Combined Raman lidar for the measurement of atmospheric temperature, water vapor, particle extinction coefficient, and particle backscatter coefficient // Applied Optics. — 2002. — Vol. 41, No 36. — P. 7657 — 7666.
21. ADM-Aeolus
22.  (недоступная ссылка). Дата обращения 30 декабря 2007.
23.  (недоступная ссылка). Дата обращения 10 марта 2006.
24. ↑
25.  (недоступная ссылка). Дата обращения 30 декабря 2007.

Дополненная реальность на iPhone

Да, мы знаем, что Apple неровно дышит к дополненной реальности, а лидар может помочь ей в реализации намеченных целей, обучив AR-объекты работать с окружающим пространством и учитывать препятствия, чтобы не проваливаться в текстуры. Но, как видите на представленных выше изображениях, сейчас iPhone довольно неплохо справляются с размещением виртуальных предметов, создавая впечатление вполне материальных. Поэтому единственное, что улучшит лидар, — это замеры при помощи приложения «Линейка», сделав их более точными, и точность позиционирования при размещении виртуальной мебели из приложения «ИКЕА». Других сценариев я придумать пока не могу.

Другое дело – насколько востребована будет эта функция у пользователей. На мой взгляд, AR – это именно та история, которая годится только в качестве вау-фактора. Ну, подумайте сами, сколько раз вы её запустите? Один? Два? Три? Уверен, что не больше, да и то только в первую неделю после покупки, пока хочется протестировать все возможности новинки. Нет, ну правда, вспомните, сколько раз вы пытались запускать AR на своём нынешнем iPhone или iPad? От силы раза полтора. Не изменит ситуацию и лидар, ведь дело не в том, что дополненная реальность плохо совмещается с повседневной, а в том, что это никому не нужно.

Печать корпуса и сборка

Возьмите скользящие контакты и поместите его в верхнюю часть корпуса. Убедитесь, что вращающаяся часть кольца находится на верхней стороне корпуса, чтобы она вращалась одновременно с диском. Теперь установите шаговый мотор, который фиксируется к корпусу двумя 3M винтами и гайкам. Крышка готова:

Вплавьте две резьбовые вставки в корпус вращающегося диска, на котором будет закрепляется датчик нужно вплавить вставные гайки. Для этого можно использовать паяльник:

Теперь пропускаем провода от скользящих контактов через отверстие вращающегося диска:

После чего берём датчик и припаиваем к нему 4 провода (+5V, GND, SCL и SDA) от скользящих контактов:

С помощью двух болтов М3 закрепляем модуль дальномера на корпусе вращающегося диска:

Если у вас модуль с другим расстоянием между крепёжными отверстиями, модуль можно закрепить только одним болтом. Если крепёжных отверстий совсем нет, модуль можно приклеить (двустороння липкая лента, термоклеем с помощью клеевого пистолета и т.д.).

Когда датчик будет закреплён, вращающийся диск надевается на подшипник:

На вращающуюся крышку приклеивается неодимовый магнит, а в верхнюю крышку вставляется датчик холла:

Магнит служит для того, чтобы на него на него срабатывал датчик Холла и в этот момент в коде происходит установка переменной «угол» в некоторое значение. Если магнит по размерам позволяет наклеить его по центру под датчиком, это будет самый лучший вариант, т.к. при срабатывании переменной «угол» нужно будет присвоить значение 0. Если нет, магнит можно наклеить возле датчика. Тогда переменной «угол» нужно будет присвоить не 0, а соответствующее значение (на какой угол относительно магнита повёрнут датчик). Если магнит находится с противоположной стороны, нужно присвоить 180. Если угол составляет 20 градусам (на фото выше угол немного больше):

Тогда переменной «угол» нужно присвоить 20 и т.д.

На макетную плату по схеме, приведенной ранее, запаиваем конденсатор, драйвер мотора, 10K резистор, датчик Холла, провода от Arduino и стабилизатора питания:

Всё припаяно, теперь закрепляем (двусторонней липкой лентой, клеем, термоклеем и т.д.) Arduino Nano внутри корпуса и наш лидар почти готов:

Осталось вплавить в нижнюю крышку корпуса три вставные гайки, затем прикрутить крышку корпуса, надеть на шкив пасик и можно переходить к программированию и экспериментам.

Как это работает

Технология, которую испытала ZALA AERO, является наиболее высокоточной на сегодняшний день и позволяет моделировать объекты с воздуха с точностью до одного сантиметра.

Исследование с применением лидаров начинается с прокладки маршрута при помощи GPS. На этом этапе определяются скорость и высота полета. Бортовой лазерный 3D-сканер устанавливается на БПЛА. Этот прибор излучает порядка 16 лазерных лучей на один квадратный метр, а встроенный в систему датчик исчисляет время, необходимое для того, чтобы лазерный импульс оттолкнулся от поверхности и вернулся обратно.

Таким образом, принцип работы лазерного сканера похож на радиолокацию. Все эти миллионы субнаносекундных по длительности импульсов позволяют воссоздать точнейшую картину местности. Причем то, что мешает разглядеть панораму, например кроны деревьев, прибор отфильтровывает и дает нам возможность видеть то, что находится под ними: дороги, руины, геологические особенности и объекты культурного наследия и многое другое. Сегодня ни один другой метод дистанционного зондирования не позволяет получать одновременно и видимую поверхность, и истинную поверхность рельефа.

По окончании работ все полученные данные преобразовываются в трехмерное облако точек, которые позволяют воссоздать точную цифровую копию ландшафта.

Обучение нейросети на данных с лидара

Так как сенсор выдает фиксированное разрешение кадров, с глубиной, сигналами и эмбиент данными для каждого пикселя, это позволяет использовать данные в алгоритмах глубокого обучения, которые специально разрабатывались для камер. Создатели закодировали глубину, интенсивность и эмбиент информацию в вектор почти таким же образом, как это делается для синего, красного и зеленого каналов во входном слое. Нейросеть, которая была обучена на данных с камеры, обобщается на тип данных, которые предоставляет лидар.

Как один из примеров, исследователи натренировали попиксельный семантичесский классификатор, который определяет дорогу, транспорт, пешеходов и велосипедистов по набору кадров глубин и интенсивностей. Итоговая нейросеть была запущена на NVIDIA GTX 1060 в реальном времени и показала впечатляющие результаты, особенно, если учитывать, что это первая попытка.

Семантическая сегментация данных с лидара: https://www.youtube.com/watch?v=JxR9MasA9Yc

Так как все данные попиксельные, есть возможность производить дополнительную обработку данных и накладывать на трехмерные изображения двумерные маски такие как границы машин.

В другом случае создатели решили не объединять данные в вектор, а оставить их разделенными и прогнать их через ту же нейросеть по отдельности.

Как пример они использовали предобученную нейросеть SuperPoint project от DeTone и запустили напрямую на их изображениях глубины и интенсивности. Нейросеть обучена на большом количестве RGB изображений и никогда не видела данные с лидара, но результаты на интенсивности и глубине поражают.

При внимательном обзоре, становится понятно, то нейросеть выделяет разные ключевые точки на каждом изображении. Тот, кто работал над лидарной и визуальной одометриями, поймет ценность избыточности, воплощенной в этом результате. Лидарная одометрия используется в геометрически однородных средах, например туннелях, тогда как визуальная одометрия применяется в открытых или плохо освещенных средах. Камера-лидар предоставляет мультимодальное решение для этой задачи.

Полученные результаты дают уверенность в том, что синергия данных с камеры и лидара нечто большее, чем просто сумма двух наборов данных.

Ссылки:

1. Видео

Интересные статьи:

• Оценка глубины на изображении при помощи Encoder-Decoder сетей
• Kepler.gl — мощный инструмент визуализации карт от Uber с открытым исходным кодом
• Сегментация объектов на видео в реальном времени с помощью Pixel-Wise обучения

Устройство

Излучатель

Основная статья: Виды лазеров

Длины волн, излучаемые наиболее распространёнными лазерами. Шкала в микрометрах

В абсолютном большинстве конструкций излучателем служит лазер, формирующий короткие импульсы света высокой мгновенной мощности. Периодичность следования импульсов или модулирующая частота выбираются так, чтобы пауза между двумя последовательными импульсами была не меньше, чем время отклика от обнаружимых целей (которые могут физически находиться дальше, чем расчётный радиус действия прибора). Выбор длины волны зависит от функции лазера и требований к безопасности и скрытности прибора; наиболее часто применяются Nd:YAG-лазеры и длины волн (в нанометрах):

• 1550 нм — инфракрасное излучение, невидимое ни глазу человека, ни типичным приборам ночного видения. Глаз не способен сфокусировать эти волны на поверхности сетчатки, поэтому травматический порог для волны 1550 существенно выше, чем для более коротких волн. Однако риск повреждения глаз на деле выше, чем у излучателей видимого света — так как глаз не реагирует на ИК излучение, то не срабатывает и естественный защитный рефлекс человека
• 1064 нм — ближнее инфракрасное излучение неодимовых и иттербиевых лазеров, невидимое глазу, но обнаружимое приборами ночного видения
• 532 нм — зелёное излучение неодимового лазера, эффективно «пробивающее» массы воды
• 355 нм — ближнее ультрафиолетовое излучение

Также возможно использование (см. ) вместо коротких импульсов непрерывной амплитудной модуляции излучения переменным напряжением.

Сканирующая оптика

Два чёрных цилиндра, вынесенные перед бампером — сканирующие лидары беспилотного автомобиля

Простейшие атмосферные лидарные системы не имеют средств наведения и направлены вертикально в зенит.

Для сканирования горизонта в одной плоскости применяются простые сканирующие головки. В них неподвижные излучатель и приёмник также направлены в зенит; под углом 45° к горизонту и линии излучения установлено зеркало, вращающееся вокруг оси излучения. В авиационных установках, где надо сканировать полосу, перпендикулярную направлению полёта самолёта-носителя, ось излучения — горизонтальна. Для синхронизации мотора, вращающего зеркало, и средств обработки принимаемого сигнала используются точные датчики положения ротора, а также неподвижные реперные риски, наносимые на прозрачный кожух сканирующей головки.

Сканирование в двух плоскостях добавляет к этой схеме механизм, поворачивающий зеркало на фиксированный угол с каждым оборотом головки — так формируется цилиндрическая развёртка окружающего мира. При наличии достаточной вычислительной мощности можно использовать жёстко закреплённое зеркало и пучок расходящихся лучей — в такой конструкции один «кадр» формируется за один оборот головки.

Приём и обработка сигнала

Основная статья: Цифровая обработка сигналов

Важную роль играет динамический диапазон приёмного тракта. Например, приёмный тракт новейшей (2006 год) подсистемы машинного зрения MuCAR-3 с динамическим диапазоном 1:106 обеспечивает эффективный радиус действия от 2 до 120 м (всего 1:60). Чтобы избежать перегрузки приёмника интенсивной засветкой от рассеивания в «ближней зоне», в системах дальнего радиуса действия применяют высокоскоростные механические затворы, физически блокирующие приёмный оптический канал. В устройствах ближнего радиуса со временем отклика менее микросекунды такой возможности нет.

Portuguese[edit]

Etymologyedit

From Old Portuguese , lidear, from Latin (“to dispute”), present active infinitive of . Compare Spanish and Italian (“to quarrel”). of , which was a borrowing.

Verbedit

lidar (first-person singular present indicative , past participle )

1. to , to

   Synonyms: ,

   Não sei como lidar com isso.

   I don’t know how to handle it.

2. to , to

   Synonyms: ,

3. to

   Synonyms: ,

Conjugationedit

  Conjugation of the Portuguese -ar verb lidar

История

Аббревиатура LIDAR впервые появилась в работе Миддлтона и Спилхауса «Метеорологические инструменты» 1953 года, задолго до изобретения лазеров. Первые лидары использовали в качестве источников света обычные или импульсные лампы со скоростными затворами, формировавшими короткий импульс.

США

В 1963 году в США начались полевые испытания носимого лазерного дальномера XM-23 с мощностью излучения 2,5 Вт и диапазоном измеряемых расстояний 200—9995 м.. XM-23 был изначально несекретным образцом и стал базовым прибором для гражданских исследователей 1960-х годов. К концу 1960-х годов лазерные дальномеры стали стандартным оборудованием новых танков США (первым образцом, спроектированным с применением лазерных дальномеров, стал M551 Шеридан, запущенный в серию в 1967). Гражданские применения лазерных дальномеров были ограничены лишь высокой стоимостью интегральных схем того времени.

Тогда же, в первой половине 1960-х годов, начались опыты по применению лидара с лазерными излучателями для исследования атмосферы.

В 1969 году лазерный дальномер и мишень, установленная на Аполлоне-11, применялся для измерения расстояния от Земли до Луны. Четыре мишени, доставленные на Луну тремя «Аполлонами» и «Луноходом-2», и по сей день используются для наблюдения за орбитой Луны.

В течение 1970-х годов, с одной стороны, отлаживалась технология лазерных дальномеров и компактных полупроводниковых лазеров, а с другой — были начаты исследования рассеяния лазерного луча в атмосфере. К началу 1980-х годов эти исследования стали настолько известными в академических кругах США, что аббревиатура LIDAR стала именем нарицательным — lidar, что зафиксировал словарь Уэбстера 1985 года. В те же годы лазерные дальномеры достигли стадии зрелой технологии (по крайней мере, в военных приложениях) и выделились в отдельную от лидаров отрасль техники.

СССР

Эксперименты по лазерной локации Луны в СССР начались в 1963 году, а с 1973 года велись систематические наблюдения всех пяти расположенных к тому времени на Луне уголковых отражателей («Лунохода-1», «Лунохода-2», «Аполлона-11», «Аполлона-14», «Аполлона-15»).
Для лазерной локации искусственных спутников Земли в СССР были запущены спутники с уголковыми отражателями на борту: «Интеркосмос-17» (1977), «Интеркосмос-Болгария-1300» (советско-болгарский, 1981), «Метеор-3» (1985), использовался разработанный советскими учёными лазерный дальномер «Крым».

В СССР существовало два семейства лидарных метеорологических приборов, предназначенных для использования на аэродромах (в обоих семействах в качестве источника зондирующего светового потока использовались импульсные лампы):

• Измерители высоты нижней границы облаков — светолокаторы (в начале 1960-х годов создан прибор ИВО-1, далее в 1970-х годах ИВО-2, РВО-2). Принцип действия светолокатора основан на измерении обратно рассеянного зондирующего импульса в атмосфере.
• Измерители дальности видимости — трансмиссометры (созданный в конце 1960-х годов прибор РДВ-1, в последующие десятилетия ему на смену пришли РДВ-2, РДВ-3, ФИ-1). Принцип действия трансмиссометра (регистратора прозрачности атмосферы) основан на измерении степени ослабления интенсивности световых импульсов после их прохождения через слой атмосферы, ограниченный длиной базисной линии прибора.