Что такое датчик виртуального присутствия на смартфоне
Датчики современных смартфонов
Владимир Нимин
Продолжаем разбираться в устройстве смартфона. В прошлый раз смотрели экраны, а сегодня поговорим про датчики.
Акселерометр, также называют G-сенсор. Официальное определение гласит, что это устройство, измеряющее проекцию кажущегося ускорения. А если простым языком, то акселерометр помогает смартфону определить положение в пространстве, а также расстояние перемещения. Основные функции акселерометра:
Акселерометр – это громоздкое устройство, внутри которого находится инертная масса, реагирующая на все перемещения. Такой вариант для смартфона не подходил, поэтому придумали чип, имеющий кристаллическую структуру, пьезоэлектрический элемент и сенсор ёмкостного сопротивления. Когда смартфон перемещается/вращается, то пьезоэлектрический элемент выдаёт разряды, а сенсор их интерпретирует, таким образом определяя положение и скорость.
Акселерометр – базовый датчик, который есть в любом, даже самом дешевом, смартфоне. Хотя это на удивление технически сложный продукт. В смартфонах акселерометр понимает движения по 3 осям. Третья нужна для 3D позиционирования. К слову, акселерометр есть и во всех современных автомобилях, но там он обычно двухосевой (ибо автомобиль не крутится в воздухе).
Не все акселерометры одинаковые. Их делают из разных материалов. Соответственно, некоторые более чувствительные, некоторые менее.
Гироскоп – это один самых классных датчиков, о полезности которого для смартфонов долгое время никто не подозревал, пока на сцену не вышел Стив Джобс и не объяснил, как оно должно быть. Посмотрите презентацию этой шикарной функции, и как зал взорвался от восторга.
Не следует путать гироскоп и акселерометр. Эти датчики частично дублируют и дополняют друг друга. Гироскоп также служит для отслеживания положения устройства в пространстве, но он делает это путем определения собственного угла наклона относительно земной поверхности. Это очень важно, так как это означает, что в условиях нулевой гравитации, вы не сможете поиграть в Asphalt 9, используя в качестве управления наклоны устройства. Будьте внимательны!
Гироскоп (в отличие от акселерометра) не может измерять проделанное расстояние, зато гораздо точнее определяет положение в пространстве. Для понимания посмотрите, пожалуйста, видео со Стивом Джобсом выше. Начиная с времени 1:10 Джобс показывает, как определяет положение объекта в пространстве акселерометр и как гироскоп.
Обычно в современных смартфонах оба датчика работают в тандеме. Гироскоп важен для игр, дополненной реальности, а также ряда других приложений. Нередко в дешевых смартфонах производитель предпочитает экономить на гироскопе.
Датчик приближения (proximity sensor). Как видно из названия, это датчик, который помогает определить наличие перед ним объекта. Самый простой пример – это отключение экрана, когда смартфон подносят к уху. Также датчик приближения исключает фантомные включения экрана, когда смартфон находится в сумке или кармане. Такой датчик может сам или в комбинации с фронтальной камерой отслеживать движения рукой над экраном для выполнения каких-либо функций. Например, пролистывание странички в браузере и тому подобное. Существует множество технологий датчика приближения. Он может работать по типу радара, сонара, эффекта Доплера, есть инфракрасный датчик приближения, а иногда ставят и фотоэлемент.
Базовый датчик приближения, отключающий экран при поднесении к уху, есть, кажется, уже во всех смартфонах. Но продвинутость датчика можно оценить по наличию дополнительных функций.
Датчик освещения – здесь всё просто и понятно. Такой датчик помогает автоматически выставить яркость экрана. Датчик освещения уже считается базовым датчиком, но в дешевых смартфонах на нем могут сэкономить. И тогда придется каждый раз выставлять яркость вручную.
Современный датчик освещения обычно работает в комбинации с ИИ смартфона. Например, если датчик выставил определенную яркость, а вы его вручную поправили, то смартфон возьмёт на заметку и в следующий раз самостоятельно сделает экран поярче. Соответственно, всегда давайте датчику освещения освоится и подстроиться под ваши привычки прежде, чем осуждать его работу.
Датчик Холла – один из самых таинственных датчиков в смартфоне, ибо мало кто знает, зачем он нужен. Датчик, основанный на, так называемом, эффекте Холла, фиксирует магнитное поле и измеряет его напряженность. Говоря языком физики: электроны в проводнике всегда перпендекулярны (угол 90 градусов) направлению магнитного поля. Плотность электронов на разных сторонах проводника будет отличаться, возникает разность потенциалов, которую и фиксирует датчик Холла.
Но в смартфонах используется упрощенный датчик Холла, фиксирующий только наличие магнитного поля.
Обычно датчик Холла нужен для дополнительных аксессуаров. Например, именно он включает экран iPad, когда пользователь снимает магнитный чехол. Кстати, в этой функции датчик приближения вполне может подменить датчик Холла.
Также датчик Холла работает в паре с компасом, делая работу последнего более точной.
Компас (магнитомер) – это очень важный датчик, даже если вы не занимаетесь спортивным ориентированием. Именно компас отвечает за то, что на Google Maps пользователь видит не просто точку, а стрелочку, указывающую в какую-сторону вы смотрите.
Когда компас откалиброван, то отображение направления узкое. Чтобы откалибровать компас, откройте карты Google и крутите смартфон «восьмеркой»:
Барометр – обычно наличием подобного датчика могут похвастаться только флагманы. Барометр ассистирует GPS и помогает определить высоту. Наличие такого датчика полезно, так как на Google Maps уже появляются схемы зданий, и барометр определит на каком этаже вы находитесь. Также барометр используется в приложениях, определяющих физическую активность. Суть такая же: определить, сколько этажей вы прошли.
Датчик влажности – когда-то такой датчик был в Samsung Galaxy Note 4, а потом Samsung от него отказались. Роль очевидная. Датчик определяет уровень влажности.
Датчик сердцебиения/датчик кислорода в крови – ещё один фирменный датчик от Samsung, но он есть и во многих фитнес-браслетах. Работает совместно с LED-вспышкой. Прикладываете палец, LED светит вам свозь палец, а датчик измеряет, как отражаются световые волны. Волны отражаются по-разному в зависимости от пульса: кровеносные сосуды, то сужаются, то расширяются. По этому же принципу работает и функция определения кислорода в крови.
GPS – глобальная система позиционирования. По сути, это даже не датчик, а наличие у смартфона возможности коммуницировать со спутниками благодаря или отдельному, или мульти-чипу, поддерживающему сразу несколько систем. Сейчас у каждой развитой страны, есть своя система спутников. ГЛОНАСС в России, Galileo в Европе, BDS (или BeiDou) в Китае, QZSS (или Quasi-Zenith Satellite System) в Японии. Можно скачать программу GPS Test, которая покажет, какие спутники видит ваш смартфон. Например, на скриншоте ниже отображаются флаги GPS, ГЛОНАСС и Galileo.
GPS прекрасная технология, но медленная (пока там все спутники найдешь и опросишь) и потребляющая много энергии и хорошо работающая на открытой местности, поэтому была придумана ещё A-GPS (Assisted GPS). Принцип основан на том, что пока GPS ищет спутники, смартфон успевает опросить сотовые вышки, Wi-Fi сети, Bluetooth устройства на предмет местонахождения. Таким образом существенно увеличивается время «холодного» старта, а также снижается расход энергии.
Двухдиапазонный GPS. Поддержка этой опции появилась в устройствах начbfz с Android 7 и старше. iPhone так не умеет.
Обычно спутники посылают два сигнала: грубый и точный. Если говорить про GPS, то это каналы L1 и L5, а у Галилео это E1 и Е5. L1 – это грубый канал. В городе любой сигнал достигает до спутника не только напрямую, но и отражаясь от сторонних объектов (например, зданий), то есть к спутнику прилетает сразу несколько сигналов. Соответственно, и возвращается он также не один, и образуется примерная область нахождения, где все вернувшиеся сигналы пересекаются. Ещё есть точный канал L5. Этот канал гораздо меньше подвержен искажением, так как работает по принципу: Первый достигший спутника сигнал и есть верный (ведь он идет по самому короткому пути, а не через отражения), а остальные можно игнорировать.
Раньше L5 принадлежал только военным и спец объектам, но теперь спутников в небе стало много, и L5-спутников хватит на всех, поэтому было решено поделиться.
Вместо заключения
Счётчик Гейгера – самый неожиданный датчик, правда? Это японская тема. И насколько есть информация в интернете, такой датчик был только в телефоне Sharp Pantone 5, который вышел после аварии на атомной станции Фукусима-1.
Современный смартфон должен иметь на борту: акселерометр, гироскоп, датчик приближения и освещения. Также обязательно наличие компаса. Если без гироскопа можно обойтись, то точка на карте без направления раздражает. A-GPS уже есть во всех смартфонах. Отлично если GPS будет работать в двух диапазонах. Шикарно, если будет барометр.
Осторожно, датчик приближения! Или о том, как испортить хороший смартфон
Сегодня у нас будет очень интересный и, надеюсь, полезный разговор, так как мы затронем проблему, с которой сталкивается огромное количество владельцев современных смартфонов.
К сожалению, у этой проблемы есть две неприятные особенности. Во-первых, если она уже проявилась, её практически невозможно решить. Разве что, продав смартфон. А во-вторых, заранее избежать этой проблемы довольно тяжело, так как о её причинах догадываются лишь единицы. Ведь она связана с, казалось бы, самым заурядным сенсором в мире — датчиком приближения.
Думаю, вы уже догадались, о чем идет речь. У каждого бывали ситуации, когда во время разговора по телефону экран смартфона случайно включался и вы запускали щекой различные приложения, отключали микрофон или нажимали кнопки в шторке.
На самом деле, такое может происходить часто, особенно, если вы по незнанию купили современный дорогой смартфон, на котором производитель сэкономил пару долларов, установив плохой датчик приближения или просто разместив его не в том месте.
Более того, даже хорошие датчики могут давать сбой по самым необычным причинам. К примеру, вы знали, что на точность работы этого сенсора влияет даже цвет ваших волос?
Датчик приближения — это одна из самых невероятных технологий в современном смартфоне, которая в будущем совершит настоящую революцию во многих областях. Но обо всем по порядку.
Датчик приближения в смартфоне. Теория эволюции.
Когда мобильные телефоны постепенно эволюционировали в смартфоны, у них появилось новое интересное свойство. Эти устройства научились ощущать приближение различных предметов к экрану.
Раньше это было неважно, так как во время разговора по «классическому» мобильному телефону вы не нажимали щекой механические кнопки. Но когда всю лицевую поверхность устройства занял большой сенсорный экран, реагирующий на малейшее прикосновение кожи, это стало настоящей проблемой.
В 2007 году вышел первый iPhone с набором новых необычных датчиков, в числе которых был и датчик приближения, находившийся в верхней рамке, слева от разговорного динамика:
Принцип его работы был максимально прост. Датчик приближения состоял из лампочки и фотодиода, который измерял количество упавшего на него света.
Когда лампочка на мгновение загоралась, свет от нее освещал окружающие предметы. И если рядом ничего не было, свет просто улетал в окружающее пространство, а фотодиод не регистрировал никакого изменения в освещенности:
Но если прямо перед экраном появлялась какая-то преграда, свет лампочки отражался от этой преграды и тут же возвращался на фотодиод, который фиксировал значительное увеличение яркости:
Разумеется, человек при этом ничего не замечал, так как «лампочка» (светодиод) излучает свет в инфракрасном спектре.
Эта незамысловатая технология позволила с удобством использовать смартфон в качестве обычного телефона. При входящем звонке он отключал экран, если пользователь подносил его близко к уху, тем самым исключая нежелательные случайные нажатия.
Постепенно датчик приближения улучшался. Нужно было решить серьезную задачу — заставить смартфон отключать экран при солнечном свете. Ведь в этом случае на фотодиод непрерывно попадает инфракрасное излучение от солнца, что заставляет смартфон «думать», будто рядом есть преграда.
Решение оказалось не самым сложным.
Естественное освещение попадает на датчик непрерывно, тогда как лампочка излучает свет импульсами. Несколько тысяч раз в секунду она загорается, скажем, на 8 микросекунд, а затем в течение следующих 8 микросекунд не горит:
Таким образом, смартфон следит только за интенсивностью пульсирующего с заранее известной частотой света. Это не только упрощает отслеживание именно излученного сигнала (а не внешнего освещения), но и значительно сокращает энергопотребление. Ведь лампочка не горит непрерывно.
Затем в игру вступил еще один примитивный сенсор — датчик освещенности. Смартфон дополнительно использовал информацию об общем уровне яркости, чтобы помогать датчику приближения избегать ошибок, вызванных ярким солнечным светом.
Так смартфоны научились варьировать различные параметры светодиода, чтобы значительно усиливать сигнал, когда датчик освещенности сообщал о ярком внешнем свете.
К примеру, если увеличить длину импульса (время, в течение которого горит лампочка датчика) с 8 микросекунд до 16 или даже 32 мкс, то сигнал будет возрастать пропорционально:
То же касается силы тока и других параметров.
В общем, какое-то время всё было более-менее хорошо, но не идеально. Ведь датчик приближения работает со светом и отсюда вытекают все его недостатки.
К примеру, под прямым углом практически весь свет от лампочки возвращается на фотодиод и смартфон чётко реагирует на приближение преграды.
Но под углом значительная часть света может отражаться в сторону и на датчик будет падать недостаточно света для того, чтобы сработала блокировка экрана. Хотя сам объект может находиться очень близко к смартфону.
Кроме того, количество отраженного света напрямую зависит от цвета волос пользователя. Черный цвет потому и черный, что от него не отражается свет. И когда брюнетка подносит свой смартфон к уху, на фотодиод возвращается гораздо меньше света, чем если бы на пути оказались светлые волосы или неприкрытое ухо.
Также не стоит забывать и о сальных железах или макияже. Когда мы говорим по телефону, стекло постоянно соприкасается с кожей и на него попадает кожный жир, тональный крем и т.п. Это не только снижает чувствительность фотодиода, но и сильнее рассеивает свет от лампочки.
В общем, проблем хватало, пока кому-то в голову не пришла одна «гениальная идея».
Нет датчика — нет проблем! Или о том, что такое виртуальный датчик приближения
К 2016 году смартфоны использовали целый набор датчиков, чтобы корректно обрабатывать отключение экрана при входящем звонке: датчик приближения, датчик освещенности, акселерометр.
И тут один стартап предложил производителям смартфонов заменить реальный датчик приближения на алгоритм (нейросеть).
Суть работы так называемого виртуального (или программного) датчика приближения заключалась в следующем. Смартфон использовал привычные сенсоры (акселерометр, сенсорный экран, датчик освещенности) и дополнительно еще два устройства: микрофон и динамик.
Новый алгоритм получил красивое название Inner Beauty (в переводе с англ. внутренняя красота) и заменил собой классический датчик приближения (с лампочкой и фотодиодом) на смартфоне Xiaomi Mi Mix, выпущенном в 2016 году:
Чтобы понять, в чем заключалась принципиальная проблема новоиспеченного датчика приближения, нужно вкратце вспомнить, что такое нейросеть.
В основном её используют тогда, когда не знают чёткого алгоритма действий или же этот алгоритм слишком сложный. Виртуальный датчик приближения — как раз тот случай.
Главная задача перед разработчиками состояла в обучении нейросети определять по ультразвуку наличие или отсутствие преград. Для этого динамик посылал звуковую волну, которая отражалась от предметов и возвращалась на микрофон, после чего алгоритм анализировал полученный сигнал.
Нейросетям предоставили тысячи сэмплов отраженного сигнала, когда рядом есть препятствие и когда его нет. Таким образом она научилась различать ультразвук в разных ситуациях.
Но все мы прекрасно знаем, что работают современные нейросети далеко не идеально. В качестве примера можно вспомнить портретный режим в камере, который в сложных ситуациях не способен качественно отделить главный объект от фона и пр.
То же получилось и здесь. В целом, технология работала неплохо. В чем-то она даже оказалась лучше классического (инфракрасного) датчика приближения, так как цвет препятствия уже не играл роли. Но часто нейросеть не справлялась с поставленной задачей и экран смартфона мог включаться во время звонка (или вовсе не отключаться) со всеми вытекающими последствиями.
Однако идея сэкономить пару долларов и место внутри корпуса, избавившись от лишних датчиков на фронтальной панели, показалась многим производителям отличным решением. При этом качество работы нового «виртуального» датчика отошло на второй план. Фактически нейросеть + ультразвук работали гораздо хуже лампочки и фотодиода.
В результате на рынке появилось огромное количество смартфонов без нормального датчика приближения. Вот лишь небольшая часть из этого списка:
Некоторые компании пошли еще дальше и даже не стали заморачиваться с ультразвуком, оставив лишь сенсорный экран и акселерометр. Так появились смартфоны Huawei P Smart Z, Y9s, P40 Lite E и другие:
Встречались и такие ситуации, когда на смартфоне использовался нормальный ИК-датчик приближения, но для него не находилось места на фронтальной панели. К примеру, на смартфонах Honor 20, Honor 20 Pro и Huawei Nova 5T он размещался на верхнем торце.
Естественно, такое расположение приводило к серьезным проблемам. На этих смартфонах постоянно загорался экран во время телефонных разговоров.
На некоторых устройствах датчики приближения и освещенности могут находиться в разных местах, что также может приводить к повышенному количеству ложных срабатываний. В этом случае пользователь может прикрыть датчик приближения, оставив при этом датчик освещенности открытым, и смартфон будет получать противоречивые данные.
Сегодня многие Android-флагманы, например, от компании Samsung, используют устройства, совмещающие сразу несколько датчиков и технологий на одной плате. Это позволяет снизить цену и сэкономить место внутри.
К примеру, в линейке Ultra используются сенсоры от Austria Micro Systems, совмещающие классический датчик приближения (с инфракрасной лампочкой), датчик освещенности и RGB-датчик цвета. То есть, эти устройства легко могут определять не только освещенность, но и цвет, чтобы подстраивать баланс белого экрана.
Такие датчики можно удобно прятать под AMOLED-дисплеем, что мы и видим на современных аппаратах.
Но по-настоящему революционное решение впервые появилось в том же 2016 году, только в смартфонах от Apple.
Однофотонные лавинные диоды. Технология, которая может навсегда изменить фотографию
Начиная с iPhone 7 в телефонах от Apple вместо классического инфракрасного датчика приближения (и его дешевой альтернативы в лице виртуального датчика) используется совершенно другое устройство от STMicroelectronics.
Это так называемый однофотонный лавинный диод (SPAD). Суть технологии заключается в том, что специальный лазер VCSEL (вертикально-излучающий лазер) «выстреливает» фотоны с определенной длиной волны (например, 940 нанометров) и засекает время.
Дальше фотоны сталкиваются с препятствием и часть из них возвращается на SPAD-сенсор. Как только на этот сенсор попадает хотя бы один единственный фотон, датчик моментально фиксирует его и отмечает время прибытия.
Таким образом, зная скорость света (300 тыс. км. в секунду) и точное время полета фотона, мы можем легко определить расстояние до препятствия.
Например, если препятствие находится на расстоянии в 1 см от экрана, тогда фотону потребуется 33 пикосекунды (1 пикосекунда — это триллионная доля секунды), чтобы долететь до него и еще 33 пс, чтобы вернуться обратно на сенсор.
Эта технология поражает воображение тем, что сенсор может зафиксировать всего одну единственную неделимую частицу света (фотон), а современный электронный «секундомер» легко оперирует пикосекундами.
Подавляющее большинство пользователей даже не догадываются, что в их смартфонах используются такие технологии. Естественно, они стоят дороже «копеечных» инфракрасных сенсоров и, тем более, различных алгоритмов виртуальных датчиков.
Преимущество SPAD-сенсора заключается в том, что датчик работает с минимальным количеством света и определяет расстояние по времени полета, а не яркости света. В теории, даже если на сенсор возвратится всего один фотон от препятствия, этого будет достаточно, чтобы определить расстояние.
Поэтому цвет поверхности и даже угол её наклона не играют такой большой роли, как в случае с классическими ИК-сенсорами.
Назревающая революция
Естественно, применение однофотонных лавинных диодов не ограничивается датчиком приближения. В будущем SPAD-сенсоры смогут заменить в камерах привычные нам матрицы.
Современные пиксели собирают в течение какого-то времени весь падающих на них свет. Затем сенсор считывает общее количество света, преобразовывает аналоговый сигнал в цифровой, параллельно собирая шум и в конце мы получаем значение каждого пикселя — его яркость в цифровом виде.
Пиксели SPAD-сенсора работают с каждой конкретной частицей света (фотоном). Как только фотон падает на такой пиксель, мы тут же получаем его цифровое значение с минимальным количеством шума.
Кроме того, слово «лавинный» в названии диода означает то, что единственный фотон может вызвать эффект лавины. Когда частица света попадает на матрицу, происходит «цепная реакция» и высвобождается большое количество электронов:
Таким образом, SPAD-сенсор может усиливать сигнал в миллионы раз без ущерба качеству. Всё это позволяет сокращать время выдержки до нескольких наносекунд или снимать со скоростью в десятки тысяч кадров в секунду.
Добавьте сюда еще тот факт, что каждый пиксель может содержать информацию о том, насколько далеко от камеры находится точка в пространстве, откуда прилетел фотон. То есть, мы получаем максимально подробную и точную информацию о глубине сцены.
Однофотонные лавинные диоды уже сегодня применяются во многих областях, включая датчики приближения на iPhone и ToF-сенсоры на других смартфонах. Но самое интересное нас ждет впереди.
Выводы. Или как не испортить хороший смартфон плохим датчиком?
Как видите, за таким неприметным и скучным сенсором как датчик приближения, стоит целая череда научных открытий и изобретений.
К сожалению, производители заинтересованы не только (а порою кажется, что не столько) в том, чтобы улучшать какие-то технологии, но и в том, чтобы значительно сократить расходы и снизить себестоимость товара для увеличения прибыли.
Это желание привело к тому, что сегодня во многих смартфонах установлены в буквальном смысле копеечные датчики или заменяющие их программные алгоритмы.
Если вы приобрели смартфон с виртуальным датчиком, скорее всего, время от времени вы будете сталкиваться с характерными проблемами. И никакие приложения или калибровки вам не помогут. Нейросеть прошла обучение задолго до того, как вы впервые включили свой смартфон, а именно это больше всего влияет на качество работы алгоритма.
Конечно, иногда бывают банальные проблемы, решить которые очень просто. Например, это может быть чехол, который немного прикрывает сенсор или защитное стекло, которое сильно рассеивает ИК-излучение от светодиода. Сменив чехол или убрав стекло/пленку, вы улучшите работу датчика.
То же касается и виртуальных сенсоров. К примеру, Redmi Note 10 Pro использует ультразвуковые волны, которые одновременно выходят из фронтального динамика и верхнего торца. Если чехол прикрывает одно из этих отверстий, качество работы датчика заметно снизится.
Также могут встречаться ситуации, когда на смартфоне установлен нормальный датчик, в правильном месте, но всё работает крайне плохо. А причина банальна — плохое качество сборки, в результате чего датчик не плотно прилегает к стеклу или нарушена перегородка между лампочкой и фотодиодом. К слову, эта проблема часто встречается после замены экрана или даже после падения смартфона.
Поэтому главным решением проблемы с датчиком приближения является знание. Вы должны понимать суть проблемы и обращать внимание на то, какой именно сенсор используется в интересующей вас модели. А для этого необходимо читать хорошие обзоры, в которых внимание уделяется как раз таким моментам, а не очередным бесполезным тестам AnTuTu.
Разумеется, находятся эти обзоры здесь.
Алексей, главред Deep-Review
P.S. Не забудьте подписаться в Telegram на первый научно-популярный сайт о мобильных технологиях — Deep-Review, чтобы не пропустить очень интересные материалы, которые мы сейчас готовим!
Как бы вы оценили эту статью?
Нажмите на звездочку для оценки
Внизу страницы есть комментарии.
Напишите свое мнение там, чтобы его увидели все читатели!
Если Вы хотите только поставить оценку, укажите, что именно не так?