Что такое кинект камера

Обзор Microsoft Kinect: беспроводной контроллер нового поколения

Долой клубки проводов!

Идея беспроводных контроллеров давно будоражила умы масс, и разработчики охотно шли им навстречу. От обычных джойпадов, которые обменивались с ПК или консолями сигналами по радиоканалу, создатели устройств ввода постепенно перешли к более революционным решениям. Можно вспомнить, например, PlayStation EyeToy, который отслеживал движения игрока при помощи камеры, а затем совмещал полученные кадры с изображением на экране. В какой-то мере новый контроллер Microsoft — Kinect (в пору разработки известный как Project Natal) — основан именно на идеях того времени.

Мы дергаем руками и дрыгаем ногами

Для игры потребуется подключить датчики Kinect к Xbox 360, поставить устройство в зоне прямой видимости, и пройти несложную процедуру калибровки. Камера без труда обнаружит живого человека перед телевизором и создаст его аватар (и, кстати, распознает пол).

Именно на этом этапе вы столкнетесь с единственным ограничением, которое новый контроллер накладывает на игроков. Вам потребуется свободное, не сковывающее движений пространство — от 2 до 3 метров от экрана ТВ, шириной около 1,5—2 метров. Это не очень удобно, так как раньше, с геймпадом в руках, мы могли находиться где угодно, в помещении любого размера (и Microsoft не заставлял нас наводить порядок в комнате)!

С этого момента все управление, включая навигацию в меню, будет «завязано» на ваши жесты и слова. Да-да, Kinect распознает фразы, правда, самые простейшие, и пока только на английском и японском языках. Жители Западной Европы могут надеяться, что в ближайшее время выйдут языковые пакеты и для их стран, а вот россиянам придется подождать. Впрочем, не знающие английского в любой момент могут взять в руки классический джойпад и отдавать команды по старинке. Признаемся: иногда это удобнее, чем разговаривать «с самим собою» вслух, совершая при этом нелепые телодвижения.

Как работает Kinect?

Итак, мы движемся перед экраном, Kinect считывает информацию, а Xbox 360 обрабатывает ее, затрачивая на это около 10-15% процессорной мощности. Какие же данные передаются из черной глянцевой коробочки на консоль?

Источник

Kinect: жизнь до и после смерти Статьи редакции

Достижения и история контроллеров движения Microsoft от DTF.

Kinect мёртв. Microsoft больше не верит в устройство, с прошлого года компания перестал его выпускать, а с января сняла с производства адаптеры для Xbox One S и Xbox One X. А ведь когда-то из него пытались сделать конкурента Wii Remote. В первые месяцы после выхода контроллер движения даже бил рекорды продаж.

И хотя в игровой индустрии у Kinect нет будущего, он всё ещё полезен в других сферах, да и его технологию продолжают использовать отдельно. Сейчас в устройство продолжают верить по меньшей мере учёные, бизнесмены, врачи и организаторы выставок.

Первый намёк на контроллер движения для Xbox 360 появился ещё в 2007 году. На конференции D5 в совместном интервью со Стивом Джобсом Билл Гейтс говорит об управлении играми с помощью камеры. Что вскоре достаточно будет взять бейсбольную биту и взмахнуть ей перед специальной камерой, чтобы спортсмен повторил действие в виртуальном мире.

В следующем году в прессе появляются первые слухи о новом устройстве Microsoft. Инсайдеры сообщают, что компания работает над своим контроллером движения и собирается составить конкуренцию Nintendo Wii. В следующем обновлении дашборда Xbox 360 журналисты находят элементы интерфейса, адаптированные под новое устройство управления.

Слухи продолжили распространяться вплоть до E3 2009, где на своей конференции Microsoft представила сенсор Project Natal. Его возможности продемонстрировали на примере программы для рисования и технодемке Ricochet, в которой нужно отбивать мячи руками и ногами. Последняя позднее послужит основой для полноценной игры Kinect Adventures.

Устройство не нуждалось в дополнительных контроллерах. Оно отслеживало движения человека с помощью инфракрасного проектора и камеры с сенсором глубины, записывало голосовые команды на микрофон. Проектор светил множеством лучей, а камера рассчитывала расстояние до объектов и их движение. Таким образом жесты и слова управляли персонажем в игре.

Лучше остальных возможности Project Natal тогда отразило демо про мальчика Майло от студии Питера Молиньё. В показанном ролике девушка разговаривала с виртуальным пареньком, изображала, как ловит и надевает очки, брошенные мальчиком, рисовала изображение на бумаге, показывала его перед камерой и оно появлялось в виртуальном мире. Это был своего рода симулятор общения с человеком.

Это настоящая технология будущего. О таком даже в научной фантастике не писали.

Источник

Игровой контроллер Kinect – первое на рынке устройство для прямого трехмерного измерения

Выпущенный на рынок в ноябре 2010 года игровой контроллер Kinect является первым недорогим бытовым устройством для прямого дистанционного трехмерного измерения объектов и сцен. Я искренне благодарен компании Microsoft за этот шаг.

Совсем недавняя история

Первым устройством такого типа являлись любые разновидности радаров и сонаров, начиная от устройств системы ПВО и заканчивая парктроником на автомобиле. Если известна скорость распространения зондирующего импульса в среде, то умножение скорости на половину времени между моментами излучением и приема импульса даст расстояние от излучателя до объекта, который отразил сигнал. Ориентируя по-разному систему излучатель-приемник в пространстве, можно промерять набор расстояний до отражающих объектов в данном направлении.
Производство компактных твердотельных лазеров позволило создать системы измерения, которые в качестве зондирующего импульса использовали свет. Тот или иной механический способ ориентирования светового луча позволил таким системам производить последовательные измерения в пространственном секторе (или сканировать его, соответственно устройства измерения стали называться лазерными сканерами).

Любой сканер выдает набор трехмерных координат точек отражения лазерного луча относительно точки излучения. Представление в такой локальной системе координат является вполне достаточным для измерений локальных размеров вплоть до здания (стационарный сканер). Если же снабдить такой сканер достаточно точным GPS приемником и системой измерений его угловой ориентации по трем направлениям, то его можно устанавливать на самолет как аэросъемочный сканер или на на автомобиль как мобильный сканер.
Рабочей длиной волны сканеров является ближний инфракрасный свет с длиной волны около 1 мкм для авиационных сканеров (меньшее рассеивание в парах атмосферы) и больше 1 мкм для стационарных сканеров (более безопасно для зрения).
Результатом работы лазерных сканеров является облако трехмерных точек (point cloud).
Вся история лазерного сканирования произошла буквально «вот только что», прямо на моих глазах, и укладывается в 20 лет.

Достоинства и недостатки лазерного сканирования

Достоинств много:
— Прямой метод измерения трехмерных координат, в отличие от стереомтерии.
— Возможность измерять сквозь оптически прозрачные покровы. В частности, воздушное лазерное сканирование позволяет получать координаты рельефа под покровом растительности.
— Высокая производительность, что особенно важно для мобильных систем.
Но есть и недостатки, можно выделить три основных:
— Длительность процесса механического сканирования назначенного пространственного сектора (полного пространства для стационарного сканера, полосы или окружности для мобильного). К тому же дополнительные системы развертки могут вносить искажения в путь распространения луча, что требует отдельной обработки.
— Отсутствие яркостной информации. Современные сканеры позволяют измерять интенсивность отраженного света, что только в некоторой степени способно заменить яркостное изображение, но полностью не решают проблемы интерпретации точек отражения.
— Сочетание лазерного сканера с параллельным цифровым фотографированием позволяет получить яркостную характеристику сцены только косвенным методом путем проецирования фотографии на соответствующие участки облака точек. Особенно трудоемок это процесс для
— Большие габариты и энергопотребление, хотя в последнее время производители работают над этим вопросом. Этой зимой я видел электрический беспилотный вертолет с очень компактным сканером на борту, которым обследовали участок леса в Лапландии.

Очевидное решение

Совершенно очевидным подходом к дистанционному трехмерному измерению является использование оптической фокусирующей системы и цифровой матрицы. Если известны параметры оптической системы, то задача восстановления пространственного положения любого пришедшего на матрицу луча является тривиальной. Дело остается за тем, что бы создать вспышку света на корпусе измеряющего аппарата и каким-то образом измерить задержку в приходе отраженного от объекта света на каждый пиксель цифровой матрицы.
В 2006 году, на одной из отраслевых конференций, случилось обсуждение только что взошедшей звезды Google Maps вкупе с понятием «неогеографии». Практически каждое выступление сопровождалось упоминанием о необходимости перехода на истинно трехмерные текстурированные данные. Слушая докладчиков, я ясно ощутил, что лет через пять-семь портативные бытовые трехмерные камеры выйдут на рынок. Но сканерные решения на эту роль подходят плохо.
Идея нового решения приходила в голову многим, при этом инвестиционный план предлагался по одной и той же схеме: «сейчас вы нам дадите миллион (или десять, или сто), а мы вам аппарат через десять лет (или пять, или через год)». Мы не стали инвестировать.

А Microsoft вложилась

Весной 2009 года компания приобрела израильскую фирму 3DV Systems. Израильтяне до того выпустили на рынок свою дальномерную камеру ZCam и нацелились на рынок игровых контроллеров. Судя по всему, Microsoft оценила технологию, как перспективную и решила использовать ее для внедрения в новый контролер для игровой приставки Xbox 360, назвав эту разработку «проект Наталь»

Устройство дальнометрической камеры ZCam (по материалам из интернета)

Конструкция камеры позволяет отнести ее к так называемым «времяпролетным», что, по сути, означает параллельную реализацию указанных выше принципов.
Основными узлами камеры являются излучатель, оптическая система, специальная цифровая матрица и электронная измерительная и вычислительная система.
Необходимо отметить, что характерные размеры области измерений (несколько метров) и требуемая точность (несколько сантиметров) выдвигают очень жесткие требования к временной точности работы всех измерительных устройств.
Например, для обнаружения объекта, находящегося на расстоянии нескольких метров от камеры, характерное время запаздывания отражения составляет всего 10 нс (при скорости света c = 3 10 8 м/с). Соответственно, можно посчитать, что заявленная точность определения расстояния требует определять момент прихода отклика с точностью на два порядка больше. Характерные рабочие частоты электронной схемы лежат в области гигагерц.

Внешний вид объектива и вспышки

Общие принцип работы камеры

Излучатель создает очень короткую равнонаправленную световую вспышку (по длительности эквивалентную расстоянию в несколько метров, что определяет максимально дальность камеры, например 7.5 метров при длительности вспышки t₀ =50 нс). Рабочая длина волны составляет, скорее всего, 1.5 мкм. Отраженный от сцены свет возвращается обратно и фокусируется оптической системой так, что бы падать на цифровую матрицу.
Эта матрица имеет специальный тип и состоит из фотодиодов. При попадании света на фотодиод, он начинает вырабатывать ток, который через ключ передается на накопительные элементы (конденсаторы). В простейшем случае можно использовать два конденсатора
Первоначально заряжается первый конденсатор S₁, через 50 нс после начала световой вспышки ключ переключается на зарядку второго конденсатора S₂. Еще через 50 нс ключ переходит в нейтральное положение.
Через небольшой интервал весь процесс повторяется снова. Так как частота следования вспышек достаточно большая и всю сцену можно считать неподвижной, то заряды конденсаторов S₁ и S₂ накапливаются от вспышки к вспышке, тем самым повышая уровень сигнал/шум и увеличивая надежность расчета. Для накопления используются несколько тысяч циклов.
В результате, соотношение между зарядами S₁ и S₂ позволяет определить положение фронта отраженного импульса относительно вспышки. Окончательно рассчитать расстояние D вдоль луча, пришедшего к данному пикселю, можно по формуле

Временные диаграммы (из Википедии)

Согласно заявленным техническим характеристикам, контролер Kinetic поддерживает рабочий диапазон дальностей от 1 до 6 метров и имеет поле зрения примерно 50 угловых градусов в обоих направлениях. Разрешение дальномерной матрицы невелико и составляет, скорее всего, 320 х 240 пикселей.
Одновременно со сбором дальностной информацией, обычная цифровая матрица выполняет видеосъемку сцены.

Облака точек как результат работы Kinect

Недостатки схемы

Ими являются паразитная засветка, которая может превышать яркость вспышки и множественные отражения света, что дает фальшивые точки отражений. В принципе, бороться с этим можно, вводя ту или иную модуляцию сигнала для выделения его из фона.

Источник

Что такое Kinect для Xbox?

Kinect – аксессуар для консоли Xbox 360, который представляет собой видеокамеру и два сенсора, расположенных в верхней части девайса. Кинет «видит» движения пользователей в пространстве, и это позволяет играть в игры без каких-либо контроллеров (джойстиков).

Например, играете вы в бейсбол и вам нужно отбить мяч битой. Делаете характерное движение физически, и персонаж на экране повторяет его, отбивая или промахиваясь по мячу – все зависит от правильности и своевременности вашего движения.

Это упрощено. Технически кинект довольно сложный аксессуар. Здесь задействуются два сенсора:

Между этими сенсорами находится камера – она распознает лица, может делать фотоснимки и снимать видео (например, для видеочата).

Технология эта, кстати, не нова. В статье о выборе игровой приставки мы рассматривали консоль Nintendo Wii со своей уникальной технологией управления Wiimote. В свое время Nintendo Wii была революционной приставкой благодаря Wiimote и возможностью управлять приставкой телодвижениями. Сегодня Kinect – это почти тот же Wiimote, но он для консоли Xbox 360.

Наглядное представление о работе Kinect на видео ниже:

Преимущества и недостатки

На видео это уже было сказано, но нам несложно повториться. Kinect – отличное дополнение для времяпровождения с друзьями. Часто интересно посоревноваться в виртуальный бокс или гонки, физически стараясь при этом победить, а не жать на кнопки джойстика. Однако самому играть в игры с помощью кинекта скучно.

Кинект-игры настолько однообразны, что надоедают примерно через 30 минут. Геймплей при этом слаб – вам нужно делать почти одни и те же движения почти всю игру, а когда приставка неправильно распознает движение (а такое бывает), это жутко раздражает.

Увы, но на данный момент нет хороших сюжетных игр, в которые было бы интересно играть с помощью кинекта, и это самый главный недостаток. Заядлые геймер, который ценит игру как произведение искусства, вообще не воспринимает сей девайс всерьез, а вот папа с сыном или дочкой вполне может поиграть и «убить время», когда нечего делать. Вот что такое Kinect.

В принципе, сей аксессуар неплохо расширяет стандартные возможности консоли Xbox, но не стоит ждать чего-нибудь революционного. Технология давно известна, и с момента появление Wiimote от Nintendo Wii почти ничего нового в плане игр разработчики не придумали.

Источник

Kinect превратился в устройство для охоты на призраков

Ubisoft представила площадку Quartz для торговли внутриигровыми предметами в формате NFT

«Это непростительно»: Игроки раскритиковали создателей Marvel’s Spider-Man за эксклюзивность новых костюмов для PS5-версии

Начался третий этап голосования за лучшую игру года на The Game Awards 2021 — Halo Infinite пока лидирует

Глава Xbox Фил Спенсер: я не трачу энергию на консольные войны

Больше игр для Xbox Game Pass анонсируют на The Game Awards 2021 — они станут доступны подписчикам в день релиза

Final Fantasy VII Remake

Xbox Game Pass (Ultimate)

Домик чаепития GM™: живо беседуем о JRPG

Камера была замечена в таких шоу, как Paranormal Lockdown, Ghost Adventures и Ghost Hunters. Многие сыщики на YouTube также используют Kinect не только ради запечатления, но и для общения с призраками.

Концепция довольно проста. Kinect был создан для отслеживания даже малейших движений. Он может видеть как в видимом диапазоне, так и в инфракрасном. Кроме того, Kinect может похвастаться чем-то вроде тепловизионной камеры, что позволяет ему различать людей и предметы. Благодаря простоте и цене, охотники с радостью принялись его использовать, причем не только версию 2.0, но и оригинальную.

Kinect уже используют для развлечения орангутанов, в медицине, на границах и таможнях стран, и во многих других сферах. Теперь и в «охоте за приведениями».

Подписывайтесь на наш Telegram канал, там мы публикуем то, что не попадает в новостную ленту, и следите за нами в сети:

Источник