RedEye, новая технология от Efficient Computing Group Риса, которая была представлена сегодня на Международном Симпозиуме по Архитектуре ЭВМ (ISCA 2016) конференция в Сеуле, Южная Корея, мог предоставить компьютерам непрерывное видение – первый шаг к разрешению устройств видеть то, что их владельцы видят и отслеживают то, что они должны помнить.«Понятие должно позволить нашим компьютерам помогать нам, показав им, что мы видим в течение дня», заявил лидер группы Линь Чжун, преподаватель электротехники и вычислительной техники в Rice и соавторе нового исследования о RedEye. «Это было бы похоже на наличие личного помощника, который может помнить кого-то, кого Вы встретили, где Вы встретили их, что они сказали Вам и другой определенной информации как цены, даты и времена».Чжун сказал, что RedEye – пример вида технологии, которую вычислительная промышленность разрабатывает для использования с носимыми, оставляющими руки свободными, постоянными устройствами, которые разработаны, чтобы поддержать людей в их повседневных жизнях. Тенденция, которая иногда упоминается как «распространяющееся вычисление» или «окружающая разведка», сосредотачивается на технологии, которая может признать и даже ожидать то, в чем кто-то нуждается, и обеспечьте его сразу же.
«Вычислительное распространяющимся образом движение предвидит устройства, которые являются личными помощниками, которые помогают нам большими и маленькими способами в почти каждый момент наших жизней», сказал Чжун. «Но ключевой инструмент реализации этой технологии оборудует наши устройства, чтобы видеть то, что мы видим и слышим то, что мы слышим. Запах, вкус и прикосновение могут прибыть позже, но видение и звук будут начальными сенсорными исходными данными».Чжун сказал, что узкое место для непрерывного видения – потребление энергии, потому что сегодняшние лучшие камеры смартфона, хотя относительно недорогой, являются убийцами батареи, особенно когда они обрабатывают видео в реальном времени.
Чжун и бывший аспирант Райса Роберт, LiKamWa начал изучать проблему летом 2012 года, когда они работали в Microsoft Research’s Mobility and Networking Research Group в Редмонде, Вашингтон, в сотрудничестве с директором группы и Microsoft Distinguished Scientist Victor Bahl. LiKamWa заявил, что команда измерила энергетические профили коммерчески доступных, стандартных светочувствительных матриц и решила, что существующая технология должна будет быть приблизительно в 100 раз более энергосберегающей для непрерывного видения, чтобы стать коммерчески жизнеспособной. Это было мотивацией позади докторского тезиса LiKamWa, который преследует поддержку программного и аппаратного обеспечения эффективного компьютерного видения.В отмеченной наградой газете год спустя, LiKamWa, Чжун, Bahl и коллеги показали, что они могли улучшить потребление энергии стандартных светочувствительных матриц в десять раз просто посредством оптимизации программного обеспечения.
«RedEye вырос от того, что, потому что нам все еще было нужно другое десятикратное улучшение энергоэффективности, и мы знали, что должны будем перепроектировать обоих аппаратное и программное обеспечение, чтобы достигнуть этого», заявил LiKamWa.Он сказал, что энергетическое узкое место было преобразованием изображений от аналога до цифрового формата.«Реальные сигналы – аналог, и преобразование их к цифровым сигналам дорогое с точки зрения энергии», сказал он. «Есть физический предел тому, какого количества энергосбережений Вы можете достигнуть для того преобразования.
Мы решили, что лучший выбор мог бы состоять в том, чтобы проанализировать сигналы, в то время как они были все еще аналоговыми».Главный недостаток обработки аналоговых сигналов – и причины, цифровое преобразование – стандартный первый шаг для большинства систем обработки изображения сегодня – состоит в том, что аналоговые сигналы неотъемлемо шумные, заявил LiKamWa. Чтобы сделать RedEye привлекательным для производителей устройств, команда должна была продемонстрировать, что она могла достоверно интерпретировать аналоговые сигналы.«Мы должны были показать, что могли сказать кошку от собаки, например, или стол со стула», сказал он.
Рисовый аспирант Юнхуи, Как и студенты Миа Полэнски и Юань Гао были также члены команды, которая решила приняться за решение проблемы, используя комбинацию последних методов от машинного обучения, системной архитектуры и проектирования схем. В случае машинного обучения RedEye использует технику, названную «сверточной нейронной сетью», алгоритмическая структура, вдохновленная организацией зрительной зоны коры головного мозга животных.LiKamWa заявил, Как принесенные новые идеи имели отношение к системному проектированию схем архитектуры на основе предыдущего опыта, работающего со специализированными процессорами, названными аналого-цифровыми конвертерами в Гонконгском университете науки и технологии.«Мы заставили идеи отскочить друг от друга относительно архитектуры и проектирования схем, и мы начали понимать возможности для того, чтобы сделать рано обработку, чтобы собрать ключевую информацию в аналоговой области», заявил LiKamWa.
«Обычные системы извлекают все изображение через аналого-цифровой конвертер и проводят обработку изображения на цифровом файле», сказал он. «Если Вы можете переместить ту обработку в аналоговую область, тогда у Вас будет намного меньшая пропускная способность данных, что Вы должны отправить через это узкое место ADC».LiKamWa заявил, что сверточные нейронные сети – современный способ выполнить распознавание объектов, и комбинация этих методов с обработкой аналоговой области представляет некоторые уникальные преимущества частной жизни для RedEye.«Результат – то, что мы можем признать объекты – как кошки, собаки, ключи, телефоны, компьютеры, лица, и т.д. – на самом деле не смотря на само изображение», сказал он. «Мы просто смотрим на аналоговый выход от датчика видения.
У нас есть понимание того, что там, не имея фактического изображения. Это увеличивает энергоэффективность, потому что мы можем оцифровать только изображения, которые стоят израсходовать энергию создать. Это также может помочь с последствиями частной жизни, потому что мы можем определить ряд правил, где система автоматически откажется от сырого изображения после того, как это закончило обрабатывать.
То изображение никогда не было бы восстанавливаемым. Так, если есть времена, места или конкретные цели, пользователь не хочет делать запись – и не хочет, чтобы система помнила – мы должны проектировать механизмы, чтобы гарантировать, что фотографии тех вещей никогда не создаются во-первых».Чжун сказал, что исследование в области RedEye продолжается.
Он сказал, что команда работает над расположением схемы для архитектуры RedEye, которая может использоваться, чтобы проверить на проблемы расположения, составляющее несоответствие, перекрестную связь сигнала и другие проблемы аппаратных средств. Работа также продолжается, чтобы улучшить работу при слабом освещении окружающая среда и другие параметры настройки с низкими отношениями сигнал-шум, сказал он.