Тонкая настройка IM-клиента Spark / Habr

Мы у себя в сети несколько лет успешно и стабильно используем связку OpenFire + Spark с 200 активными пользователями (с учетом удаленных подключений). IM-клиент Spark принят в качестве корпоративного стандарта для системы мгновенного обмена сообщениями. Не вдаваясь в причины выбора, хочу поделится тонкостями его настройки для конечного пользователя. Процесс будет описан на примере установленного пакета Spark 2.7.0 для ОС Windows 7.

В установленном каталоге находим файл spark.jar (C:/Program Files/Spark/lib/spark.jar), открываем его любым архиватором (IzArc), далее любым текстовым редактором (Notepad++) открываем файл «spark.jar/org/jivesoftware/resource/default.properties». Необходимо учесть, что файл «spark.jar» перезаписывается после каждой переустановки или обновлении IM-клиента Spark, поэтому его необходимо снова заменить (при переустановке) или сделать новый (в случае смены версии) на компьютерах всех своих пользователей. Итак, приступим…

Раздел «Окно приглашения»

# изменения стартового изображения и название приложения
# размер изображения должен быть 244х188 пикселя
MAIN_IMAGE = images/spark.gif
APPLICATION_NAME = Spark

# указываем фиксированное имя сервера
HOST_NAME = SRV5-VM1

# установка значения «true» запретит пользователям изменить имя сервера
HOST_NAME_CHANGE_DISABLED = true

# настройки Proxy, доступные протоколы HTTP или SOCKS, чувствительны к регистру!!!
PROXY_PROTOCOL = SOCKS
PROXY_HOST = myProxy.ru
PROXY_PORT = 8080

# удаление кнопки создания учетной записи с формы загрузки
# пользователи не смогут создавать новый учетные записи в Spark
ACCOUNT_DISABLED = true

# удаление кнопки дополнительных настроек с формы загрузки
# пользователи не будут иметь доступ к дополнительным настройкам
ADVANCED_DISABLED = true

# добавление логотипа компании, он будет отображается в правом верхнем углу основного окна

# изображение должно быть размещено в папке src/resource/images, путь должен быть «images/file.jpg» или «images/file.png»
BRANDED_IMAGE = images/our-logo.png

# можно отключить возможность обновления
DISABLE_UPDATES = true

# отключаем возможность закрытия Spark
DISABLE_EXIT = true

Раздел «Передача файлов»

# определяем размер, при котором пользователи будут получать сообщение о слишком большом файле
# 10 Мб = 10485760
# 100 Мб = 104857600
# 1 Гб = 1073741824
# по-умолчанию = -1 (бесконечность)
# максимально 9223372036854775806 байт = 8388608 Тб
FILE_TRANSFER_WARNING_SIZE = 10485760

# определяем максимальный размер файла, который пользователь может отправить
FILE_TRANSFER_MAXIMUM_SIZE = 20971520

Раздел «Settings Window»

# отключаем возможность добавления контактов в Spark
ADD_CONTACT_DISABLED = true

# отключаем возможность добавления групп в Spark
ADD_CONTACT_GROUP_DISABLED = true

# запретить пользователю менять пароль
CHANGE_PASSWORD_DISABLED = true

# расположение руководства пользователя, по-умолчанию www.igniterealtime.org/builds/spark/docs/spark_user_guide.pdf
HELP_USER_GUIDE = ссылка на руководство пользователя на корпоративном сайте

# отображать меню руководства пользователя или нет
HELP_USER_GUIDE_DISABLED =

# расположение форума помощи, по-умолчанию www.igniterealtime.org/forum/forum.jspa?forumID=49
HELP_FORUM = ссылка на форум помощи на корпоративном сайте

# отображать меню форума помощи или нет
HELP_FORUM_DISABLED =

# следующий текст будет отображаться вместо «Spark forum»
# если оставить пустым, значение будет по-умолчанию

HELP_FORUM_TEXT =

Раздел «Плагины»

# отключение возможности установки плагинов
INSTALL_PLUGINS_DISABLED = true
# отключение возможности удаления плагинов
DEINSTALL_PLUGINS_DISABLED = true

# для того чтобы сделать плагин(ы) недоступным(и), укажите названия через запятую, написание чувствительно к регистру!!!
# названия плагинов можно найти в файле «plugin.xml»
# например: Fastpath,Jingle Client,Phone Client,Window Flashing Plugin
# значение по-умолчанию пустое
PLUGIN_BLACKLIST = Fastpath

# для того чтобы сделать плагин(ы) недоступным(и) с помощью классов, укажите их названия через запятую, написание чувствительно к регистру!!!
# например: org.jivesoftware.fastpath.FastpathPlugin
# значение по-умолчанию пустое
PLUGIN_BLACKLIST_CLASS = org.jivesoftware.spark.translator.TranslatorPlugin

Два последних пункта полностью сделают недоступным все плагины с именем Fastpath и все плагины с org.jivesoftware.spark.translator.TranslatorPlugin.

Раздел «Цвета и Внешний вид»

# по-умолчанию, сервер рассылок получает свой собственный JFrame, который содержит сообщение
# при этом могут использоваться HTML-тэги для жирного, наклонного или подчеркнутого текста
# если вы хотите чтобы сообщения рассылки выглядели как остальные сообщения, установите значение «true»
BROADCAST_IN_CHATWINDOW = true

# сделать недоступным изменение внешнего вида
# изменить настройки внешнего вида можно в «Настройки»->«Внешний вид»
LOOK_AND_FEEL_DISABLED = true

# сделать недоступным изменение цветов
# изменить настройки цветов можно в «Настройки»->«Внешний вид»->«Цвета»
CHANGE_COLORS_DISABLED = true

# изменение внешнего вида, по-умолчанию внешний вид SubstanceBusinessBlueSteelLookAndFeel
DEFAULT_LOOK_AND_FEEL

= com.jtattoo.plaf.luna.LunaLookAndFeel

# установка текста выпадающего меню, работает только при установке внешних видов JTattoo
MENUBAR_TEXT = «Название компании»

В данной статье описаны не все параметры, имеющиеся в файле «default.properties», однако не сложно будет понять, за что отвечает тот или иной параметр, судя по их названиям.

Spark установка и настройка Часть 4

Openfire — XMPP-сервер, являющийся кроссплатформенным программным обеспечением. Jabber сервер написан на Java (раньше было название Wildfire) под управлением Jetty. Данный продукт разрабатывается и поддерживается с 2002 года. 

Администрируется сервер с помощью удобной веб-панели, поддерживает плагины, которые также написаны на Java (плагины могут быть загружены через веб-интерфейс или непосредственно плагин копируется в папку для плагинов сервера Openfire и тогда происходит автоматическая установка плагина). Имеется поддержка WEB-клиента, кластеризация (возможно сделать несколько серверов для работы с распределенной базой данных, таким образом поддерживается работа несколько десятков тыс. одновременных пользователей. Имеется поддержка шифрования (поддержка SSL/TLS). Для хранения профилей пользователей Openfire работает с базами данных, прежде всего встраиваемая база данных HSQLDB, но рекомендуется использовать полноценную СУБД — это MySQL, PostgreSQL, а также Microsoft SQL Server, IBM DB2, Adaptive Server Enterprise. Имеется интеграция с LDAP. 

Работает сервер Openfire c различными клиентами, прежде всего это Spark, также Miranda IM, Pandion, Trillian Pro, Psi, Pidgin, QIP Infum и др.

 

Установим клиента (Spark) для работы с сервером openfire.

 

1. Нажимаем «Next»:

2. Выбираем каталог для установки программы (оставляем по умолчанию) и нажимаем «Next»:

3. В следующем двух окнах снова нажимаем «Next»:

 

 

4. В конце установки нажимаем финиш и программа Spark запускается. Заполняем соответствующие поля и нажимаем «

Войти«:

Имя пользователя: логин пользователя

Пароль: пароль пользователя

Сервер: имя или IP адрес сервера openfire

5. Запускается программа и появляются пользователи, которые были настроены на сервере openfire:

 

Также посмотреть что и как устанавливать можно здесь:

 

 

Как создать маску в Instagram | GeekBrains

Пошаговая инструкция с комментариями дизайнера.

https://d2xzmw6cctk25h.cloudfront.net/post/2022/og_image/e57d4ce6c9bfc9a3d4071c0350dfdee1.png

AR-маски, популярные сейчас в Instagram, на самом деле появились намного раньше. В 2015 году их увидели пользователи приложения MSQRD, позже они пришли в Snapchat. За пару лет маски стали использоваться гораздо шире, чем просто для развлечения: маски активно используются в рекламе, блогеры с их помощью продвигают аккаунты. Также маски могут привлечь внимание к интересным проектам и социальным проблемам.

После того как Instagram открыл доступ к созданию масок всем пользователям, сделать их может любой — и даже специальных технических знаний не потребуется. Совместно с дизайнером GeekBrains Германом Шаловым мы дадим базовую инструкцию, как сделать маску в инстаграме самому.

Скачайте программу Spark AR Studio

Spark AR Studio — это AR-среда Facebook. В ней создают маски на основе нужной текстуры, подготовленной в Photoshop или любом графическом редакторе, который работает с альфа-каналами (прозрачностью). Чтобы создать маску в инстаграме самому, необходима программа Spark AR Studio, которая есть в версиях для компьютера (macOS, Windows) и смартфона (iOS, Android). Рекомендуем скачать обе версии — на смартфоне удобно сразу же тестировать результат

.

Соедините Spark AR на десктопе и смартфоне

Запустите Spark AR Studio. Вас встретит набор предустановленных эффектов и масок — на их примере можно посмотреть некоторые принципы работы. Но изменять пресеты нужно аккуратно: обычно это рушит установленные зависимости объектов, и маска может заработать неверно.

Программа похожа на Photoshop и другие проекты Adobe, поэтому ориентироваться в ней несложно. По центру — окно Viewport, рабочая область, где будет отображаться маска и все манипуляции с ней.

В правом верхнем углу расположено окно Simulator — здесь вы увидите, как маска будет выглядеть на смартфоне. По умолчанию установлена одна модель девайса, но ее можно менять, чтобы посмотреть на маску в разных вариантах.

Чтобы протестировать маску перед загрузкой в Instagram, нужно подключиться к Spark AR Hub — это творческая среда от Facebook для авторов масок. Для этого создайте публичную ссылку для тестирования или соедините Spark AR с подключенным к компьютеру смартфоном:

• присоедините смартфон USB-кабелем к компьютеру; 
• нажмите Test on device и выберите, где хотите увидеть маску — Facebook или Instagram. Если выберете второй вариант, получите ссылку, которой можно поделиться или отправить на нужный гаджет. Загружать маски на обе площадки пока нельзя; 

• откройте приложение Spark AR на смартфоне.

Создайте трекер лица в Photoshop или загрузите готовый

Маска состоит из трех компонентов: FaceTracker, текстура и материал (эффект, который вы хотите увидеть в маске). Текстуру можно подготовить самому или скачать заранее. Если у вас нет Photoshop или не хочется возиться с этим — скачайте готовую текстуру и пропустите этот шаг. 

Если готовы подготовить ее сами, переместитесь в Photoshop или Figma. Дальше порядок действий такой:

• Скачайте и откройте папку Textures из инструкции для разработчиков. Выберите один из файлов — faceFeminine.jpg для женских лиц и faceMasculine.jpg для мужских — и откройте в программе.
• Новым слоем поверх схемы лица с помощью Transform добавьте нужные эффекты и рисунки — они должны идти поверх слоя с лицом, чтобы результат был виден сразу. Все, что выходит за границы схемы лица, не будет отображаться на человеке. 
• Выключите или удалите слой с лицом, сохраните результат в PNG — только этот формат поддерживает прозрачность. Важно сохранить только эффект, без схемы лица.

Как создать свою маску в Инстаграме

Снова переместитесь в Spark AR и создайте проект: нажмите Create project. Затем загрузите в программу текстуру — перетащите ее в Assets в нижний правый угол, и текстура автоматически отобразится в разделе Texture.

Далее перейдите в рабочее пространство для создания маски — Insert → Scene. Вы будете работать с функциями FaceTracker и FaceMesh. Первая отслеживает движение лица и мимику, вторая — 3D-объект, который синхронизируется с трекером и содержит ваши текстуры с эффектами. 

Нажмите Scene → FaceTracker → Insert, затем Scene → FaceMesh → Insert. Эта связка, именно в такой последовательности, поможет привязать маску к мимике и движениям лица. Следите, чтобы трекер был вложен в последовательность папок: device / camera / focal distance. FaceMesh должен быть внутри device / camera / focal distance / facetracker.

Дальше создаем материал для маски. В окне Assets кликните +add asset в правом нижнем углу, затем нажмите Material. Выберите тип нанесения (Shader Type) — например, Retouching сглаживает кожу, а Flat не отражает свет и удобен для рисунков на лице. В большинстве случаев подходит Face paint: он учитывает рельеф и форму лица и органично наносит на него рисунок.

Свяжите FaceTracker с материалом: в правом меню кликните Material, затем Texture и выберите текстуру. Рисунок появится на модели в рабочей области. Маска почти готова.

К маске можно добавить анимацию. Перейдите во вкладку View → Patch editor. Протестируем такой сценарий: маска появляется вместе с улыбкой человека. Что нужно для этого сделать:

•  в поле Patch editor перенести эффект Face Tracker — в рабочей области отобразятся его свойства; 
•  выбрать параметр Smile и связать его с эффектом; 
•  во вкладке Scene выбрать объект и кликнуть на стрелку рядом с пунктом Visible; 
•  получившийся объект связать с объектом Smile. 

В итоге создается созависимая цепочка эффектов, благодаря которой отобразятся три эффекта, когда человек улыбнется.

Для начала вам хватит дефолтных материалов, которые предлагают в программе. А когда наловчитесь работать со Spark AR, сможете создать авторскую маску. 

Протестируйте маску

Нажмите кнопку Test on device, о которой мы говорили в первом пункте инструкции, и подождите, пока программа передаст данные на смартфон. Когда появится маска, протестируйте ее в разных положениях лица: улыбнитесь, покрутите головой влево-вправо, вверх-вниз. Проверьте маску при разном освещении и фонах: если вы делали ретуширование лица, оцените, как эффект работает при недостаточном свете.

Если маска слетает при движении, внесите изменения и протестируйте еще раз. Затем переходите к экспорту.

Экспортируйте маску

Здесь все просто: в левом нижнем углу экрана найдите кнопку Export и выберите папку, в которую нужно сохранить маску. Если маска весит больше, чем нужно (допускается 10 Мб, но желательно 2 Мб и меньше), программа предупредит об этом перед экспортом. Обратите внимание, что в Instagram нужно выгрузить именно этот файл, а не файл проекта. 

Как добавить маску в Инстаграм

Заключительный шаг: перейдите в Spark AR Hub и загрузите маску, следуя инструкции. Кроме самой маски, нужна еще иконка для нее — требования к иконке есть на сайте Spark AR.

Если хотите официально выложить маску в Facebook или Instagram, нужно записать демо-видео. В ролике расскажите или покажите, как работает эффект, и уложитесь в 15 секунд. Видео должно быть качественным — оно будет отображаться чем-то вроде обложки раздела с масками в вашем аккаунте.

Дождитесь, пока модераторы проверят маску. После этого она появится во вкладке «Галерея эффектов» в окне записи stories в Instagram.

Пока ждете проверку, маской легко делиться с кем угодно через ссылку. Ее можно открыть 200 раз, после чего придется создать новую ссылку. Там же, в AR Hub, можно на 60 минут закрепить маску в вашем инстаграм-аккаунте.

Как сделать маску в Инстаграме? Совсем несложно! — успех во многом зависит от того, какую текстуру для маски вы предварительно подготовили. На факультете графического дизайна GeekUniversity вы научитесь создавать не только качественные текстуры для масок, но и множество других вещей — от простейших иллюстраций до масштабных фирменных стилей. Присоединяйтесь!

Знакомство с Apache Spark / Издательский дом «Питер» corporate blog / Habr

Здравствуйте, уважаемые читатели!

Мы наконец-то приступаем к переводу серьезной книги о фреймворке Spark:

Сегодня мы предлагаем вашему вниманию перевод обзорной статьи о возможностях Spark, которую, полагаем, можно с полным правом назвать слегка потрясающей.

Я впервые услышал о Spark в конце 2013 года, когда заинтересовался Scala – именно на этом языке написан Spark. Несколько позже я принялся ради интереса разрабатывать проект из области Data Science, посвященный прогнозированию выживаемости пассажиров «Титаника». Оказалось, это отличный способ познакомиться с программированием на Spark и его концепциями. Настоятельно рекомендую познакомиться с ним всем начинающим Spark-разработчикам.

Сегодня Spark применяется во многих крупнейших компаниях, таких, как Amazon, eBay и Yahoo! Многие организации эксплуатируют Spark в кластерах, включающих тысячи узлов. Согласно FAQ по Spark, в крупнейшем из таких кластеров насчитывается более 8000 узлов. Действительно, Spark – такая технология, которую стоит взять на заметку и изучить.

В этой статье предлагается знакомство со Spark, приводятся примеры использования и образцы кода.

Что такое Apache Spark? Введение

Spark – это проект Apache, который позиционируется как инструмент для «молниеносных кластерных вычислений». Проект разрабатывается процветающим свободным сообществом, в настоящий момент является наиболее активным из проектов Apache.

Spark предоставляет быструю и универсальную платформу для обработки данных. По сравнению с Hadoop Spark ускоряет работу программ в памяти более чем в 100 раз, а на диске – более чем в 10 раз.

Кроме того, код на Spark пишется быстрее, поскольку здесь в вашем распоряжении будет более 80 высокоуровневых операторов. Чтобы оценить это, давайте рассмотрим аналог “Hello World!” из мира BigData: пример с подсчетом слов (Word Count). Программа, написанная на Java для MapReduce, содержала бы около 50 строк кода, а на Spark (Scala) нам потребуется всего лишь:

sparkContext.textFile("hdfs://...")
            .flatMap(line => line.split(" "))
            .map(word => (word, 1)).reduceByKey(_ + _)
            .saveAsTextFile("hdfs://...")

При изучении Apache Spark стоит отметить еще один немаловажный аспект: здесь предоставляется готовая интерактивная оболочка (REPL). При помощи REPL можно протестировать результат выполнения каждой строки кода без необходимости сначала программировать и выполнять все задание целиком. Поэтому написать готовый код удается гораздо быстрее, кроме того, обеспечивается ситуативный анализ данных.

Кроме того, Spark имеет следующие ключевые черты:

• В настоящее время предоставляет API для Scala, Java и Python, также готовится поддержка других языков (например, R)
• Хорошо интегрируется с экосистемой Hadoop и источниками данных (HDFS, Amazon S3, Hive, HBase, Cassandra, etc.)
• Может работать на кластерах под управлением Hadoop YARN или Apache Mesos, а также работать в автономном режиме

Ядро Spark дополняется набором мощных высокоуровневых библиотек, которые бесшовно стыкуются с ним в рамках того же приложения. В настоящее время к таким библиотекам относятся SparkSQL, Spark Streaming, MLlib (для машинного обучения) и GraphX – все они будут подробно рассмотрены в этой статье. Сейчас также разрабатываются другие библиотеки и расширения Spark.

Ядро Spark
Ядро Spark – это базовый движок для крупномасштабной параллельной и распределенной обработки данных. Ядро отвечает за:

• управление памятью и восстановление после отказов
• планирование, распределение и отслеживание заданий кластере
• взаимодействие с системами хранения данных

В Spark вводится концепция RDD (устойчивый распределенный набор данных) – неизменяемая отказоустойчивая распределенная коллекция объектов, которые можно обрабатывать параллельно. В RDD могут содержаться объекты любых типов; RDD создается путем загрузки внешнего набора данных или распределения коллекции из основной программы (driver program). В RDD поддерживаются операции двух типов:

• Трансформации – это операции (например, отображение, фильтрация, объединение и т.д.), совершаемые над RDD; результатом трансформации становится новый RDD, содержащий ее результат.
• Действия – это операции (например, редукция, подсчет и т.д.), возвращающие значение, получаемое в результате некоторых вычислений в RDD.

Трансформации в Spark осуществляются в «ленивом» режиме — то есть, результат не вычисляется сразу после трансформации. Вместо этого они просто «запоминают» операцию, которую следует произвести, и набор данных (напр., файл), над которым нужно совершить операцию. Вычисление трансформаций происходит только тогда, когда вызывается действие, и его результат возвращается основной программе. Благодаря такому дизайну повышается эффективность Spark. Например, если большой файл был преобразован различными способами и передан первому действию, то Spark обработает и вернет результат лишь для первой строки, а не станет прорабатывать таким образом весь файл.

По умолчанию каждый трансформированный RDD может перевычисляться всякий раз, когда вы выполняете над ним новое действие. Однако RDD также можно долговременно хранить в памяти, используя для этого метод хранения или кэширования; в таком случае Spark будет держать нужные элементы на кластере, и вы сможете запрашивать их гораздо быстрее.

SparkSQL

SparkSQL – это компонент Spark, поддерживающий запрашивание данных либо при помощи SQL, либо посредством Hive Query Language. Библиотека возникла как порт Apache Hive для работы поверх Spark (вместо MapReduce), а сейчас уже интегрирована со стеком Spark. Она не только обеспечивает поддержку различных источников данных, но и позволяет переплетать SQL-запросы с трансформациями кода; получается очень мощный инструмент. Ниже приведен пример Hive-совместимого запроса:

// sc – это существующий SparkContext.
val sqlContext = new org.apache.spark.sql.hive.HiveContext(sc)

sqlContext.sql("CREATE TABLE IF NOT EXISTS src (key INT, value STRING)")
sqlContext.sql("LOAD DATA LOCAL INPATH 'examples/src/main/resources/kv1.txt' INTO TABLE src")

// Запросы формулируются на HiveQL
sqlContext.sql("FROM src SELECT key, value").collect().foreach(println)

Spark Streaming

Spark Streaming поддерживает обработку потоковых данных в реальном времени; такими данными могут быть файлы логов рабочего веб-сервера (напр. Apache Flume и HDFS/S3), информация из соцсетей, например, Twitter, а также различные очереди сообщений вроде Kafka. «Под капотом» Spark Streaming получает входные потоки данных и разбивает данные на пакеты. Далее они обрабатываются движком Spark, после чего генерируется конечный поток данных (также в пакетной форме) как показано ниже.

API Spark Streaming точно соответствует API Spark Core, поэтому программисты без труда могут одновременно работать и с пакетными, и с потоковыми данными.

MLlib

MLlib – это библиотека для машинного обучения, предоставляющая различные алгоритмы, разработанные для горизонтального масштабирования на кластере в целях классификации, регрессии, кластеризации, совместной фильтрации и т.д. Некоторые из этих алгоритмов работают и с потоковыми данными — например, линейная регрессия с использованием обычного метода наименьших квадратов или кластеризация по методу k-средних (список вскоре расширится). Apache Mahout (библиотека машинного обучения для Hadoop) уже ушла от MapReduce, теперь ее разработка ведется совместно с Spark MLlib.

GraphX

GraphX – это библиотека для манипуляций над графами и выполнения с ними параллельных операций. Библиотека предоставляет универсальный инструмент для ETL, исследовательского анализа и итерационных вычислений на основе графов. Кроме встроенных операций для манипуляций над графами здесь также предоставляется библиотека обычных алгоритмов для работы с графами, например, PageRank.

Как использовать Apache Spark: пример с обнаружением событий

Теперь, когда мы разобрались, что такое Apache Spark, давайте подумаем, какие задачи и проблемы будут решаться с его помощью наиболее эффективно.

Недавно мне попалась статья об эксперименте по регистрации землетрясений путем анализа потока Twitter. Кстати, в статье было продемонстрировано, что этот метод позволяет узнать о землетрясении более оперативно, чем по сводкам Японского Метеорологического Агентства. Хотя технология, описанная в статье, и не похожа на Spark, этот пример кажется мне интересным именно в контексте Spark: он показывает, как можно работать с упрощенными фрагментами кода и без кода-клея.

Во-первых, потребуется отфильтровать те твиты, которые кажутся нам релевантными – например, с упоминанием «землетрясения» или «толчков». Это можно легко сделать при помощи Spark Streaming, вот так:

TwitterUtils.createStream(...)
            .filter(_.getText.contains("earthquake") || _.getText.contains("shaking"))

Затем нам потребуется произвести определенный семантический анализ твитов, чтобы определить, актуальны ли те толчки, о которых в них говорится. Вероятно, такие твиты, как «Землетрясение!» или «Сейчас трясет» будут считаться положительными результатами, а «Я на сейсмологической конференции» или «Вчера ужасно трясло» — отрицательными. Авторы статьи использовали для этой цели метод опорных векторов (SVM). Мы поступим также, только реализуем еще и потоковую версию. Полученный в результате образец кода из MLlib выглядел бы примерно так:

// Готовим данные о твитах, касающихся землетрясения, и загружаем их в формате LIBSVM
val data = MLUtils.loadLibSVMFile(sc, "sample_earthquate_tweets.txt")

// Разбиваем данные на тренировочные (60%) и тестовые (40%).
val splits = data.randomSplit(Array(0.6, 0.4), seed = 11L)
val training = splits(0).cache()
val test = splits(1)

// Запускаем тренировочный алгоритм, чтобы построить модель
val numIterations = 100
val model = SVMWithSGD.train(training, numIterations)

// Очищаем пороговое значение, заданное по умолчанию
model.clearThreshold()

// Вычисляем приблизительные показатели по тестовому множеству 
val scoreAndLabels = test.map { point =>
  val score = model.predict(point.features)
  (score, point.label)
}

// Получаем параметры вычислений
val metrics = new BinaryClassificationMetrics(scoreAndLabels)
val auROC = metrics.areaUnderROC()

println("Area under ROC = " + auROC)

Если процент верных прогнозов в данной модели нас устраивает, мы можем переходить к следующему этапу: реагировать на обнаруженное землетрясение. Для этого нам потребуется определенное число (плотность) положительных твитов, полученных в определенный промежуток времени (как показано в статье). Обратите внимание: если твиты сопровождаются геолокационной информацией, то мы сможем определить и координаты землетрясения. Вооружившись этими знаниями, мы можем воспользоваться SparkSQL и запросить имеющуюся таблицу Hive (где хранятся данные о пользователях, желающих получать уведомления о землетрясениях), извлечь их электронные адреса и разослать им персонализированные предупреждения, вот так:

// sc – это имеющийся SparkContext.
val sqlContext = new org.apache.spark.sql.hive.HiveContext(sc)
// sendEmail – это пользовательскаяфункция
sqlContext.sql("FROM earthquake_warning_users SELECT firstName, lastName, city, email")
          .collect().foreach(sendEmail)

Другие варианты использования Apache Spark

Потенциально сфера применения Spark, разумеется, далеко не ограничивается сейсмологией.
Вот ориентировочная (то есть, ни в коем случае не исчерпывающая) подборка других практических ситуаций, где требуется скоростная, разноплановая и объемная обработка больших данных, для которой столь хорошо подходит Spark:

В игровой индустрии: обработка и обнаружение закономерностей, описывающих игровые события, поступающие сплошным потоком в реальном времени; в результате мы можем немедленно на них реагировать и делать на этом хорошие деньги, применяя удержание игроков, целевую рекламу, автокоррекцию уровня сложности и т.д.

В электронной коммерции информация о транзакциях, поступающая в реальном времени, может передаваться в потоковый алгоритм кластеризации, например, по k-средним или подвергаться совместной фильтрации, как в случае ALS. Затем результаты даже можно комбинировать с информацией из других неструктутрированных источников данных — например, с отзывами покупателей или рецензиями. Постепенно эту информацию можно применять для совершенствования рекомендаций с учетом новых тенденций.

В финансовой сфере или при обеспечении безопасности стек Spark может применяться для обнаружения мошенничества или вторжений, либо для аутентификации с учетом анализа рисков. Таким образом можно получать первоклассные результаты, собирая огромные объемы архивированных логов, комбинируя их с внешними источниками данных, например, с информацией об утечках данных или о взломанных аккаунтах (см., например, https://haveibeenpwned.com/), а также использовать информацию о соединениях/запросах, ориентируясь, например, на геолокацию по IP или на данные о времени

Заключение

Итак, Spark помогает упростить нетривиальные задачи, связанные с большой вычислительной нагрузкой, обработкой больших объемов данных (как в реальном времени, так и архивированных), как структурированных, так и неструктурированных. Spark обеспечивает бесшовную интеграцию сложных возможностей – например, машинного обучения и алгоритмов для работы с графами. Spark несет обработку Big Data в массы. Попробуйте – не пожалеете!

Spark AR Studio для Instagram. Как создать маску в Инстаграм

Spark AR Studio для Instagram. Полное руководство

Заказать маску можно здесь

Как купить маску для instagram? 

Говорим о том, что такое Spark AR Studio, где его можно использовать и как создать свою первую AR-маску для Instagram, VK, Facebook, Snapchat.

Что такое SparkARStudio?

Spark AR Studio – это платформа дополненной реальности для Mac и Windows, которая позволяет с лёгкостью создавать AR-эффекты в мобильной камере. Словом, перед нами нечто вроде Photoshop или Sketch только в дополненной реальности.

Не хотелось бы разрушать ничьих иллюзий, но AR не так уж и инновационна. По факту, технология дополненной реальности существует уже около 40 лет (первые упоминания датируются 1960 годом)! И только в последние несколько лет она нашла мировое применение и плавно проникла в десятки отраслей: от игровой (Pokemon Go) до навигационной (Google Maps).

Отличным примером использования Spark AR  станут социальные медиа, которые явно и яро следуют за лейтмотивами самой технологии. Большая часть успеха объясняется популярностью Instagram Stories. Насчитывая более, чем 500 млн активных пользователей в день (!) и обладая максимально удобным пользовательским интерфейсом и необузданным желанием миллионов делиться забавными, «отфильтрованными» селфи, Instagram восстаёт как идеальная среда для распространения AR в массы.

Судьбоносным стало решение Facebook в 2017 запустить собственное ПО для брендов и дизайнеров, которое позволило бы создавать оригинальные эффекты в Spark AR.

Spark AR Studio сперва была общедоступной платформой с одним «но»: если вы хотели, чтобы пользовательские AR-эффекты появились в Instagram, нужно было получить доступ к закрытой бета-версии программы.

Но теперь всё изменилось: любой желающий может создавать и публиковать собственные эффектыSpark AR Studio в сториз.

Последнее стало отличной возможностью для художников, брендов, бизнесменов и простых смертных проявить творческий подход и научиться воплощать воображаемое в реальность с помощью AR. Кроме этого, компании получили практически непобедимый маркетинговый инструмент.

Получается, с одной стороны у вас самый первый прыжок и прощупывание почвы в Spark AR, а с другой – поиск креативных способов создания и распространения собственного опыта в дополненной реальности.

Как компании могут использоватьSpark AR Studio в бизнес-целях?

Причин уйма, но самая главная связана со свободой творчества. Spark AR Studio – это модно.

Существует бесчисленное множество приложений с дополненной реальностью: косметические бренды используют её для «примерки» макияжа, мебельные заводы для того, чтобы показать, как их продукты будут выглядеть в жилом помещении, модные дома – чтобы создать виртуальную примерочную и предоставить выбор одежды и аксессуаров для виртуальной примерки.

Spark AR Studio, где человек может «попробовать» продукт, быстрее устанавливает связь между клиентом и производителем и, как следствие, увеличивает количество покупок и узнаваемость бренда. И также, всякий раз, когда кто-то использует один из ваших Spark AR Studio — эффектов в Instagram, он, по сути, продвигает его (и вас). Впоследствии создаётся эффект «снежного кома».

Раньше в Instagram была уникальная система блокировки фильтров (сначала нужно было подписаться на создателя). В итоге большинство тех, кто участвовал в бета-программе Spark AR Studio, обзавелись десятками тысяч подписчиков. Сейчас приложение использует обновлённую версию эффектов и облегчает поиск уникальных фильтров от сообщества создателей.

По данным Facebook, более 1 млрд человек использовали эффекты в Spark AR.

Где ещё можно использовать Spark AR?

Как получить доступ к пользовательским фильтрам в Spark AR?

Обновлённый макет профиля Instagram для создателей Spark AR-фильтров упрощает процесс. Когда окажетесь в профиле создателя какого-нибудь Spark AR Studio -фильтра, найдёте новую вкладку эффектов над публикациями. Там можно посмотреть эффекты в дополненной реальности за всё время. При нажатии на Spark AR Studio -эффект, будет возможность запустить его и поделиться с сториз. Фильтры можно сохранять.

Также, пользователю предоставляется доступ к библиотеке с тысячами пользовательских эффектов. Последние можно сортировать по категориям и темам и добавлять в избранные.

Как начать создавать фильтры в Spark AR?

Чтобы начать работу с Spark AR Studio вам не нужно знать (или писать) код. Если вы новичок в мире графического дизайна, начните с изучения основ на официальных страницах Spark AR Studio и ознакомьтесь с инструкциями. Инструмент интуитивно понятен, а проявить свои творческие способности можете классическим методом проб и ошибок.

Facebook предоставляет тонну документации  Spark AR Studio и руководств, где подробно рассказывается не только о том, как создавать эффекты в Spark AR Studio (текстуры, объекты, фильтры лица, игры и пр.), но и объясняет условия публикации.

Итак, чтобы начать процесс, вам необходимо:

• скачать Spark AR Studio и изучить пользовательский интерфейс;
• просмотреть пособия и руководство пользователя;
• присоединиться к сообществам создателей, следить за сообществами sparkar.facebook.com и Spark AR Community Facebook Group;
• протестировать примеры эффектов и создать собственный FaceAR!

Как создать простую маску в SparkAR?

После того, как вы скачали и установили Spark AR Studio, нужно авторизоваться через Facebook. В правом нижнем углу Spark AR Studio приветственного окна нажмите ‘Create project’ – попадёте в интерфейс. Перед началом работы добавьте трекер лица: нажмите ‘Add object’, и в всплывающем окне два раза кликните на ‘Face Tracker’. Трекер нужен для того, чтобы элементы меняли местоположение при движении.

Следующий шаг Spark AR Studio – добавление изображения для отображения перед глазами. Опять нажмите ‘Add object’, а после два раза кликните на ‘Rectangle’.

В ‘Scene’, сцене, под ‘Face Tracker’ должны после появиться ‘rectangle0’ и ‘canvas0’. Нажимайте на ‘canvas0’ и переместите ‘Face Tracker’ так, чтобы ‘canvas0’ оказался его подгруппой.

Для того, чтобы ‘canvas0’ мог отследить ваше лицо, в блоке ‘Mode’ выставите ‘World Space’.

Сейчас идём к созданию непосредственно Spark AR маски. Скачайте faceFeminine.jpg и откройте этот файл в Adobe Illustrator/Photoshop. Растяните прямоугольник, который будет закрывать глаза и впишите туда что-нибудь.

Отключайте слой с лицом и экспортируйте маску на рабочий стол. Файл сохраняйте в формате PNG, его после нужно будет закинуть в текстуры.

В панели слева нажимаем на ‘rectangle0’, а справа – на иконку рядом с ‘Materials’.

Появится материал Spark AR Studio, который зальёт полотно белым. Чтобы это исправить, в правой панели нажимайте на ‘material0’, в левой, в ‘Texture’ выбираем текстуру (наш файл).

Для корректировки размера текстуры в левой панели выберите ‘rectangle0’, в правой – ‘Size’, и получите возможность изменить размер.

Осталось только подкорректировать положение Spark AR-эффекта. Ставьте на паузу видео, нажимайте на ‘canvas0’ и редактируйте высоту текстуры (зелёный указатель – вверх/вниз, красный – влево/вправо, синий – вперёд/назад).

Готово! Теперь загружайте Spark AR Player на смартфон, подключайте его к компьютеру и перебрасывайте маску. Если после тестирования вас всё утраивает, в верхнем меню нажмите ‘File’, проверьте, что маска не выходит за границы максимально допустимого размера, и нажмите ‘Export’.

После этого нужно будет перейти в Spark A RHub, нажать в вверху на «Загрузку эффекта» и следовать указаниям. Всё будет интуитивно понятно, обещаем.

Как создать собственную маску в Instagram с помощью Spark AR

Вероника Аш

Копирайтер. Создаю коммерческие тексты и продающие страницы

Поделитесь статьёй с друзьями и коллегами

В Инстаграм появился новый инструмент – возможность создавать маски и фильтры для лица. Spark AR Studio – это 3D приложение, которое стало доступным всем пользователем. Для создания маски вам понадобится телефон, компьютер и непосредственно программа.

Как работать с программой Spark AR Studio

Для начала загрузить и установить на компьютер Spark AR Studio в последней версии. Софт доступен как для MacOS, так и для последних версий Windows. Открывайте: вы увидите заставку, и десятки возможностей создавать самые различные маски и фильтры для Instagram или Facebook. 

Уже на этом этапе можно надолго «зависнуть» — бесконечно долго изучать функциональные возможности приложения и найти для себя тысячи различных идей.

Например, возьмем для демонстрации самую простую возможность, открываем вкладку Samples и выбираем Face Distortion, то есть деформацию лица.

Проект, над которым вы будете работать, нужно сохранить в специальной папке. Для этого выбирайте опцию «Файл»> и жмите «Сохранить».

В левой части окна найдите вкладку Scene и функцию «faceMesh_distortion».

Затем вам понадобится опция Deformation — она находится уже в правой части окна.

Теперь, передвигая ползунки, вы можете настраивать на свой вкус все вариации искажения.

 

Использование фильтра для видео

Маски, генерируемые в программе Spark AR Studio, можно использовать и для создания живых видео. Как это работает, вы можете посмотреть сразу, просто подключив к компьютеру веб-камеру. 

Для этого найдите значок камеры (он находится в левой части окна) и выберите фильтр, который вам пришелся по душе. Все варианты можно просмотреть в интерактивном режиме в реальном времени.

Фильтры и эффекты автоматически «прикрепляются» к лицам. 

Также можно использовать любые дополнительные настройки, которые понравятся. В Spark AR Studio есть возможность создавать любые мимические маски с трехмерными эффектами. В общем, развлекаться можно часами!

Главное — не забудьте сохранить проект.

Как в Инстаграм сделать ссылку на WhatsApp

Общение в мессенджерах намного удобнее, чем переписка в социальных сетях. Поэтому, многие владельцы интернет-магазинов на различных платформах, в том числе и в Инстаграме, стараются перевести диалог с клиентами в WhatsApp. Ведь там можно поделиться файлами, голосовыми сообщениями, поговорить по видео-связи или просто совершить бесплатный звонок.

Елена Заглядкина · 01.12.2019

Экспорт маски

Экспортируйте финальный файл, чтобы можно было использовать маску для создания креативных публикаций на на Facebook или Instagram (тут, к сожалению, можно выбрать только один вариант). Для этого нужно зайти в меню «Файл» и выбрать функцию экспорта.

Теперь вы видите окно, в котором демонстрируется, сколько места понадобится для маски на разных типах устройств.

Нажмите кнопку «Экспорт». Выберите, куда сохранить проект, и укажите формат «.arexport» в качестве типа файла.

Войдите в учетную запись социальной сети, в которой планируете опубликовать сгенерированную маску.

Зайдите на страницу к https://www.facebook.com/sparkarhub/

В правом верхнем углу нажмите кнопку «Загрузить эффект».

Выберите платформу (Facebook или Instagram), на которой вы хотите использовать эффект (в данном случае Instagram), и задайте название. Нажмите «Далее» в нижней части экрана.

В разделе «Значок эффекта» перетащите изображение, которое вы хотите представить в Instagram. В окне Explorer / Finder найдите файл, который вы экспортировали ранее. Перетащите его в раздел «Файл эффектов» на странице. Поставьте галочку напротив юридического соглашения, заявив, что у вас есть все необходимые права.

Выберите «Загрузить» и «Продолжить».

Проверка работоспособности маски

Вы загрузили маску, и теперь ее нужно протестировать.

На следующей странице вы увидите две опции: «Предварительный просмотр в приложении» и «Получить ссылку для предварительного просмотра».

«Предварительный просмотр в приложении» позволит вам протестировать фильтр в течение 60 минут из учетной записи, в которую вы вошли. Опция «получить ссылку для предварительного просмотра» даст вам ссылку, которую вы можете отправить друзьям, родственникам или коллегам, чтобы они могли проверить вашу маску. Ссылку можно использовать только 200 раз за один день, но этого обычно достаточно.

Публикация маски

Когда все готово и проверено, вы можете опубликовать свою инстаграм-маску. Нажмите кнопку «Следующие шаги» в нижней части экрана. (Если вы ушли с предыдущей страницы, вы можете снова ее найти, вернувшись на facebook.com/sparkarhub.)

Выберите категорию и время, когда ваша маска будет запущена. Вы можете запустить ее сразу после утверждения или установить дату начала и окончания. Нажмите «Далее».

На странице «Просмотр информации» введите краткое описание того, что делает ваш эффект. Эта опция – только для ознакомительных целей. Нажмите «Далее», и вы сможете просмотреть все, что вы сделали. Убедитесь, что все правильно, и нажмите «Отправить на проверку» внизу страницы.

Обычно этот процесс занимает один рабочий день, но может и задерживаться, если желающих много. Теперь все, что вам нужно сделать, это дождаться одобрения вашего фильтра. Когда это произойдет, ваши друзья и подписчики смогут найти вашу маску в приложении.

 

Вам понравилась статья? 13 3

Как делать маски в Инстаграме самому – пошаговая инструкция

По массовым запросам читателей мы решили написать пошаговую инструкцию как делать маски в Инстаграме самому. Зачем делать свои маски? Во-первых, это интересно, можно создать свой уникальный эффект. Во-вторых, после загрузки своей маски в Инстаграм там появляется ссылка на ваш профиль – а это хорошая реклама и привлечение новых подписчиков.
В статье рассмотрим какие программы нам понадобятся, дадим все ссылки где скачать софт для компьютера и смартфона. Затем мы вместе создадим нашу первую маску и посмотрим как сразу протестировать маску на телефоне.

Необходимые программы

Для создания масок нам понадобятся две программы: Spark AR Studio – программа для ПК. И Spark AR Player – это программа для просмотра созданной маски на смартфоне. Что бы не было путаницы, давайте загрузим и установим софт, а во второй части статьи покажем как создать самую простую маску и отправить на телефон.

Установка Spark AR Studio

Spark AR Studio это программа для создания эффектов альтернативной реальности для Facebook и Instagram. Для работы с ней нам понадобиться:

1. Перейти по ссылке sparkar.facebook.com/ar-studio/download.
2. Нажимаем розовую кнопку Download и загружаем пакет установщика.

   Загружаем Spark AR Studio

3. Установка программы стандартная. Указываем путь и кликаем несколько раз “Далее”.
4. Запускаем программу на компьютере и вводим логин пароль от Фейсбук аккаунта.

   Водим логин и пароль Фейсбук аккаунта

Программа бесплатная, но для авторизации понадобиться Facebook аккаунт. Вводите ваши данные или попросите аккаунт у знакомых.

Установка Spark AR Player

Теперь установим Spark AR Player. Это плеер для воспроизведения созданных масок на смартфоне. После отправки маски из Спарк студии на смартфон, он задействует камеру в Спарк плеере и мы сразу можем увидеть результат на примере своего селфи. Для установки на Андроид:

1. Переходим по ссылке play.google.com/store/apps/details?id=com.facebook.arstudio.player со смартфона.
2. Или открываем Play Маркет и пишем Spark AR Player.

   Устанавливаем Spark AR Player

3. После запуска программы обязательно даем доступ к камере(что бы тестировать маски) и галерее.
4. Так же для отправки необходимо включить отладку по USB. Программа сама предложит сделать это.
5. Для айфонов скачиваем с Apple Store: apps.apple.com/ru/app/spark-ar-player/id1231451896.

Теперь мы готовы создать и протестировать нашу первую маску.

Создаем первую маску

После запуска и ввода логина пароля, мы попадаем на стартовый экран Spark AR Studio. Тут несколько готовых примеров масок и их типы, разбитые на следующие категории:

• Visual shaders – визуальные эффекты, шейдеры, градиенты.
• Animated Face Mask – пример анимированной маски кролика для лица.
• Face Distortion – искажение лица.
• Skeleton Animation – пример анимации.
• Boombox with audio – пример добавления 3D объекта с музыкой.
• Holiaday Card – поздравительная открытка.
• Floating Particles – плавающие, летающие частицы, маски с бликами звездочками и т.п относятся к этому типу.
• Light Leak – наложение света, ярких или темных бликов на маску.
• Facezoom – увеличение, уменьшение лица.

Давайте выберем для начала вариант попроще – Face Distortion.

Выбираем вариант Face Distortion

Далее у нас откроется окно с программой. Слева у нас панель инструментов, в центре рабочая область, а справа фильтры для работы со слоями. Если вы ранее работали с Фотошопом – вам будет легче разобраться, принцип очень похож. В программе есть встроенные зацикленные видео отрезки с лицами для – работы с масками. Можно поменять их если кликнуть на значок камеры:

1. Кликаем на значок камеры.
2. Цифрой 2 отмечена возможность подключить USB вебку или камеру ноутбука.
3. Цифрой 3 отмечена возможность выбрать готовый отрезок, так мы и поступим.

Выбираем зацикленное видео

Далее закрываем окно с источником видео и кликаем на пункт faceMesh_distorion. Затем справа можно поиграться с ползунками для изменения размеров глаз, носа, подбородка, формы головы и тп.

Изменяем нашу будущую маску

Как просмотреть маску на смартфоне?

Для просмотра маски на смартфоне нам понадобиться включить отладку по USB как мы писали ранее и подключить телефон к компьютеру. После этого:

1. Запускаем Spark AR Player на смартфоне и подключаем к компьютеру.
2. В программе нажимаем на значок мобильного телефона(цифра 1).
3. Видим свою модель в появившемся окошке и нажимаем Send(цифра 2).

   Отправляем маску на смартфон

4. В программе Spark AR Player запустится камера с вашей маской.

Все отправленные таким способ маски сохранятся в смартфоне, в последствии их можно будет снова просмотреть, сохранить, а так же отправить в Facebook или Instagram.

Если вам понравилось – поставьте лайк нашей статье и поделитесь в соцсетях, если тема будет интересна мы расскажем как загрузить созданные маски в Фейсбук или Инстаграм. Перед загрузкой маски должны пройти модерацию, зато потом её смогут использовать все пользователи.

Как делать маски в Инстаграм на телефоне?

Пользователи часто задают вопрос как создавать маски для Инстаграм на телефоне. Разработка новых эффектов и масок – процесс трудоемкий и требует хорошей вычислительной мощности. Пока создавать маски на телефоне нельзя, но в будущем разработчики Спарк Студии возможно сделают “облегченную” версию для смартфонов.

Заключение

Как видим делать маски в Инстаграме самому довольно просто. Сегодня мы рассмотрели только самый простой пример с искажением лица и рассказали какие программы нам понадобятся. Напишите в комментариях всё ли получилось, можете поделиться ссылками на ваши первые маски в нашем телеграм канале t.me/itpenru.
Если тема будет интересна в следующих статьях мы рассмотрим как создавать анимированные маски или Floating Particles. Эффект когда вокруг глаз или головы летают светящиеся частицы.