В цій статті, на прикладі маловідомої бездотикової технології, я хотіла б розказати про свій досвід створення інновацій в R&D лабораторії та який шлях вони проходять, перш ніж застосовуються в реальному житті. Оскільки цей блог — про перехрестя неочікуваних світів, то я також розкрию, які нетехнічні здібності допомогли мені в цьому процесі.
Оригнальна стаття опублікована на DOU і більше зосереджена на технічних аспектах. В цій публікації технічна складова представлена дещо в спрощеному вигляді і збалансована більш детальним розкриттям літературної складової.
Intro
Коли я доєдналася до науково-дослідницької команди в ролі менеджера продуктів, зоною моєї відповідальності було створення бізнес-кейсів, кінцевою метою яких було комерціалізувати новітню технологію e-textures (цифрові текстури), розроблену нашими партнерами.
E-textures базується на бездотиковій технології mid-air haptic, яка полягає в створенні відчуття дотику за допомогою ультразвуку без прямого контакту з предметом чи поверхнею. Це відчуття створюється в повітрі. Тому, в назві є «mid-air».
Технологія e-textures дозволяє за допомогою алгоритмів ШІ згенерувати цифрові текстури об’єктів або поверхонь, видобуваючи їх з фото або відео зразків, а також створити відповідні тактильні ефекти (патерни), які користувач може відчути за допомогою спеціального приладу. Простіше кажучи, головна ідея технології: «перекласти» візуальний патерн в тактильний.
Тестування e-textures на користувачах
В ході співпраці з партнерами по проєкту ми створили демо-версію застосунку із використанням e-textures, що дозволяв віртуально відчути на дотик деякі текстури, зображені на екрані, такі як хутро мамонта, шкіра пітона чи шовк.
Нижче показаний приклад застосунку: під час досвіду користувач споглядає об’єкт на екрані, а на пристрої відчуває його текстуру.
Демо було протестовано з користувачами, під час якого вдалося зібрати цікавий зворотній зв'язок. Як виявилося, користувачі, які бачили на екрані зображення конкретної текстури, на кшталт шовку, очікували отримати абсолютно ідентичне відчуття як від дотику до шовкової тканини. Насправді ж, технологія mid-air haptic передавала більш абстрактне відчуття цифрової текстури. Ультразвук не в стані точно передати текстуру через технологічне обмеження.
Наш мозок створює дуже міцний зв'язок між тим, що ми бачимо, наприклад, якийсь предмет, і тим, що ми очікуємо відчути на дотик, доторкаючись до нього.
Таке відкриття могло свідчити про те, що в такому застосуванні буде складніше сформувати бізнес-кейс і успішно комерціалізувати технологію e-textures. Треба було зробити додаткові тести, аби зробити остаточні висновки.
Ми якраз готувалися до профільної індустріальна конференції EuroHaptics, де планували презентувати e-textures і перевірити це спостереження на більшій групі користувачів.
Ідея похідної інновації
Готуючись до участі в EuroHaptics, у мене виникла ідея. Я подумала, що на противагу візульно-тактильному досвіду, яким був e-textures, було б добре мати аудіо-тактильний, щоб на одних і тих самих користувачах одразу перевірити гіпотезу, чи зміниться сприйняття цифрової текстури, якщо не показувати об’єкт, а розказувати про нього.
Гіпотеза
Аудіорозповідь зазвичай стимулює наш мозок до візуалізації історії, однак, образ цей скоріш за все розмитий, не виразний. Якщо до цих абстрактних візуалізацій спробувати додати досить абстрактні тактильні відчуття, це має створити глибоку синергію між аудіо і тактильним відчуттям, посилюючи вплив одне одного. В результаті наш мозок отримає більш цілісний образ, а відвідувач більш точно відчує те, що почує.
На щастя, ідею підтримало керівництво і я з командою почала над цим працювати.
Як це було зроблено?
Крок 1 Знайти підходящий текст
Щоб створити аудіо-тактильний досвід, потрібен шматок якісної аудіорозповіді з відповідним звуковим дизайном. Аудіозапис, крім того, мав відповідати умовам нижче:
тривалість досвіду повинна бути в межах 1-3 хвилин;
шматок розповіді повинен мати достатню кількість ключових слів і звуків, придатних до конвертування в тактильні ефекти;
фрагмент тексту має бути логічним (мати початок, кульмінацію, кінець), щоб користувачі могли зрозуміти задум.
Переплетення письменництва і ІТ
Переслухавши десятки керованих медитацій, аудіокниг, пісень, доріжок ASMR, я не змогла знайти хороший варіант. Тоді я вирішила самотужки написати коротке оповідання зі змістом. Це був насправді дивовижний момент, адже вперше мої письменницькі здібності могли стати в нагоді в моїй напівнауковій професійній діяльності в сфері ІТ.
Тема знайшлася дуже легко. Це був кінець березня 2022, тривав другий місяць широкомасштабного вторгнення росії в Україну. Перебуваючи закордоном, я відчувала глибокий біль, єдиним моїм бажанням була перемога України і моє якнайшвидше повернення додому. Отже, я написала автобіографічну чутливу історію про моє майбутнє повернення на батьківщину, в Україну.
Пишучи це есе, я уявляла сільський будинок моїх бабусі і дідуся. Вони померли багато років тому, але у мене зберігся тісний зв'язок з тим місцем. Так з'явилася оригінальна назва оповідання — “Покинутий дім”.
Досвід побудований на основі моєї персональної історії, яка сягає своїм корінням до моїх предків і Батьківщини.
Трохи згодом, на сторінці ресурсу Ukrainer я випадково натрапила на дуже схожий, типовий для мого регіону, сільський будинок зі старим парканом і деревом поруч. На зображенні нижче можна його побачити і краще уявити саму розповідь.
Під час написання оповідання моїм завданням було гармонійно вплести якнайбільше ключових фраз і слів, що описують різні тактильні відчуття й звуки, які можуть бути «перекладені» на дотик.
Перейшовши за посиланням можна подивитись анімовану версію аудіооповідання “Покинутий дім”*, збагачену відповідним звуковим оформленням. Або послухати аудіозапис нижче:
*Для потреб конференції текст був написаний англійською мовою і озвучений професійним актором. Українську версію авторка озвучила самостійно.
Крок 2 Зробити звуковий дизайн
З метою глибшого занурення слухача в аудіорозповідь, необхідно було додати звуків навколишнього середовища. З цим нам допоміг професійний дизайнер звуку.
Для цього, на підставі тексту оповідання, я приготувала мапінг ключових слів на звукові ефекти. Нижче надаю кілька прикладів:
Крок 3 Мапінг тактильних ефектів
Аби створити необхідні патерни, спочатку потрібно було ідентифікувати всі ключові слова і звуки середовища, які можуть бути трансформовані у відповідні тактильні ефекти. Тому, наступним кроком я підготувала для інженерів подібний мапінг разом з описом тактильних ефектів.
В таблиці можна ознайомитися з декількома прикладами:
Крок 4 Створення застосунку
Коли специфікація з патернами, а також озвучений і збагачений звуковим дизайном текст були готові, нарешті, інженери могли розпочати програмування.
Для потреб демо-версії створили простий інтерфейс, де, окрім аудіодоріжки, на екран виводився текст розповіді, а ключові слова були підсвічені синім кольором. Таким чином відвідувач міг краще поєднати текст з тактильними відчуттями.
Крок 5 Тестування
Щоб досягнути ще кращого результату, ми провели багато тестів і калібрування тактильних патернів. До прикладу, налаштування самих шаблонів, коректування інтенсивності імпульсу чи встановлення часових обмежень, щоб синхронізувати момент відчуття на дотик зі звуковим ефектом або ключовим словом, що промовляється.
Переважна більшість тестів пройшла в моїй «домашній лабораторії», як продемонстровано на зображенні нижче.
Як відбувається досвід?
Для проходження досвіду відвідувач вдягає якісні акустичні навушники, щоб прослухати аудіоісторію; дивиться на екран, на який виводиться текст розповіді з підсвіченими ключовими словами; і «відчуває» ті ключові слова за допомогою хаптичного прострою.
Оскільки користувач може буквально доторкнутися до певних слів чи звуків з почутої розповіді, а також зважаючи на те, що сама історія є дуже зворушливою, я назвала цей досвід “The Touching Story” або, якщо перекласти українською, - «Історія, до якої можна доторкнутися» / «Зворушлива історія».
В цьому відео можна подивитись як відбувається досвід, а також пояснення прикладів застосування технології.
Конференція
Разом з командою нам вдалося досягнути того, що було задумано в початковій концепції. Демо e-textures поїхало на конференцію EuroHaptics 2022 разом з “The Touching Story”.
За тиждень конференції обидва демо випробували сотні відвідувачів. Досвід "The Touching Story" отримав схвальні відгуки від спільноти, що спеціалізується на технологіях haptic.
На підставі фідбеку вдалося підтвердити гіпотезу: аудіо, доповнене тактильними відчуттями, сприймається значно краще, ніж візуальне зображення у поєднанні з тактильними ефектами. Відвідувачі підкреслювали більшу відповідність тактильного відчуття, тому що чують. А тактильне відчуття дійсно збагачує аудіорозповідь і допомагає глибше зануритись в досвід.
Результат
Отже, ми підтвердили, що в подальших спробах комерціалізувати технологію e-textures треба більше орієнтуватися на формулу «e-textures + аудіо». Це був дуже важливий висновок, тому що R&D досить коштовне і важливо відсіювати неробочі кейси застосування настільки раніше, наскільки це можливо. За результатами конференції, кейс «e-textures + візуалізація об’єкта» була відсіяний.
Ідея «e-textures + аудіо» була інноваційною, й зрештою описана в науковій статті з наміром подальшого патентування.
Пізніше цей досвід багаторазово був представлений на інших конференціях, таких як Talent Land в Мексиці; HAID у Великобританії; IMET на Кіпрі; CHI в Німеччині; IMEX у Франції. Що, своєю чергою, підтверджувало, що винахід був успішним.
В підсумку сформувався ширший бізнес-кейс — застосовувати новітні технології, як e-textures, для створення цікавих досвідів, що дозволяють користувачам глибше занурюватися і проживати відчуття на новому рівні. Так в компанії з’явився окремий сервіс, який пропонує клієнтам створювати імерсивні досвіди.
Outro
В цій статті я поділилася своїм досвідом про шлях від виникнення ідеї інновації до її реалізації, від тестування гіпотези до трансформації в комерційну послугу на прикладі однієї технології. Сподіваюсь, це дало деякі обриси того, «як це було зроблено» і що відбувалося за лаштунками і яку роль зіграли не пов'язані з основною роботою письменницькі навички.
Відзначу, що ключовими факторами успіху в даному випадку були: природня цікавість підтверджувати наукові гіпотези, що починалися з простої фрази "а що, якщо?"; бажання впроваджувати інновації, створити щось нове від ідеї до готового продукту; креативність і готовність вийти за межі звичайних функціональних обов’язків; сміливість описати і "продати" ідею зацікавленим особам; і, нарешті, життєво важливий фактор – підтримка тогочасного безпосереднього керівника, котрий схвалив ініціативу, виділив бюджет і призначив інженерів для міні-проєкту.
Отже, моїм ключовим посилом в підсумуванні буде звернення до креаторів не боятися експериментувати, висловлювати ідеї, поєднувати досвід з різних сфер та впроваджувати інновації.
Поки ідея не запропонована, ніхто про неї не дізнається.