Trabalhos de estudantes do MIT redefinem a colaboração humano-IA

Inovações no MIT

Imagine um boombox que acompanha cada movimento seu e sugere músicas que combinam com seu estilo de dança pessoal. Essa é a ideia por trás do projeto “Be the Beat”, um dos trabalhos do curso 4.043/4.044 (Interação Inteligente) do MIT, ministrado por Marcelo Coelho no Departamento de Arquitetura. Esses projetos foram apresentados na 38ª conferência anual NeurIPS (Sistemas de Processamento de Informação Neural) em dezembro de 2024. Com mais de 16.000 participantes, o NeurIPS é um evento prestigiado dedicado à pesquisa em inteligência artificial e aprendizado de máquina.

Explorando Novas Fronteiras

O curso investiga o campo emergente dos grandes objetos de linguagem e como a inteligência artificial pode ser estendida para o mundo físico. Enquanto “Be the Beat” transforma as possibilidades criativas da dança, outras submissões de estudantes abrangem música, narrativa, pensamento crítico e memória, criando experiências gerativas e novas formas de interação humano-computador.

Be the Beat

Criado por Ethan Chang e Zhixing Chen, “Be the Beat” é um boombox alimentado por IA que sugere música a partir dos movimentos de um dançarino. Usando o PoseNet, ele descreve movimentos para um modelo de linguagem que analisa o estilo de dança e encontra músicas com estilos, energia e ritmo semelhantes. Dançarinos relataram ter mais controle sobre a expressão artística e descreveram o boombox como uma abordagem inovadora para descobrir gêneros de dança e coreografar criativamente.

Um Mistério para Você

Desenvolvido por Mrinalini Singha e Haoheng Tang, “Um Mistério para Você” é um jogo educativo que cultiva o pensamento crítico e habilidades de verificação de fatos em jovens. O jogo utiliza um grande modelo de linguagem e uma interface tangível para criar uma experiência investigativa imersiva, desafiando nossos hábitos de consumo de notícias ao substituir interfaces de tela sensível ao toque por um dispositivo analógico rico em interações táteis.

Memorscope

“Memorscope”, concebido por Keunwook Kim, é um dispositivo que cria memórias coletivas ao fundir a experiência humana de interação face a face com tecnologias avançadas de IA. O dispositivo permite que dois usuários “olhem” um para o outro, usando a interação íntima como um portal para a criação e exploração de memórias compartilhadas, oferecendo um espaço de memória interativo onde histórias evoluem conforme o relacionamento dos usuários.

Narratron

Criado por Xiying (Aria) Bao e Yubo Zhao, “Narratron” é um projetor interativo que co-cria histórias infantis através de teatro de sombras, utilizando grandes modelos de linguagem. Ele combina interações visuais, auditivas e corporais em um só sistema, promovendo a criatividade na contação de histórias por meio de sombras.

Sintaxe Perfeita

“Sintaxe Perfeita”, de Karyn Nakamura, é uma peça de vídeo arte que examina a lógica sintática por trás do movimento e do vídeo. Usando IA para manipular fragmentos de vídeo, o projeto explora como a fluidez do movimento e do tempo pode ser simulada e reconstruída por máquinas, investigando como as máquinas entendem e representam a passagem do tempo e do movimento.