Automatic background music selection for tabletop games

Abstract

System accuracy is a crucial factor influencing user experience in intelligent inter- active systems. Although accuracy is known to be important, little is known about the role of the system’s error distribution in user experience. In this dissertation we show, in the context of background music selection for tabletop games, that su- pervised learning algorithms can make the system “indecisive” by performing errors that are sparsely distributed in a game session. We then introduce Bardo, a real- time intelligent system to automatically select the background music for tabletop role-playing games. Bardo selects and plays as background music a song represent- ing the classified emotion. With variants of Bardo we also introduce an ensemble approach with a restrictive voting rule that instead of erring sparsely through time, it errs consistently for a period of time. We show that our ensemble approach is able to make the system decisive. We hypothesize that sparsely distributed errors can harm the users’ experience and it is preferable to use a model that is somewhat inac- curate but decisive, than a model that is accurate but often indecisive. A user study in which people evaluated edited versions of the D&D videos suggests that Bardo’s selections can be better than those used in the original videos of the campaign. A second user study was performed following the same process and the results suggest that understanding how different error distributions affect user experience is key to develop intelligent systems able to successfully interact with humans.

A precisão de sistemas é um fator crucial que influencia a experiência do usuário em sistemas interativos inteligentes. Embora se saiba que a precisão é importante, pouco se sabe sobre o papel da distribuição de erros do sistema na experiência do usuário. Nesta dissertação é mostrado, no contexto da seleção de músicas de fundo para jogos de mesa, que algoritmos de aprendizado supervisionado podem tornar o sistema “indeciso” ao executar erros que são distribuídos de forma esparsa em uma sessão de jogo. Em seguida, é apresentado Bardo, um sistema inteligente em tempo real que seleciona automaticamente músicas de fundo para jogos de RPG de mesa. Bardo seleciona e toca como música de fundo uma música representando a emoção classificada. Com variações do Bardo também foi apresentada uma abordagem de conjunto com regra de votação restritiva que, ao invés de errar esparsamente através do tempo, erra consistentemente por um período de tempo. Foi mostrado que a abordagem conjunta é capaz de tornar o sistema decisivo. Foi gerada a hipótese de que erros distribuídos esparsamente podem prejudicar a experiência dos usuários e é preferível usar um modelo que seja um pouco impreciso, mas decisivo, do que um modelo que seja preciso, mas muitas vezes indeciso. Um estudo com usuários no qual as pessoas avaliaram versões editadas de vídeos de D&D sugere que as seleções feitas por Bardo podem ser melhores do que aquelas usadas nos vídeos originais da campanha. Um segundo estudo com usuários foi realizado seguindo o mesmo processo e os resultados sugerem que entender como diferentes distribuições de erro afetam a experiência do usuário é fundamental para desenvolver sistemas inteligentes capazes de interagir com sucesso com seres humanos.