Evolving Evil: Optimizing Flocking Strategies through Genetic Algorithms for the Ghost Team in the Game of Ms. Pac-Man

by Federico Liberatore, Antonio Mora, Pedro Castillo, Juan Julián Merelo in EvoGAMES

Flocking strategies are sets of behavior rules for the interaction of agents that allow to devise controllers with reduced complexity that generate emerging behavior. In this paper, we present an application of genetic algorithms and flocking strategies to control the Ghost Team in the game Ms. Pac-Man. In particular, we define flocking strategies for the Ghost Team and optimize them for robustness with respect to the stochastic elements of the game and effectivity against different possible opponents by means of genetic algorithm. The performance of the methodology proposed is tested and compared with that of other standard controllers. The results show that flocking strategies are capable of modeling complex behaviors and produce effective and challenging agents.

Hackathon in Videogames at EVO* 2014

Imagen

Hi to all,

Finally, the EVOHackathon will be held in the Oficina de Software Libre on Tuesday 22 April (one day before EVOGames conference).

There are 5 projects confirmed right now,namely:

  • Creating autonomous agents for Super Mario Bros. game
  • Creating an AI engine for the game Wetland (Greyman Studios)
  • Creating bots for 1 vs 1 combats in the RTS Planet Wars
  • Procedural generation of stages for a new game (Greyman Studios)
  • Progamer: Code visualization tool based in Super Mario Bros. levels

As you can see, two of them are proposed and will be directed by a videogames company.

We invite you to join us. It is free! :D

Volunteer-based evolutionary algorithms al dente

Planning the cook of a time consuming optimization problem? Have you considered to let a crowd of volunteers to help you in this endeavor? In a volunteer-based system,  volunteers provide you with free ingredients (CPU cycles, memory, internet connection,..) to be seasoned with only a pinch of peer-to-peer or desktop-grid technology.

If you are looking for a delicious cook of a volunteer-based evolutionary algorithm, you can find our recipe in this paper published in Genetic Programming and Evolvable Machines (pre-print version available here)

Title: “Designing robust volunteer-based evolutionary algorithms

Abstract This paper tackles the design of scalable and fault-tolerant evolutionary algorithms computed on volunteer platforms. These platforms aggregate computational resources from contributors all around the world. Given that resources may join the system only for a limited period of time, the challenge of a volunteer-based evolutionary algorithm is to take advantage of a large amount of computational power that in turn is volatile. The paper analyzes first the speed of convergence of massively parallel evolutionary algorithms. Then, it provides some guidance about how to design efficient policies to overcome the algorithmic loss of quality when the system undergoes high rates of transient failures, i.e. computers fail only for a limited period of time and then become available again. In order to provide empirical evidence, experiments were conducted for two well-known problems which require large population sizes to be solved, the first based on a genetic algorithm and the second on genetic programming. Results show that, in general, evolutionary algorithms undergo a graceful degradation under the stress of losing computing nodes. Additionally, new available nodes can also contribute to improving the search process. Despite losing up to 90% of the initial computing resources, volunteer-based evolutionary algorithms can find the same solutions in a failure-prone as in a failure-free run.

Sistemas Clasificadores

Los sistemas clasificadores son una fusión entre los algoritmos evolutivos, el aprendizaje por refuerzo y el supervisado. Se conocen como Learning Classifier Systems. El viernes pasado aproveché la reunión del grupo para presentar una breve revisión histórica y dar detalles sobre quizá el algoritmo más importante introducido en este campo, el eXtended Classifier System o XCS de Wilson.

Básicamente, el algoritmo busca mediante evolución genética y aprendizaje un conjunto de reglas que modelen la solución a un problema donde existe recompensa. Las reglas se componen de una condición y una acción. La población de reglas representa para cualquier condición dada, cual será la mejor acción. Esto se consigue asociando al espacio de entrada una predicción de la mejor recompensa futura obtenida para cada acción posible.

Entonces, dado un estado que representa el entorno, se buscan las reglas cuya condición coincide, y de ellas se toma la acción que ofrece mejor recompensa futura.

La tarea no es fácil, los algoritmos formales de aprendizaje por refuerzo, necesitan a priori un conocimiento determinista de las posibles entradas y las transiciones resultantes de las acciones, dejando poco o nada para la búsqueda y aplicación de generalización.

Con XCS este problema se resuelve introduciendo algunos ajustes a la componente genética. La idea general es básicamente repartir los recursos (reglas) para que representen todo el espacio con la mayor precisión y generalización posible. Como no es algo que se pueda resumir en unas pocas líneas, aquí os dejo la presentación:

Curso online en Diseño, Organización y Evaluación de videojuegos y gamificación

Se trata de un MOOC, Massive Open Online Course (Curso online masivo y abierto) organizado por la Universidad Europea de Madrid e impartido por Miríada X.

El curso tiene una duración de 6 semanas (5 horas de estudio semanales), comenzando el próximo 20 de Enero.

La descripción del mismo (extraída de la web del curso) es:
“El curso en Creación y Desarrollo de Videojuegos y Gamificación es un primer puente tendido hacia aquellas personas que desean embarcarse en la aventura del diseño y desarrollo de videojuegos, explicando cada aspecto de la industria, desde el diseño a la financiación pasando por el arte y la evaluación.

El curso no pretende abarcar ningún área de programación ni plástica, sino elaborar un sustrato de conocimientos enfocados a la preparación de futuros diseñadores a través de un mapa de conceptos clave y la experiencia compartida de profesionales del medio. Cada módulo tendrá una decena aproximada de breves video-conceptos que eclosionarán en una entrevista final con un profesional del sector que dará su opinión acerca de la situación y posible evolución de la misma.”

Descripción en vídeo:

Los interesados pueden registrarse aquí.

Reportaje sobre el proyecto SIPESCA en el programa Con-Ciencia de Canal Sur

Hace unos meses se presentó el proyecto SIPESCA en el programa Con-Ciencia de Canal Sur en un mini-reportaje.

Posteriormente se han obtenido nuevos resultados que se han presentado en un reportaje más extenso que se emitió el domingo 10 de noviembre de 2013 en el mismo programa.

El vídeo del programa completo está en la web de Canal Sur.

capt0

El reportaje sobre el proyecto se encuentra a partir del minuto 38 del programa. En cualquier caso, se ha extraído y colgado en:

http://www.youtube.com/watch?v=xW2-D1llFiM

capt2

capt3