Meta lanza Code Llama 70B, el principal rival de GPT-4 en programación

La IA sigue avanzando a un ritmo frenético y prueba de ello es el nuevo modelo gratuito que va a lanzar Meta; Code Llama 70B. Se trata del sistema más grande y de mayor rendimiento hasta la fecha, capaz de superar a GPT-3.5 y de rivalizar con GPT-4, el modelo más avanzado de OpenAI.

Code Llama 70B se presenta como un modelo de IA enfocado en la programación y generación de código open source. Se compone de 70.000 millones de parámetros, lo que se traduce en una mayor complejidad, pero también en una mayor precisión para los programadores que se sirven de él.

El modelo Code Llama 70B se ha entrenado con 1 TB de código y datos relacionados y se encuentra alojado en el repositorio de código Hugging Face, que ofrece acceso a GPU para ejecutar modelos de IA. De esta forma, se mejora notablemente la asistencia de codificación.

El CEO de Meta, Mark Zuckerberg, asegura que el progreso que trae consigo Code Llama 70B viene a sentar un precedente sobre la importancia de escribir y editar código gracias a los modelos de IA actuales. De esta forma, la habilidad de programar es muy importante para poder procesar información en otros dominios de manera más rigurosa y lógica.

Recordar además que Meta tiene el foco puesto en el desarrollo de la IA General (AGI). De ahí que todo se esté desarrollando con una perspectiva comunitaria (open-source). Con esta idea, se consolida que la IA es algo muy influyente tanto en el sector de la investigación como en la sociedad en general.

Con todo ello, y pese a su inversión en AR, VR y MR a través de la división Reality Labs, Meta pone el foco en un lenguaje de programación por encima del escenario del metaverso. Y es que con respecto a 2021, momento en el que la compañía cambió su nombre de Facebook a Meta, el interés por el metaverso se ha reducido considerablemente.

Su nivel de rendimiento

La eficiencia y la productividad estarán garantizadas con Code Llama 70B, tanto en usos comerciales como con fines de investigación. De hecho, ha obtenido un 53% de precisión en el punto de referencia HumanEval, mejorando el 48,1% de GPT-3.5 y próximo al 67% de GPT-4 y al 74,4% de Gemini Ultra.

Code Llama 70B permite crear un software más robusto y bien documentado. Entre los lenguajes soportados destacan Python, C++, Java, PHP, Typescript (Javascript), C# y Bash.

El modelo se encuentra disponible en hasta cuatro tamaños: 7B (pensado para funcionar en local, basta una GPU), 13B, 34B y 70B. Cada uno de dichos modelos está entrenado con 500.000 millones de tokens de código, salvo el modelo 70B, que ha entrenado con un billón de parámetros.

Llama la atención que todos los modelos de Code Llama aceptan una ventana de contexto de hasta 100.000 tokens. Recordar que un token equivale a una palabra o pequeño grupo de palabras, por lo que se puede procesar una importante cantidad de código para posteriormente trabajar con él de manera eficiente.

Todas las pruebas ya efectuadas con Code Llama 70B demuestran, dentro del ámbito de la programación, que su eficiencia es notable. Así pues, se ha usado tanto HumanEval como Mostly Basic Python Programming. En ambos casos el modelo desarrollado por Meta supera a GPT-3.5 y se queda muy próximo al eficiente GPT-4.

Diferentes modelos de Code Llama 70B

Además del genérico, Meta puso en el mercado, de manera simultánea, otras dos herramientas Code Llama durante el pasado otoño. Se trata de Code Llama – Python y Code Llama – Instruct. Éstos se centran en lenguajes de codificación más específicos, permitiendo crear cadenas de códigos a raíz de indicaciones, mejorando notablemente el trabajo escrito por humanos.

Con Code Llama – Instruct se logra un grado de precisión del 67,8%, por los que se supera a GPT-4. Está más orientado a continuar el proceso de entrenamiento para entender mejor los prompts y todo lo que el usuario precisa. Por su parte, Code Llama – Python alcanza una precisión del 57,3%.

El trabajo desarrollado por otras empresas

Grandes tecnológicas especializadas en el desarrollo de IA han puesto en circulación generadores de código durante 2023. Así fue como Amazon lanzó CodeWhisperer en abril, mientras que Microsoft irrumpió en el mercado con su eficiente modelo GitHub Copilot.