11. Modelos

La sección de Modelos permite gestionar los modelos de inteligencia artificial disponibles en LUCA, incluyendo modelos públicos de proveedores externos, modelos privados personalizados y despliegues.

Al acceder aparecen, en la parte izquierda de la ventana, las pestañas Público, Privado, Despliegues, MCPs y Colecciones. La pestaña Público aparece preseleccionada.

Figura 11.1: Ventana de administración

A la izquierda aparece el organizador de grupos ya que, los modelos, como elemento de la aplicación que son, también están asociados a un grupo.

Dependiendo de la pestaña seleccionada en la pantalla de administración de modelos, se muestra la lista de modelos disponibles de cada tipo y un buscador de modelos en la parte superior.

La sección de modelos Públicos permite gestionar aquellos modelos que se alimentan de las APIs públicas de los principales proveedores.

En la pestaña Privado, la lista está formada por los modelos personalizados creados a partir de los elementos previamente desplegados en la pestaña Despliegues. Esto permite adaptar y configurar modelos específicos según las necesidades de cada grupo, aprovechando los recursos privados.

Pestañas Público, Privado y Despliegues

Sobre la lista de modelos aparecen los siguientes botones:

Figura 11.2: Botón añadir

• Añadir: Al pulsar el botón se abre una ventana de contexto que permite elegir el tipo de elemento que se quiere crear: Público, Privado, Despliegue, MCPs o Colecciones. Al pulsar sobre uno de los tres primeros se carga, en el panel central, el formulario de configuración correspondiente (con pequeñas diferencias en la pestaña despliegues) que permite crear un nuevo modelo:

Figura 11.3: Propiedades

• Propiedades
  • Modelo : Selecciona el proveedor del modelo mediante el icono correspondiente.
  • Tipo de modelo : Texto, Imagen o Embeddings. Al seleccionar Embeddings el formulario se simplifica: desaparecen las pestañas Prompt y Parámetros, las secciones MCPs y Colecciones descritas más abajo (exclusivas de los modelos de tipo Texto), y los campos Incluir metadatos y Grupo descritos más adelante.
  • Versión : Elige la versión disponible para el modelo en el desplegable.
  • Nombre : Asigna un nombre identificativo al modelo.
  • Endpoint : Indica la dirección a la que se enviarán las llamadas al modelo.
  • API Key : Introduce la clave configurada para el acceso al modelo.
  • Incluir metadatos : Al activar esta opción, el modelo podrá acceder tanto a los datos generados durante la ejecución de las consultas SQL como a la propia consulta realizada. Esto permite ampliar el contexto disponible y mejorar el control sobre el resultado obtenido, facilitando respuestas más precisas y adaptadas a la información procesada en tiempo real. Si la opción está desactivada, el modelo únicamente recibirá el resultado final de la consulta, sin acceso a los datos intermedios ni a la consulta ejecutada.
  • Grupo : Selecciona el grupo en el que se incluirá el modelo.

Figura 11.4: Formulario de un modelo de tipo Embeddings

Figura 11.5: Prompt

• Prompt
  • System Prompt : Define el mensaje base que el sistema utilizará para contextualizar la interacción con el modelo.
  • User Prompt : Especifica el mensaje que el usuario introduce como consulta o instrucción. Por defecto "<|query|>".
  • Assistant Prompt : Indica el mensaje que el asistente (modelo) utilizará como respuesta o guía. Por defecto "<|context|>".
  • Límite de tokens : Establece el número máximo de tokens que se pueden emplear por semana. Desactivado funciona sin límites.

Figura 11.6: Parámetros

• Parámetros
  • Parámetros : Selecciona un parámetro de la lista.
  • Valor : Añade un valor.
  • Parámetros seleccionados : Visualiza los parámetros previamente configurados

nota

Los parámetros disponibles para la configuración del modelo son los siguientes:

• frequency_penalty: Penaliza la repetición de palabras o frases. Valores altos reducen repeticiones, valores bajos permiten más libertad.
• logit_bias: Permite favorecer o prohibir ciertos tokens (palabras). Se pasa como un mapa de identificadores de token y sus sesgos.
• logprobs: Devuelve la probabilidad logarítmica de cada token generado, útil para depuración y análisis.
• top_logprobs: Número de alternativas de tokens y sus probabilidades a devolver en cada paso, junto con logprobs.
• max_completion_tokens: Límite de tokens que puede generar la respuesta, controla la longitud máxima de la salida.
• n: Número de respuestas distintas que el modelo debe generar para la misma entrada.
• presence_penalty: Penaliza la repetición de temas ya mencionados, promoviendo mayor variedad en la respuesta.
• response_format: Define el formato de salida. Puede ser "text", "json", "xml", etc.
• stop: Lista de secuencias que, si aparecen, detienen la generación automáticamente.
• temperature: Controla la aleatoriedad de la respuesta. Valores bajos (0.0) hacen la salida más determinista; valores altos (>1) la hacen más creativa o impredecible.
• top_p: Alternativa a temperature, limita las opciones a un subconjunto de tokens cuya probabilidad acumulada no supere el valor especificado.

En los modelos de tipo Texto se añaden además las secciones MCPs y Colecciones, que permiten asignar al modelo las herramientas MCP y las bases de conocimiento documental con las que podrá trabajar.

Figura 11.7: Asignación de MCPs y Colecciones

Ambas secciones usan el mismo control: una lista de elementos disponibles a la izquierda y otra de asignados a la derecha, con botones para mover uno o varios elementos entre ambas.

• MCPs: Servidores MCP que el modelo podrá invocar como herramientas externas durante la conversación.
• Colecciones: Colecciones de documentos sobre las que el modelo podrá apoyar sus respuestas.

La opción Despliegue del botón Añadir tiene un formulario particular.

En el apartado de propiedades se selecciona Modelo, Versión, Nombre para el modelo, Servidor (el cliente en el que se despliega el servidor de modelos de IA previamente configurado en Administración > Clientes), y un Grupo en el que incluirlo.

Tool Calling: Solo se muestra cuando el Modelo seleccionado es la opción genérica (icono de LUCA), usada para conectar servidores no incluidos en la lista de proveedores preconfigurados. El modelo lo usa para habilitar el soporte de MCP. Depende de la familia del modelo; elige el que corresponda según la descripción de cada opción: hermes (Qwen, DeepSeek, Phi, SmolLM y la mayoría de fine-tunes ChatML), llama3_json (Meta Llama 3, 3.1, 3.2, 3.3, 4), mistral (Mistral, Mixtral, Devstral), pythonic (Google Gemma 3+), internlm (InternLM), jamba (AI21 Jamba), xlam (Salesforce xLAM) y granite-20b-fc (IBM Granite).

Figura 11.8: Propiedades de Despliegue

En los parámetros se introduce la API Key y se selecciona el Hardware que se va a utilizar para ejecutar el modelo (CPU o GPU).

Figura 11.9: Parámetros de Despliegue

La pestaña Despliegues mantiene un formulario de añadir simplificado porque la configuración del modelo se añade en el botón Conectar, que da acceso a un formulario similar al de Público y Privado. En Reiniciar se lanza el proceso de parar e iniciar el modelo en cuestión. Una vez desplegados, aparecen en la pestaña Privado donde se pueden marcar como favorito por defecto.

Figura 11.10: Conectar y Reiniciar

Figura 11.11: Botón editar

• Editar: Modifica la configuración del modelo resaltado.

Figura 11.12: Botón borrar

• Borrar: Elimina el modelo seleccionado.

Figura 11.13: Botón nuevo

• Nuevo Chat: Inicia una conversación (deshabilitado desde la pestaña despliegues) con el modelo elegido de la lista.

Figura 11.14: Botón recargar

• Recargar: Actualiza la lista de modelos.

MCPs

La pestaña MCPs lista los servidores MCP (Model Context Protocol) configurados, que los modelos de tipo Texto pueden usar como herramientas externas.

Figura 11.15: Listado de MCPs

Se crean desde el botón Añadir > MCPs:

Figura 11.16: Nuevo MCP

• Nombre y Descripción: identifican al MCP.
• Grupo: grupo al que pertenece.
• Transporte: stdio o http, según cómo se accede al servidor MCP.
• Configuración del servidor (JSON): la configuración de conexión, cuyo formato depende del transporte elegido.

Para transporte stdio:

{
  "transport": "stdio",
  "command": "",
  "args": [],
  "env": {}
}

Para transporte http:

{
  "transport": "http",
  "url": "",
  "headers": {}
}

Al editar un MCP ya creado, se muestra además una tabla de solo lectura Modelos asignados con los modelos que lo tienen incluido en su configuración.

Colecciones

La pestaña Colecciones lista las colecciones de documentos que los modelos de tipo Texto pueden usar como base de conocimiento para apoyar sus respuestas.

Figura 11.17: Listado de Colecciones

Se crean desde el botón Añadir > Colecciones, indicando Nombre, Descripción y Grupo:

Figura 11.18: Nueva Colección

Al guardar, se accede a la sección Documentos, donde se suben los ficheros que formarán la colección mediante el botón Subir documento.

Figura 11.19: Documentos de una Colección

Describir imágenes con IA: Genera una descripción de cada imagen del documento, usando el favorito por defecto de tipo Imagen, para incluirla en los embeddings. Aumenta el tiempo de subida.

Base de conocimiento

El botón Base de conocimiento, situado sobre el listado de Colecciones, da acceso a un buscador semántico sobre el contenido de todas ellas: al escribir una pregunta, devuelve los resultados más parecidos a la búsqueda.

Figura 11.20: Búsqueda en la base de conocimiento

Cada resultado muestra su origen y un fragmento de texto. Los resultados de tipo documento incluyen un botón Documento para acceder al archivo de origen; junto a ellos pueden aparecer resultados de tipo User Memory (información relevante que LUCA ha almacenado de conversaciones anteriores). Al pulsar en Ver fragmento completo se abre una ventana con el texto íntegro del fragmento.

Figura 11.21: Fragmento completo

El icono de filtro permite restringir la búsqueda a una Colección concreta y ajustar el Máx. resultados que devuelve la búsqueda.

Figura 11.22: Filtro de resultados

El botón Colecciones vuelve al listado de colecciones.

Favorito por defecto

En las pestañas Público y Privado se puede marcar un modelo como favorito por defecto, para que sea el que se use automáticamente en determinados contextos de LUCA. El selector aparece situado sobre las especificaciones de cada modelo.

Figura 11.23: Favorito por defecto

El comportamiento del selector depende del Tipo de modelo:

• Texto: Solo puede haber un favorito por defecto de tipo Texto. Es el modelo que responde tanto en el chat de la Consola SQL (dentro de Consultas) como en el chat general de LUCA, en la barra superior.
• Imagen: Solo puede haber un favorito por defecto de tipo Imagen, para las funcionalidades de LUCA que requieran un modelo de este tipo.
• Embeddings: En este caso el selector se llama Modelo global, ya que no está ligado a ningún tipo de consulta o chat concreto: es el modelo que usa LUCA para calcular los embeddings de las Colecciones.