10. Chats

La funcionalidad de Chats en LUCA BDS permite a los usuarios interactuar con modelos de inteligencia artificial para realizar consultas y obtener respuestas en tiempo real.

Esta sección incluye la gestión de conversaciones mediante el historial de chats y sus herramientas, administración de modelos y configuración de Conexiones de datos.

Figura 10.1: Pestaña Chats

Chats (historial)

El historial de chats mantiene un registro de todas las conversaciones realizadas, proporcionando herramientas para gestionar y organizar las interacciones con los modelos de IA. El título se genera automáticamente con la primera interacción del chat.

Figura 10.2: Historial de chats

Descargar chat

Pulsando sobre el botón descargar (1), se guarda una copia del chat en formato txt dentro de la carpeta de descargas del equipo.

Borrar chat

Al lado del botón de descargar está el de borrar (2), que elimina toda la conversación.

Contraer listado de chats

A la izquierda del título del chat, en el panel central, encontramos el botón de contraer (3) el listado de chats. Si se encuentra contraído, servirá para extenderlo.

Administrar modelos

Para acceder a esta sección se debe hacer clic en el botón Administrar modelos.

Figura 10.3: Botón administrar modelos

Al acceder aparecen, en la parte izquierda de la ventana, las pestañas Público, Privado y Despliegues. La pestaña Público aparece preseleccionada.

Figura 10.4: Ventana de administración

A la izquierda aparece el organizador de grupos ya que, los modelos, como elemento de la aplicación que son, también están asociados a un grupo.

Dependiendo de la pestaña seleccionada en la pantalla de administración de modelos, se muestra la lista de modelos disponibles de cada tipo y un buscador de modelos en la parte superior.

La sección de modelos Públicos permite gestionar aquellos modelos que se alimentan de las APIs públicas de los principales proveedores.

En la pestaña Privado, la lista está formada por los modelos personalizados creados a partir de los elementos previamente desplegados en la pestaña Despliegues. Esto permite adaptar y configurar modelos específicos según las necesidades de cada grupo, aprovechando los recursos privados.

Pestañas Público, Privado y Despliegues

Sobre la lista de modelos aparecen los siguientes botones:

Figura 10.5: Botón añadir

• Añadir: Al pulsar el botón se abre una ventana de contexto que permite elegir el tipo de modelo que se quiere desplegar. Al pulsar sobre uno de ellos se carga, en el panel central, el formulario de configuración correspondiente (con pequeñas diferencias en la pestaña despliegues) que permite crear un nuevo modelo:

Figura 10.6: Propiedades

• Propiedades ** Modelo : Selecciona el modelo de la lista mediante el icono correspondiente. ** Versión : Elige la versión disponible para el modelo en el desplegable. ** Nombre : Asigna un nombre identificativo al modelo. ** Endpoint : Indica la dirección a la que se enviarán las llamadas al modelo. ** API Key : Introduce la clave configurada para el acceso al modelo. ** Incluir metadatos : Al activar esta opción, el modelo podrá acceder tanto a los datos generados durante la ejecución de las consultas SQL como a la propia consulta realizada. Esto permite ampliar el contexto disponible y mejorar el control sobre el resultado obtenido, facilitando respuestas más precisas y adaptadas a la información procesada en tiempo real. Si la opción está desactivada, el modelo únicamente recibirá el resultado final de la consulta, sin acceso a los datos intermedios ni a la consulta ejecutada. ** Grupo : Selecciona el grupo en el que se incluirá el modelo.

Figura 10.7: Prompt

• Prompt ** System Prompt : Define el mensaje base que el sistema utilizará para contextualizar la interacción con el modelo. ** User Prompt : Especifica el mensaje que el usuario introduce como consulta o instrucción. Por defecto "<|query|>". ** Assistant Prompt : Indica el mensaje que el asistente (modelo) utilizará como respuesta o guía. Por defecto "<|context|>". ** Límite de tokens : Establece el número máximo de tokens que se pueden emplear por semana. Desactivado funciona sin límites.

Figura 10.8: Parámetros

• Parámetros ** Parámetros : Selecciona un parámetro de la lista. ** Valor : Añade un valor. ** Parámetros seleccionados : Visualiza los parámetros previamente configurados

nota

Los parámetros disponibles para la configuración del modelo son los siguientes:

• frequency_penalty: Penaliza la repetición de palabras o frases. Valores altos reducen repeticiones, valores bajos permiten más libertad.
• logit_bias: Permite favorecer o prohibir ciertos tokens (palabras). Se pasa como un mapa de identificadores de token y sus sesgos.
• logprobs: Devuelve la probabilidad logarítmica de cada token generado, útil para depuración y análisis.
• top_logprobs: Número de alternativas de tokens y sus probabilidades a devolver en cada paso, junto con logprobs.
• max_completion_tokens: Límite de tokens que puede generar la respuesta, controla la longitud máxima de la salida.
• n: Número de respuestas distintas que el modelo debe generar para la misma entrada.
• presence_penalty: Penaliza la repetición de temas ya mencionados, promoviendo mayor variedad en la respuesta.
• response_format: Define el formato de salida. Puede ser "text", "json", "xml", etc.
• stop: Lista de secuencias que, si aparecen, detienen la generación automáticamente.
• temperature: Controla la aleatoriedad de la respuesta. Valores bajos (0.0) hacen la salida más determinista; valores altos (>1) la hacen más creativa o impredecible.
• top_p: Alternativa a temperature, limita las opciones a un subconjunto de tokens cuya probabilidad acumulada no supere el valor especificado.

La opción Desplegar del botón Añadir tiene un formulario particular.

En el apartado de propiedades se selecciona Modelo, Versión, Nombre para el modelo, Servidor (el cliente en el que se despliega el servidor de modelos de IA previamente configurado en Administración > Clientes), y un Grupo en el que incluirlo.

Figura 10.9: Propiedades de Despliegue

En los parámetros se introduce la API Key y se selecciona el Hardware que se va a utilizar para ejecutar el modelo (CPU o GPU).

Figura 10.10: Parámetros de Despliegue

La pestaña Despliegues mantiene un formulario de añadir simplificado porque la configuración del modelo se añade en el botón Conectar, que da acceso a un formulario similar al de Público y Privado. En Reiniciar se lanza el proceso de parar e iniciar el modelo en cuestión. Una vez desplegados, aparecen en la pestaña Privado donde se pueden configurar como expertos.

Figura 10.11: Conectar y Reiniciar

Figura 10.12: Botón editar

• Editar: Modifica la configuración del modelo resaltado.

Figura 10.13: Botón borrar

• Borrar: Elimina el modelo seleccionado.

Figura 10.14: Botón nuevo

• Nuevo Chat: Inicia una conversación (deshabilitado desde la pestaña despliegues) con el modelo elegido de la lista.

Figura 10.15: Botón recargar

• Recargar: Actualiza la lista de modelos.

Expertos SQL y LUCA

Además, en el caso de Público y Privado, se puede elegir si el modelo se convierte en predeterminado para algún tipo de consultas o chats, funcionando como experto. El sistema incorpora un selector de predeterminados que permite elegir entre los distintos modelos creados. En la sección de Administrar modelos, tanto en la pestaña Público como en Privado, los selectores aparecen situados sobre las especificaciones de cada modelo. Para seleccionar un modelo como predeterminado es suficiente con activar el selector correspondiente. De este modo, las consultas dirigidas a expertos son atendidas por los modelos seleccionados.

Figura 10.17: Expertos

Tipos de expertos disponibles:

• Experto SQL: El modelo marcado como experto SQL es el responsable de responder a las peticiones realizadas en el chat de la consola del apartado consultas.

• Experto LUCA: El modelo seleccionado como experto LUCA atiende las consultas específicas relacionadas con la funcionalidad y uso de la plataforma LUCA, situado en la barra superior junto al icono del escritorio de aplicaciones.

Nuevo chat

El sistema permite crear nuevos chats desde diferentes puntos de acceso para facilitar la interacción con los modelos.

• Desde pestaña Chat

Figura 10.18: Desde chat

Se puede iniciar un nuevo chat directamente desde la pestaña principal de Chat.

• Desde Administrar modelos

Figura 10.19: Desde modelos

También es posible crear un nuevo chat desde la sección de administración de modelos, lo que permite seleccionar un modelo específico para la conversación. Para ello, primero se seleccionará un modelo de la lista.

Contexto

Figura 10.20: Contexto

La funcionalidad de contexto permite proporcionar información adicional a los modelos para mejorar la precisión y relevancia de las respuestas.

Queries

Figura 10.21: Queries

Permite incluir consultas existentes como contexto para la conversación. Al desplegar la sección aparecen todas las consultas disponibles, listadas y agrupadas. Una vez seleccionadas, aparece un indicador rojo junto al botón parámetros, señalando que es necesario configurarlas antes de poder utilizarlas como contexto.

Parámetros

Figura 10.22: Parámetros

Configuración de parámetros específicos de las queries. Son los valores de los parámetros de entrada de las consultas y un tamaño máximo de consulta.

Figura 10.23: Configuración de parámetros

Una vez configurados los parámetros de las consultas seleccionadas, se pulsa el botón Confirmar. Si la configuración es correcta, aparece un icono naranja de verificación en cada consulta, indicando que están listas para utilizarse como contexto.

Buscador

Figura 10.24: Buscar

Herramienta de búsqueda para localizar elementos específicos dentro del contexto disponible.

Renovar

Figura 10.25: Renovar

Función para actualizar el contexto con información más reciente. Elimina la selección y la configuración de parámetros previa y recupera los últimos cambios en las consultas almacenadas.

Preguntar

Figura 10.26: Preguntar

Funcionalidad principal que permite realizar consultas a los modelos de IA y obtener respuestas basadas en el contexto proporcionado y las capacidades del modelo seleccionado. El selector de modelos permite, mediante un desplegable, elegir a cuál de los modelos creados realizar la consulta.