Saltar al contenido
06 · Especializados06 · Specialised

Seguridad de IA / LLMAI / LLM Security

Prompt injection, data poisoning, model inversion.Prompt injection, data poisoning and model inversion.

AI SecurityAI Security Servicios verticales para riesgos específicosVertical services for specific risks

¿Qué es este servicio?What is this service?

Es el lado defensivo y de arquitectura de la seguridad de los sistemas con inteligencia artificial: qué permisos tiene el agente y sobre qué puede actuar, qué filtros hay en la entrada y en la salida, cómo se aísla el contexto entre usuarios, de dónde sale el dato que alimenta al modelo y quién responde por él. El lado ofensivo, romper el sistema para ver dónde cede, es el servicio de Red Teaming de IA y LLM.

The defensive and architectural side of securing artificial intelligence systems: what permissions the agent holds and what it may act on, which filters sit on input and output, how context is isolated between users, where the data feeding the model comes from and who is accountable for it. The offensive side, breaking the system to see where it gives, is the Red Teaming for AI and LLM service.

¿Para qué se usa?What is it used for?

El problema de fondo no es el modelo sino los permisos que se le concedieron. Un asistente que solo responde preguntas tiene un riesgo acotado; el mismo asistente conectado al correo, a la base de datos de clientes y con capacidad de ejecutar acciones es una cuenta de servicio muy potente que obedece a texto no confiable. Ahí el control no está en el prompt: está en la arquitectura.

The underlying problem is not the model but the permissions granted to it. An assistant that only answers questions carries limited risk; the same assistant wired to email, to the customer database and able to execute actions is a very powerful service account that obeys untrusted text. At that point the control is not in the prompt: it is in the architecture.

Qué beneficios traeBenefits it delivers

  • Acota el daño posible: si el agente solo puede hacer tres cosas, tres cosas es el techo del incidente.
  • Evita la fuga silenciosa de datos, que es el caso más común y el que nadie detecta: información sensible que sale en una respuesta a quien no debía verla.
  • Ordena el gobierno del dato que alimenta al modelo, incluido qué se puede usar para entrenar y qué no.
  • Deja trazabilidad de lo que el sistema hizo y por qué, que es imprescindible cuando alguien reclama.
  • Caps the possible damage: if the agent can only do three things, three things is the ceiling of the incident.
  • Prevents silent data leakage, the most common case and the one nobody spots: sensitive information surfacing in an answer to somebody who should not see it.
  • Puts governance around the data feeding the model, including what may and may not be used for training.
  • Leaves traceability of what the system did and why, which is essential when somebody complains.

¿En qué momentos es obligatorio?When is it mandatory?

Costa RicaCosta Rica

  • No hay legislación específica de inteligencia artificial en Costa Rica.
  • Sí aplica la Ley 8968 cuando el sistema trata datos personales, incluidos los que el usuario escribe en el chat y los que se usan para entrenar o afinar el modelo.
  • Hay una reforma de la ley de datos en trámite legislativo que aún no se aprueba, y conviene diseñar pensando en un marco más exigente que el actual.
  • There is no specific artificial intelligence legislation in Costa Rica.
  • Law 8968 does apply when the system processes personal data, including what users type into the chat and what is used to train or fine-tune the model.
  • A reform of the data protection law is still going through the legislature, and it is wise to design for a stricter framework than the current one.

InternacionalInternational

  • La referencia técnica del sector es el OWASP Top 10 para aplicaciones con modelos de lenguaje, que ordena los riesgos y sus controles.
  • La Unión Europea aprobó un reglamento de inteligencia artificial con obligaciones escalonadas según el riesgo del sistema: las organizaciones que venden allí deben revisar en qué categoría caen.
  • Existen normas de gestión de sistemas de IA que ya se están pidiendo en contratos corporativos, aunque ningún regulador local las exija.
  • The sector technical reference is the OWASP Top 10 for applications using language models, which orders the risks and their controls.
  • The European Union approved an artificial intelligence regulation with staged obligations according to system risk: organisations selling there need to check which category they fall into.
  • AI management system standards exist and are already appearing in corporate contracts, even where no local regulator requires them.

Requisitos mínimosMinimum requirements

  • El inventario de los sistemas de IA en uso, incluidos los que un equipo contrató por su cuenta y nadie registró.
  • La arquitectura real: qué herramientas puede invocar el agente, con qué credenciales y contra qué sistemas.
  • Claridad sobre el dato: de dónde sale, qué clasificación tiene y qué acuerdo hay con el proveedor del modelo sobre su uso.
  • Un responsable del sistema del lado del negocio, porque muchas decisiones aquí no son técnicas sino de apetito de riesgo.
  • An inventory of the AI systems in use, including the ones a team signed up for on its own and nobody registered.
  • The real architecture: which tools the agent can invoke, with which credentials and against which systems.
  • Clarity on the data: where it comes from, how it is classified and what agreement exists with the model provider about its use.
  • A system owner on the business side, because many decisions here are about risk appetite rather than technology.

Plazo típico de entregaTypical delivery time

4 a 10 semanas 4 to 10 weeks rango habitual del mercado usual market range

El rango habitual va de cuatro a diez semanas. Cae en el extremo bajo para un caso de uso único y acotado. Se va al alto cuando hay varios agentes con acceso a sistemas internos, integraciones con datos de clientes o desarrollo propio sobre modelos. Después conviene revisarlo cada vez que se le amplían permisos al agente, que suele ser más seguido de lo que la dirección cree.

The usual range runs from four to ten weeks. It lands low for a single, narrow use case. It stretches high with several agents reaching internal systems, integrations with customer data or in-house development on top of models. Afterwards it is worth revisiting every time the agent gets more permissions, which tends to happen more often than management realises.

NomenclaturaTerminology

Las siglas y estándares que aparecen en esta ficha, explicados. The acronyms and standards used on this page, explained.

LLMLLM
Modelo de lenguaje de gran tamaño: el motor detrás de los asistentes que generan texto. Large language model: the engine behind assistants that generate text.
Inyección de promptPrompt injection
Texto malicioso metido en un documento o página que el modelo lee y obedece como si fuera una instrucción legítima del usuario. Malicious text placed in a document or page that the model reads and obeys as if it were a legitimate user instruction.
RAGRAG
Técnica que le da al modelo acceso a los documentos de la organización para responder con ellos. Todo lo que se cargue ahí es alcanzable por quien pregunte. A technique giving the model access to the documents of the organisation so it answers from them. Anything loaded there is reachable by whoever asks.
Envenenamiento de datosData poisoning
Contaminar deliberadamente la información con la que se entrena o alimenta el modelo para alterar sus respuestas. Deliberately contaminating the information used to train or feed the model in order to alter its answers.
GuardrailGuardrail
Control que filtra lo que entra y lo que sale del modelo. Ayuda, pero no sustituye limitar los permisos del sistema. A control filtering what goes into and out of the model. It helps, but does not replace limiting the system permissions.