El impacto de la IA en la práctica jurídica

La inteligencia artificial (IA), especialmente en su modalidad generativa, ha generado un impacto sin precedentes en el ámbito jurídico. Funciona como un sistema computacional que realiza tareas que atienden normalmente los humanos (^{Dignum, 2019}) a través de tres características: la autonomía, ya que tienen capacidad de tomar sus propias decisiones dependiendo de su entorno; la adaptabilidad, porque tiene la capacidad de entrenarse con nuevos datos para lograr funciones no previstas en su diseño inicial, y la interactividad, ya que se pueden relacionar de manera sencilla con usuarios y otros sistemas (^{Dignum, 2019}). Esto permite que la IA se utilice para procesar grandes volúmenes de datos, generar inferencias y responder preguntas jurídicas en lenguaje natural, lo que presenta oportunidades y desafíos únicos para la administración de justicia y el acceso equitativo a servicios legales. En particular, los chatbots jurídicos basados en IA tienen el potencial de resolver problemas sociales estructurales (^{Guío, 2020}), ya que ofrecen una vía de acceso simplificado y accesible para las personas que requieren asesoría legal preliminar, situación que reviste especial importancia en el contexto colombiano, donde el acceso a servicios legales sigue siendo limitado para amplios sectores de la población.

Esta capacidad permite abrir la puerta al cierre de brechas y al acceso a la justicia a través de mecanismos aparentemente sencillos, como el análisis de datos y la automatización de tareas repetitivas, que optimizan el uso de los recursos humanos y permiten dedicar mayor atención a la resolución de problemas complejos (^{Salas, Perona y Carrillo 2022}). Sin embargo, el uso de estas herramientas también suscita preocupaciones en torno a la transparencia algorítmica (capacidad de explicar el funcionamiento de los algoritmos en decisiones automatizadas), la protección de datos de los usuarios (^{Guío, 2020}), como principales pilares de atención; pero se tiene además otras preocupaciones como los sesgos que se puedan presentar desde el diseño (^{Veale y Binns, 2017}), la excesiva carga sobre el usuario de protegerse de una tecnología que no entiende (^{Solove, 2023}), la probabilidad de uso malicioso (^{Dignum, 2019}), la probabilidad de manipulación del usuario (^{Pasquale, 2015}), la falta de incentivos o de capacidad de los diseñadores para crear herramientas éticas (^{Veale y Binns, 2017}) y el problema de los algoritmos invisibles (^{Pasquale, 2015}), que hacen que exista la posibilidad de que haya algoritmos que rigen las actividades de inteligencias artificiales y que no han sido programados por ningún diseñador.

En estudios recientes se han analizado los desafíos técnicos y conceptuales. Una metodología efectiva para el diseño de chatbots debe incluir técnicas de elicitación de requisitos (procesos para definir y documentar las necesidades del usuario) y análisis de flujos conversacionales, especialmente en chatbots de preguntas y respuestas orientadas al ámbito jurídico, donde la precisión y la claridad son determinantes para brindar una orientación adecuada a los usuarios (^{Astruga, 2020}). Con el estado del arte actual de la IA, este proceso de lanzamiento se puede realizar en periodos muy cortos de tiempo, y aunque pueden existir inconvenientes de funcionamiento¹ (^{Rosati y Lamarca 2023}), la cualidad de aprendizaje de estos modelos y el desarrollo de los diseñadores, prometen que pronto se contará con una herramienta que cumpla con los altos niveles de certeza que requiere la asesoría jurídica.

Sin embargo, el desarrollo y uso de chatbots en entornos jurídicos plantea dos facetas: por una parte, populariza el acceso a la información legal; pero por otra, plantea desafíos éticos y normativos que pueden afectar tanto a los usuarios como a las entidades que ofrecen estos servicios. El rápido crecimiento de herramientas como el ChatGPT resalta la necesidad urgente de establecer marcos regulatorios específicos que aborden las limitaciones inherentes de estos sistemas, evitando riesgos potenciales para los usuarios (^{Rosati y Lamarca, 2023}). Sin embargo, el establecer este marco regulatorio también sufre de su propia dualidad, porque puede encontrar límites que sirvan para proteger al usuario de todos los riesgos, pero también puede afectar el disfrute y, por consecuencia, los beneficios que devienen del avance tecnológico.

La Unión Europea (UE) ha liderado la creación de un marco regulador que clasifica los sistemas de IA en función de su nivel de riesgo: inaceptable, alto y bajo o mínimo, lo que permite diferenciar las normativas aplicables a cada caso. Esta regulación, conocida como el AI Act (^{Unión Europea, 2024}), es pionera en su intento por mitigar riesgos sin obstruir el avance tecnológico. La UE ha clasificado los chatbots como sistemas de riesgo moderado y ha propuesto la supervisión de su uso, priorizando la protección de los derechos fundamentales y la seguridad de los usuarios. El informe del ^{Congreso Nacional de Chile (2023)}, que investiga los avances en regulación de la IA a nivel global, subraya que la UE planea crear una oficina de inteligencia artificial para monitorear la implementación de esta ley y supervisar los sistemas de IA que interactúan directamente con la ciudadanía, como los chatbots jurídicos (^{Weidenslaufer y Roberts, 2023}). Esto proyecta determinación en la vocación regulatoria y una identificación temprana de riesgos, que, por el rápido crecimiento de la tecnología, su rápida adopción por el público en general, y la suerte e imprevisibilidad en los efectos de este crecimiento, se puede calificar como una posición diligente y proactiva del ente regulador.

En Estados Unidos, la regulación de la IA aún no se ha consolidado en un marco único, pero existen iniciativas federales y estatales que buscan proteger a los consumidores y promover la transparencia de los algoritmos en sectores clave. Estas políticas, si bien están aún en fase preliminar, reconocen la importancia de los sistemas de decisión automatizados y su impacto en la vida cotidiana. La autorregulación promovida por grandes corporaciones estadounidenses ha servido como un primer paso para gestionar el impacto de la IA mientras el país define un marco regulador definitivo(^{Weidenslaufer y Roberts, 2023}), lo que amplía el espectro de mitigación de riesgos, ya que no solo recae la responsabilidad en los entes reguladores, sino también en los diseñadores y distribuidores de IA.

Por otra parte, China ha adoptado un enfoque más restrictivo, con regulaciones específicas para algoritmos de recomendación y servicios de IA generativa, herramientas que generan texto, imágenes u otros contenidos basándose en patrones aprendidos de grandes conjuntos de datos. Estas normativas destacan la relevancia de establecer límites claros en la creación de contenido por parte de chatbots y otros sistemas generativos, particularmente en situaciones que afectan la privacidad y seguridad de los datos (^{Weidenslaufer y Roberts, 2023}).

Por su parte, la implementación de chatbots jurídicos en Colombia, a pesar de no tener una regulación específica cuenta con el marco ético colombiano para la IA, propuesto en el documento CONPES 3975, busca establecer directrices para el desarrollo ético de tecnologías basadas en IA, considerando tanto el respeto a los derechos fundamentales como la necesidad de evitar prácticas discriminatorias (^Guío,2020).

De esta manera, una mirada global de los marcos regulatorios permite establecer que se está ante una época de movimientos regulatorios incipientes, ya que la incertidumbre de los efectos de la regulación paraliza a los congresos, pero también se puede observar un consenso frente a la necesidad de proponer marcos de acción para los diseñadores.

Perspectivas teóricas sobre la IA en la asesoría jurídica

Los conceptos permiten analizar la implementación de chatbots jurídicos en Colombia, los límites normativos y éticos que les aplican, y los principios que guían su desarrollo seguro y responsable. Para contextualizar el análisis, es importante definir conceptos clave como la inteligencia artificial (IA), el chatbot y la asesoría jurídica, y explorar las implicaciones de la responsabilidad profesional del abogado en este contexto. Además, examinar los principios de neutralidad regulatoria y los derechos fundamentales como límites al uso de la IA en servicios jurídicos automatizados.

Inteligencia artificial (IA) y chatbot jurídico

La inteligencia artificial es, de acuerdo con el concepto adoptado por la Organización para la Cooperación y el Desarrollo Económicos (OCDE) y acogido por la Corte Constitucional de Colombia en la Sentencia T-323 de 2024, un sistema que permite inferir decisiones a partir de entradas y salidas específicas, actuando en entornos físicos y virtuales sin intervención humana directa (^{Corte constitucional de Colombia, 2024}). Este concepto resalta la autonomía de los sistemas de IA para analizar información y generar respuestas de manera adaptativa, lo cual es fundamental en los chatbots jurídicos. La capacidad de estos sistemas para “entender” y responder a las consultas de los usuarios los convierte en herramientas ideales para proporcionar asesoría preliminar, aunque con limitaciones inherentes que deben ser comprendidas y gestionadas por sus operadores.

Un chatbot jurídico es un programa informático diseñado para interactuar con el usuario mediante lenguaje natural, ofreciendo respuestas a preguntas específicas sobre temas legales. Los chatbots jurídicos funcionan mediante algoritmos de procesamiento de lenguaje natural (NLP, por sus siglas en inglés) (^{Astruga, 2020}), cuyo nivel de precisión ha aumentado considerablemente en los últimos años por la irrupción de herramientas de inteligencia artificial que simulan el lenguaje natural, y están orientados a guiar al usuario en áreas básicas del derecho. A diferencia de los sistemas expertos jurídicos, que están orientados a la toma de decisiones avanzadas de carácter heurístico y no algorítmico (^{Martínez , 2012}), los chatbots jurídicos se limitan a la provisión de información y orientación básica, por lo que no reemplazan la labor del abogado.

Asesoría jurídica y responsabilidad profesional del abogado

La asesoría jurídica comprende el acto de orientar a una persona sobre sus derechos y obligaciones legales, proporcionando información sobre las posibles acciones legales que puede emprender en una situación particular. Esta actividad, que constituye un primer paso esencial en el ejercicio del derecho de acceso a la justicia, está regulada en Colombia y su ejercicio profesional está limitado a los abogados, quienes están sujetos a responsabilidad profesional y pueden incurrir en sanciones si se demuestra negligencia o falta de diligencia en su asesoría (Consejo Superior de la Judicatura, 2012). En el contexto de los sistemas conversacionales legales, si bien estos sistemas no ofrecen asesoría en el mismo sentido que un abogado, es importante que la información proporcionada sea precisa y clara para evitar perjudicar a los usuarios.

La responsabilidad profesional del abogado implica una obligación de diligencia en la asesoría proporcionada, y cualquier error grave o negligencia puede acarrear sanciones o consecuencias legales para el abogado o la entidad que ofrece el servicio. En el caso de la asesoría legal fundamentada en IA, si bien no reemplazan el juicio profesional de los profesionales del derecho, los desarrolladores y operadores del sistema pueden verse expuestos a responsabilidad en caso de que la información proporcionada sea incorrecta o genere daños al usuario, como establece el Estatuto del Consumidor (^{Ley 1480 de 2011}) en cuanto a la responsabilidad de los proveedores de servicios (Congreso de la República, 2011).

Responsabilidad civil y régimen de consumo

El régimen de consumo colombiano establece que los proveedores de bienes y servicios, incluyendo aquellos que operan plataformas automatizadas de asesoría legal, deben garantizar la idoneidad, calidad y seguridad del servicio que ofrecen. La responsabilidad civil en el contexto de los bots, como servicio de consumo, se centra en la necesidad de garantizar que la información proporcionada sea precisa y adecuada. En caso de errores o desinformación, el usuario podría tener derecho a una compensación si se demuestra que el servicio no cumplió con los estándares mínimos de calidad establecidos por la Ley 1480 de 2011 (^{Congreso de la República, 2011}).

Los estándares mínimos de servicio dictados por el Estatuto del Consumidor son fundamentales en la asesoría jurídica automatizada, pues el chatbot no solo debe procesar las consultas de manera adecuada, sino también reflejar normativas vigentes y evitar sesgos en su asesoría. La transparencia informativa es un aspecto crucial en esta responsabilidad, ya que los usuarios deben estar informados de las limitaciones inherentes de la tecnología y de que el chatbot no sustituye la asesoría de un profesional jurídico. En ese sentido, se deben tener en cuenta los disclaimers adecuados para informar de manera clara al usuario de cuál es el real alcance de un sistema de procesamiento de lenguaje natural y de las dificultades de precisión que puede presentar, con la claridad específica que no suple las funciones de un abogado, y además, el diseñador debe contemplar que no es suficiente un disclaimer si no cumple con los estándares mínimos que debería tener un chatbot jurídico, como ser entrenado en el área de conocimiento, tener acceso a información actualizada, pertinente y verídica, ya que de no contar con esto se pueden generar escenarios de responsabilidad en términos de consumo.

Neutralidad regulatoria frente a los avances tecnológicos

La neutralidad regulatoria es un principio que sostiene que la normativa debe aplicarse de forma uniforme a los servicios, independientemente de la tecnología empleada. Este enfoque implica que los proyectos de IA, incluyendo las interfaces legales fundamentadas en IA, deben observar las mismas disposiciones legales que otros servicios análogos en el mercado, de modo que no existan privilegios ni limitaciones excesivas en su operación. En Colombia, la Corte Constitucional ha sostenido que la regulación debe ser neutral frente a los avances tecnológicos para evitar distorsiones en el mercado y asegurar que los ciudadanos accedan a las nuevas tecnologías bajo condiciones de equidad (^{Corte Constitucional, 2024}). En este sentido, la regulación de los chatbots jurídicos debería centrarse en garantizar la protección del usuario y la transparencia, sin imponer restricciones desproporcionadas que impidan su desarrollo.

La neutralidad regulatoria también implica que, aunque los chatbots jurídicos empleen IA, deben cumplir con las leyes vigentes en materia de protección al consumidor, derechos de autor, protección de datos y transparencia en los servicios de asesoría legal, adaptando su funcionamiento a las normativas aplicables sin necesidad de regulaciones específicas adicionales.

Derechos fundamentales: privacidad, igualdad y protección de datos

Los derechos fundamentales de los usuarios representan límites cruciales para el desarrollo de chatbots jurídicos. El derecho a la privacidad, protegido en Colombia por la Ley 1581 de 2012, establece que los datos personales de los usuarios deben ser tratados de manera confidencial y segura (^{Congreso de la República, 2012}). Esto implica que los desarrolladores de plataformas deben implementar medidas de seguridad para prevenir el acceso no autorizado y garantizar que solo se recojan los datos necesarios para el servicio.

El derecho a la igualdad implica que los sistemas de IA deben operar sin sesgos que discriminen a los usuarios por motivos de género, raza, condición socioeconómica u otras características personales. Según la hoja de ruta para la adopción ética y sostenible de la inteligencia artificial en Colombia del Ministerio de Ciencia y Tecnología (2023), los algoritmos de IA en Colombia deben diseñarse para evitar sesgos y asegurar que los servicios se ofrezcan de manera justa a todos los ciudadanos, respetando el principio de igualdad ante la ley.

Por su parte, el derecho a la protección de datos personales exige que los chatbots jurídicos informen claramente a los usuarios sobre la finalidad de la recolección de datos y respeten los derechos de acceso, rectificación y supresión de los datos personales, establecidos en la Ley 1581 de 2012. La Corte Constitucional (2024) ha señalado en la Sentencia T-323 de 2024 que cualquier sistema de IA que afecte los derechos de los ciudadanos debe operar con transparencia y permitir a los usuarios comprender cómo se utilizan sus datos.

Estos son los tres derechos que son protagonistas en la mayoría de propuestas regulatorias; sin embargo, no son los únicos involucrados. Según ^{Mantelero (2022)}, se deben contemplar escenarios que no solo se centren en la protección de datos y privacidad, que parecen ser los problemas más preocupantes en el panorama global, sino también derechos fundamentales como la libertad de expresión, reunión, trabajo, no discriminación o el debido proceso en un escenario jurisdiccional. Definitivamente, existe un espectro más alto donde varios derechos fundamentales que ni siquiera se han contemplado, por lo que vale la pena extender el enfoque tradicional de análisis de creación normativa para prever la mayoría de las consecuencias. Para ello, como lo propone el mismo autor, entran en juego los sistemas de autorregulación ética que contemplen afectaciones que hoy no vemos (^{Mantelero, 2022}).

Normativa en Colombia

La normativa colombiana que aplica a los chatbots jurídicos integra aspectos de protección de datos personales, responsabilidad civil y transparencia en el uso de inteligencia artificial (IA), estableciendo un marco general para su implementación en servicios legales. Esta sección explora los principios de la Circular Externa No. 002 de 2024 de la ^{Superintendencia de Industria y Comercio (SIC) (2024)} sobre el tratamiento de datos personales en sistemas de IA, la Sentencia T-323 de 2024 de la Corte Constitucional (2024), que define parámetros específicos para la utilización de IA en la administración de justicia, aplicables a la implementación de chatbots jurídicos en general y aún más reciente el Acuerdo del ^{Consejo Superior de la Judicatura (2024)}, que aunque está circunscrito al uso de la IA en la rama judicial, sirve de abrebocas de las visiones de regulación que se pretenden implementar en el país.

La Circular Externa No. 002 de 2024, emitida por la ^{SIC (2024)}, establece directrices sobre el tratamiento de datos personales en sistemas de IA en Colombia, basadas en la Ley 1581 de 2012 Ley de Protección de Datos Personales (^{Congreso de la República, 2012}). La circular se aplica

obligatoriamente a todas las entidades que traten datos personales en Colombia y establece los siguientes principios clave: neutralidad regulatoria, accountability (responsabilidad demostrada), privacidad desde el diseño y la implementación de medidas de seguridad adecuadas.

Desde ese contexto, la neutralidad regulatoria aplicada a las plataformas automatizadas de asesoría legal, aunque estas operen bajo IA, deben cumplir con las mismas normativas que cualquier otro servicio de asesoría. En el caso colombiano, los chatbots que tratan información personal están sujetos a la Ley de Habeas Data; si manejan temas de propiedad intelectual, deben observar las disposiciones en esa materia (^{Dirección Nacional de Derecho de Autor, 2024}); y si causan daños, pueden ser responsables conforme a los regímenes civil, comercial o de consumo.

La Sentencia T-323 de 2024 de la ^{Corte Constitucional (2024)}, que evaluó el uso de IA en la administración de justicia, estableció principios y parámetros que también pueden ser aplicables por analogía a la implementación de chatbots jurídicos. La sentencia se enfoca en asegurar la transparencia y la protección de derechos fundamentales en el uso de IA, proponiendo una serie de principios y requisitos que deben observarse en sistemas de alto riesgo.

La sentencia establece los principios de transparencia, responsabilidad, privacidad, no sustitución de la racionalidad humana, seriedad, verificación, prevención de riesgos, igualdad, equidad, control humano, regulación ética y adecuación a buenas prácticas. Estos principios buscan asegurar que la IA respete los derechos de los usuarios, especialmente en contextos de alto impacto social, como la administración de justicia o la asesoría jurídica automatizada.

La Corte propone una metodología de evaluación de riesgo para los sistemas de IA, exigiendo que se identifiquen y clasifiquen los posibles impactos negativos sobre los derechos fundamentales de los usuarios. Para los sistemas de alto riesgo, como los chatbots jurídicos, se exige una evaluación rigurosa que incluya medidas de mitigación y pruebas de seguridad, en cumplimiento con los principios de privacidad desde el diseño y accountability. Además, se deben aplicar auditorías periódicas para garantizar el cumplimiento de estas normativas y proteger a los usuarios de posibles fallos en la toma de decisiones automatizadas.

Por último, se encuentra el Acuerdo del ^{Consejo Superior de la Judicatura (2024)}, “por el cual se adoptan lineamientos para el uso y aprovechamiento respetuoso, responsable, seguro y ético de la inteligencia artificial en la Rama Judicial”. En este acuerdo, se encuentran las primeras definiciones de una autoridad estatal de los conceptos de alucinación, sesgo, explicabilidad y procesamiento de lenguaje natural (^{Consejo Superior de la Judicatura, 2024}). Además, imponen algunas obligaciones a los funcionarios de la rama judicial, como la de utilizar únicamente sistemas de IA autorizados por la entidad, informarse y capacitarse para su uso, y limitaciones más novedosas, como no poder usar sistemas de carácter gratuito ni utilizar sistemas de IA que no permitan conocer los datos utilizados para su funcionamiento, y no entregar información sensible a sistemas que se apropien de esos datos o lo utilicen para entrenar sus modelos (^{Consejo Superior de la Judicatura 2024}). Con las restricciones de este acuerdo y el análisis de los sistemas de IA que hoy se encuentran en el mercado, se puede concluir que se excluyen todas las soluciones existentes a la fecha, ya que, por asuntos de competitividad, es muy probable que ningún sistema habilite la consulta de sus datos de funcionamiento de manera abierta. Además, debido al mismo funcionamiento de la IA generativa, es difícil encontrar un sistema que no se apropie de la información para su propio aprendizaje. Pueden pensarse medidas menos restrictivas del uso, como la anonimización (^{Veale y Binns, 2017}) de la información sensible o la implementación de auditorías por parte de terceros confiables (^{Veale y Binns, 2017}) que puedan certificar el correcto funcionamiento en materia de derechos fundamentales de los sistemas de IA.

Las normativas actuales no abordan de forma exhaustiva temas críticos como el sesgo algorítmico, la transparencia en los procesos de decisión de la IA y la necesidad de estándares técnicos específicos para los sistemas que ofrecen asesoría jurídica automatizada. Sin embargo, los principios establecidos en la Circular 002 de la SIC y en la Sentencia T-323 representan pasos significativos hacia una regulación coherente que permita la innovación sin descuidar la protección de los derechos de los usuarios. Además, introducen la implementación de la autorregulación ética, lo que representa una herramienta aún más útil que la propia regulación estatal, ya que, con el rápido progreso de la tecnología y su difícil predictibilidad, cualquier regulación está destinada a volverse rápidamente obsoleta. Vale la pena también considerar el escenario contrario, donde están las regulaciones de autoridades estatales que imponen límites grandes; por ejemplo, el ejercicio regulatorio del Consejo Superior de la Judicatura que incluso justificadamente, ya que se hace en pro de la protección del derecho fundamental al debido proceso, excluye la mayoría de las herramientas. Una de las problemáticas actuales de la justicia en Colombia es el congestionamiento (^{Consejo Superior de la Judicatura, 2022}), resulta poco razonable que se limite el uso de tecnologías que atacan de manera directa y efectiva este problema, habiendo alternativas menos lesivas.

Propuesta de guía práctica para la implementación de chatbots jurídicos en Colombia

La falta de regulación específica y la complejidad de los marcos normativos existentes, como la Ley 1581 de 2012 y el Estatuto del Consumidor, requieren de una guía que oriente a las entidades interesadas en implementar esta tecnología de manera ética, segura y conforme a la ley.

Sin embargo, la falta de regulación específica no significa que no exista. La Circular Externa No. 002 de 2024 de la Superintendencia de Industria y Comercio (SIC) y la Sentencia T-323 de 2024 de la Corte Constitucional ofrecen parámetros normativos y éticos que deben considerarse al diseñar e implementar sistemas de IA como los chatbots jurídicos. Estas normativas destacan principios como la privacidad desde el diseño, la responsabilidad demostrada (accountability), la transparencia y la protección de derechos fundamentales, los cuales constituyen pilares fundamentales de esta propuesta.

La importancia de esta guía radica en su capacidad para brindar una hoja de ruta clara y práctica, que permita a las entidades públicas y privadas implementar chatbots jurídicos de manera responsable, maximizando sus beneficios sociales mientras se minimizan los riesgos asociados al tratamiento de datos personales, sesgos algorítmicos y errores en la asesoría legal.

Principios para la implementación responsable

Los principios mencionados guían la implementación de chatbots jurídicos en Colombia para operar de manera ética, transparente y efectiva, a fin de minimizar los riesgos involucrados en esta tecnología. El propósito de estos principios no es solo asegurar que se cumplan los estándares normativos, sino también garantizar que se promueva la confianza del usuario y se respeten los derechos fundamentales del usuario.

El primer principio, la privacidad desde el diseño y por diseño, fundamentado en parte en la Circular Externa No. 002 de 2024, que implementa la noción de privacidad desde el diseño, es decir, que la privacidad se emplea en cada fase del sistema hasta la ejecución; asimismo, asegura que la autoevaluación se recolecte en la medida de lo necesario, aplicando técnicas como la despersonalización, encriptación y la evaluación de impactos para la identificación temprana y contingencia del riesgo (^{Superintendencia de Industria y Comercio, 2024}): y por otra parte, desde las propuestas de regulaciones éticas (^{Dignum, 2019}) se establece la privacidad por diseño, que propende porque el sistema de IA al momento de decidir autónomamente lo haga siempre en protección de la privacidad y los derechos fundamentales del usuario.

En segundo lugar, la adopción de marcos éticos, que se han vuelto globales en el contexto de la IA. Entre los objetivos de la inteligencia artificial desarrollados por la creación de chatbots, se encuentra la gestión de marcos éticos en la toma de decisiones para evitar la reproducción de prejuicios y ser justos y equitativos. También porque, al enfrentarse a una regulación que siempre va a tornarse insuficiente, el diseño de sistemas centrados en la ética y los derechos humanos otorga la flexibilidad de implementación y crecimiento de una forma socialmente responsable (^{Mantelero, 2022}). Un ejemplo común de este tipo de marco es el modelo posteriormente desarrollado por el Banco Interamericano de Desarrollo cuando expone la explotación de NLP (natural language processing) en un chatbot 2023 (^{Banco Interamericano de Desarrollo, 2023}) o también propuestas como el marco de ART (accountability, responsibility, transparency) propuesto por Virginia ^{Dignum (2019)}. La adopción de estos principios éticos no solo garantiza la legitimidad de la herramienta, sino que también la apertura de la gestión.

También, resulta útil recurrir a terceros confiables (trusted third-party implementation) (^{Veale y Binns, 2017}) que buscan delegar la auditoría de los sistemas de IA para identificar de manera temprana eventos de discriminación o perjuicio a los usuarios como medida para asegurar la calidad y la seguridad del chatbot. Aunque en Colombia aún no se ha consolidado esta figura, la tendencia internacional sugiere que la cooperación con organizaciones autorizadas y auditores independientes debe ser crucial para la debida supervisión. Se puede concluir que aquellos terceros confiables deberán estar involucrados en la realización de auditorías, la concepción de riesgos y la verificación de la conformidad con disposiciones normativas específicas (^{Rosati y Lamarca, 2023}).

Por último, la capacitación para el diseñador (^{Dignum, 2019}), que impulsa que todos los actores involucrados en los procesos de creación de estos sistemas se capaciten en materia de protección de privacidad y derechos humanos en general. La formación de los desarrolladores y diseñadores en protección de derechos se convierte en una necesidad para los entes interesados en crear un chatbot jurídico. El rango de esta capacitación debería abarcar la comprensión no solo de las regulaciones nacionales como la Ley 1581 de 2012, sino también de los códigos internacionales, como los presentados en el AI Act de la Unión Europea (UE). De esta manera, la formación proporcionará una comprensión y un marco necesarios para los responsables de esta tecnología para seguir y cumplir con sus referentes jurídicos y éticos.

Cumplimiento normativo: obligaciones específicas

En virtud del principio de neutralidad regulatoria, los chatbots jurídicos deben cumplir con todas las normativas aplicables a plataformas tecnológicas, independientemente de que utilicen inteligencia artificial. Este cumplimiento normativo incluye varias disposiciones específicas que son obligatorias en Colombia.

Primera, según la Ley del Estatuto del Consumidor, los chatbots deben cumplir con condiciones mínimas de calidad e información (Congreso de la República, 2011). En este sentido, las plataformas deben (a) presentar términos y condiciones de una manera clara y fácil de leer, describir el alcance del sistema a fondo y (b) colocar un aviso (disclaimer) a la vista del usuario que definiera el alcance del asesoramiento según este sistema propio de un modelo de lenguaje predictivo y no un sistema experto, que no sustituye la asesoría de un abogado profesional.

En segundo lugar, se debe verificar el cumplimiento de la Ley 1581 de 2012 en términos de habeas data. Esto se logrará mediante (c) la implementación de la regulación de tratamiento de datos en las que se informe al usuario acerca de la finalidad específica de la recolección de información y los derechos asociados. Además, (d) debe haber un documento de aviso de privacidad accesible que le permita al usuario saber, de manera sencilla, cómo se recolectan, procesan y almacenan sus datos personales, siempre garantizando el consentimiento informado del usuario.

Además, la Circular Externa No. 002 de 2024 introduce la obligación de implementar mecanismos de responsabilidad, que obligan a los operadores a (e) establecer los sistemas de gestión del riesgo y controles posteriores para garantizar la conformidad. También, el responsable debe (f) realizar un estudio de impacto en la privacidad (PIA) que, en parte, describe los riesgos del tratamiento de datos personales y, en parte, presenta las medidas respectivas para afrontarlo. El incumplimiento de las medidas de control impone al responsable una responsabilidad integral ante las personas a quienes concierne la información y las autoridades administrativas respectivas.

Finalmente, la Corte Constitucional, a través de la Sentencia T-323 de 2024, establece la necesidad de (g) realizar auditorías al sistema de IA para evidenciar mucho más allá su impacto frente a los derechos fundamentales. Así, dentro de las auditorías obligatorias frente a estos sistemas, se exige verificar el riesgo de sesgo algorítmico y evaluar el impacto en las poblaciones vulnerables. Además, sugieren realizar auditorías con un modelo de autorregulación ética o participar con terceros de confianza. Lo anterior contribuye en términos de transparencia y rendición de cuentas frente a su disposición para este tipo de tecnologías.

Esta guía fusiona principios éticos, específicamente la privacidad desde el diseño y la capacitación técnica, con obligaciones normativas específicas y las ha unido en un marco integral para la aplicación responsable de chatbots jurídicos en Colombia. Por tanto, este enfoque permite que tales herramientas tecnológicas no solo cumplan con las normas legales, sino que también faciliten el acceso a la justicia y protejan los derechos legales y humanos.