Existe una amplia preocupación por los problemas éticos y sociales que puede traer el desarrollo de la Inteligencia Artificial (IA), especialmente si se alcanza la singularidad (el momento en el que la IA sobrepase la inteligencia humana). Debido a ello, algunos han argumentado que para evitar dichos problemas es imperante una “alineación de valores” (value alignment; Gabriel 2020) para asegurarnos de que las técnicas computacionales desarrolladas reflejan nuestra ética y nuestras normas y así garantizar que la IA será benéfica y no destructiva. Esta alineación de valores no tiene que darse con respecto a “la teoría ética correcta”, cualquiera que ella sea y si es que la hay (ibid), sino que la “IA será ética en la medida en que beneficie a la humanidad en su conjunto” y no sólo a unos cuantos (Montemayor 2023, p. 11). Por lo tanto, la pregunta central es cómo beneficiar a la humanidad en su conjunto y no sólo a unos cuantos. Una propuesta, es detener la investigación en IA hasta que “tengamos confianza en que los efectos serán positivos y los riesgos serán manejables” (FLI 2023). Otra propuesta es garantizar que la IA sea accesible para toda la humanidad (Montemayor 2023). Sin embargo, ambas propuestas tienen problemas que se analizarán. El problema de la segunda propuesta se presenta en el marco de la epistemología política. Para hacer claro el problema se explicará el valor epistémico de la democracia (Landemore 2021) y se señalará un nuevo tipo de desorden de la información (Wardle & Derakhshan 2017) que no está presente en la literatura: la información no representativa. Se argumentará que una condición necesaria para una adecuada alineación de valores es lo que llamaré una democratización profunda de la IA, i.e., no sólo garantizar que la IA sea accesible para toda la humanidad, sino que los datos de los que se alimente representen a la mayor cantidad de voces, idiomas y culturas posibles. Finalmente se especificarán algunos mecanismos posibles para implementarla. Palabras clave: Inteligencia artificial, alienación de valores, información no representativa, democratización profunda de la IA.