Psicometría y Machine Learning

Por: Gabriel Alejandro Bernal Rojas
Psicólogo, Universidad Nacional de Colombia
Magíster en Analítica para la Inteligencia de Negocios, Pontificia Universidad Javeriana

Big Data, Machine Learning, Data Mining, Artificial Intelligence, Data Science, Deep Learning, son algunos de los términos omnipresentes en la actualidad, tal vez un tanto pomposos por ser anglicismos asociados a la jerga corporativa, pero que cada vez remiten a más aplicaciones, tanto en ámbitos comerciales como académicos, en parte gracias al auge de las grandes compañías de tecnología y al desarrollo de las capacidades informáticas (fenómenos que vienen de la mano), aunque lo cierto es que los fundamentos matemáticos de estas aproximaciones se pueden rastrear hasta mediados del siglo pasado.

En paralelo con la evolución de estas aproximaciones han venido emergiendo diferentes campos interdisciplinares, en los cuales el adjetivo computacional acompaña prácticamente cualquier disciplina científica: lingüística, sociología, neurociencia, economía, biología, genómica, y un largo etc. En este panorama, ya se habla de ciencias sociales computacionales (Hox, 2017) o Big Data en Psicología (Adjerid & Kelley, 2018), reconociendo el potencial de este enfoque para la investigación, así como para el abordaje de problemas aplicados. Por citar solo un ejemplo, Dwyer et al. (2018) muestran cómo podrían mejorar las decisiones diagnósticas en contextos de psicoterapia, gracias al uso de técnicas de Machine Learning.

A la luz de estas reflexiones, en el presente texto se exponen algunas ideas acerca de la integración entre la psicología y el enfoque de Machine Learning. Para empezar, se presentan algunas definiciones de base; posteriormente, se discute el rol de la psicometría en esta colaboración y se presentan ejemplos de posibles líneas de trabajo; finalmente, se plantean algunas conclusiones preliminares, así como algunas críticas y desafíos por resolver.

Big Data y Machine Learning: ¿Y eso con qué se come?

En términos generales, al hablar de Big Data se está haciendo referencia al tamaño y la estructura de un conjunto de datos, por lo que se define en términos del clásico paradigma de las tres v’s: volumen, velocidad y variedad (Alexander et al., 2020). En este sentido, el Big Data incluye componentes complejos relacionados con la extracción, la recolección, la preparación, la transformación, el almacenamiento, el análisis, la indexación, la búsqueda y la visualización de datos, por lo que involucra diferentes áreas de las ciencias de la computación (Markowetz et al. 2014).

De acuerdo con lo anterior, se está hablando de grandes volúmenes de información disponible en entornos digitales, producida incluso en tiempo real y de forma continua y longitudinal, no siempre completamente estructurada, proveniente de diferentes canales y modalidades, incluyendo texto y multimedia, que pueden corresponder a miles, cientos de miles o incluso millones de individuos, por lo que, teniendo en cuenta su enorme dimensionalidad (en muchas ocasiones puede haber más variables que sujetos), no va a encajar en la típica matriz rectangular (Hox, 2017). En este sentido, algunos autores han planteado un paralelo Big Data y la caja de datos de Cattell (Adjerid & Kelley, 2018), en tanto se abarcan las intersecciones intra e interindividuales de Personas X Variables, Personas X Ocasiones y Variables X Ocasiones, lo que lleva, de paso, a evocar la Teoría de la Generalizabilidad de Cronbach (Alexander et al. 2020). Desde el punto de vista de las ciencias sociales y del comportamiento es innegable que aquí existe una valiosísima fuente de información que puede ser explorada y usada para probar hipótesis y teorías.

Ahora bien, el manejo de estos complejos volúmenes de información requiere de un componente metodológico y es aquí donde aparece el Machine Learning, un conjunto de algoritmos empleados para la analítica de estructuras de Big Data (Markowetz et al. 2014), que permiten detectar (aprender) patrones y tendencias en la información, así como propiedades de las entidades, con el apoyo de la estadística y las ciencias de la computación. En general, se pueden distinguir dos grandes tipos de aprendizaje: supervisado (predicción de variables continuas o clasificación de variables categóricas) y no supervisado (agrupación de objetos o variables con características similares), aunque existen tareas de aprendizaje que combinan estos dos propósitos (Hox, 2017; Orrú et al. 2020). Por su parte, Gonzalez (2021) se refiere al Machine Learning como un “subcampo de la inteligencia artificial que trata con algoritmos estadísticos orientados a los datos, que aprenden patrones a partir de los mismos y mejoran con la experiencia” (pág. 239), mientras que Chapman et al. (2016) indican que este campo encuentra sus fundamentos en la Teoría del Aprendizaje Estadístico.

De acuerdo con lo anterior, en contraste con la estadística “tradicional”, que se enfoca en el ajuste de los modelos y la inferencia (procedimientos estándar en el análisis científico desde la primera mitad del S. XX), el Machine Learning está orientado a la exploración, la predicción y el pronóstico, por lo que se suele hablar de algoritmos “agnósticos”, con los cuales incluso es posible lograr niveles prácticamente idénticos de precisión en una misma tarea, aun cuando partan de supuestos diferentes, pero que permiten solucionar problemas no lineales complejos, con datos usualmente poco estructurados (por ejemplo, clasificadores Näive Bayes, Máquinas de Vectores de Soporte, Redes neuronales artificiales, Random Forest, Boosting, etc., así como técnicas tradicionales, como regresiones logísticas, análisis de componentes principales, clustering, etc.) (Orrú et al., 2020).

¿Y ahí cómo va la psicometría? Una intersección posible con el Machine Learning

Dado su carácter cuantitativo y su aporte histórico en la incorporación de las matemáticas y la estadística en la psicología, la psicometría es el terreno natural para que se dé esta colaboración. Como Stark afirma, desde una visión filosófica y crítica, “un campo en el centro de esta integración contemporánea de la psicología y la computación es la psicometría” (2018, p. 206). Así mismo, Cipresso & Immekus (2017) concluyen que “el uso de nuevas tecnologías y nuevos métodos solamente puede ser impulsado por nuevos psicólogos, en particular nuevos psicómetras que confíen en el actual conocimiento de la ciencia psicológica en su estado actual, pero que también puedan construir nuevas formas de pensar acerca de contextos, experimentos, estudios y, sobre todo, intervenciones psicológicas”. Igualmente, Gonzalez (2021) considera posible esta integración, pues ve similitudes entre los dos enfoques: “el proceso de aprendizaje en Machine Learning, al entrenar un modelo con una parte de la base de datos y evaluarlo con otra parte de la misma, es muy similar a los pasos que se siguen en la calibración de ítems y puntajes en evaluaciones de gran escala o en las rutinas de análisis factorial exploratorio-confirmatorio” (p. 249).

Esta integración ha sido propuesta desde hace varios años. Por ejemplo, algunos autores han planteado el término psico-informática, para referirse al empleo de tecnologías de Big Data en el ámbito de la psicometría a nivel investigativo y aplicado (Markowetzet al, 2014; Montag et al, 2016), llegando incluso a afirmar que representa el cambio metodológico más importante desde el inicio de la psicología o la psiquiatría.

Más recientemente, la psicómetra Alina von Davier acuñó el término Psicometría Computacional, para definir un paradigma que combina el uso de herramientas de Big Data y Machine Learning con la vanguardia de la investigación teórica en psicometría (como el Diseño Centrado en la Evidencia o los Modelos Multidimensionales de Diagnóstico Cognitivo), para desarrollar modelos que posibiliten el manejo de nuevos tipos de datos y la integración holística de sistemas de enseñanza, aprendizaje y evaluación (von Davier et al, 2019). Esta noción ha cobrado valor, pues ha llamado la atención de instituciones reconocidas en el campo de la psicometría, como el National Council for Measurement in Education (NCME), que le dedicó un espacio en su encuentro anual de 2020 (Zumbo, 2020).

En esta misma línea, Mislevy (2019) del Educational Testing Service (ETS), quien ha colaborado con von Davier, también ha analizado la integración de la psicometría y la minería de datos en contextos de evaluación compleja que involucran métodos diferentes a los test tradicionales (con interactividad, en entornos digitales, a través de juegos y simulaciones, que exigen productos y procesos complejos, y requieren colaboración y aprendizaje durante la evaluación). En este sentido, Mislevy aborda la siguiente pregunta: “¿Cómo podemos integrar las ventajas complementarias de los métodos psicométricos y la analítica de aprendizaje para nuestro beneficio?” (p. 2).

De forma concreta, esta integración se puede operacionalizar de distintas formas. Por ejemplo, Markowetz et al. (2014) o Cipresso & Immekus (2017), entre otros, llaman la atención sobre las posibilidades de evaluación que se abren al contar con datos provenientes de tecnologías de realidad virtual, sensores y dispositivos móviles -como teléfonos celulares y wearables-, que permiten recolectar información de forma menos intrusiva y, por lo tanto, más espontánea y libre de las distorsiones asociadas a las técnicas tradicionales de auto informe, como complemento a las técnicas actualmente disponibles en la psicología y las neurociencias. En esta dirección, por ejemplo, Alexander et al. (2020) o Wiernik, et al. (2020) discuten sobre el uso del Big Data y el Machine Learning para la evaluación de la personalidad a partir de las huellas tecnológicas de los individuos, las cuales suministran datos no intrusivos, ubicuos, continuos y longitudinales de comportamiento, los cuales facilitarían el estudio de las fluctuaciones situacionales y temporales de la personalidad.

Por otra parte, Dolce, Marocco, Maldonato, & Sperandeo (2020) señalan el potencial para los análisis de confiabilidad o de validez convergente. Entre tanto, Orrú et al. (2020) afirman que las técnicas de feature selection (identificación de las variables con la mejor capacidad predictiva) y feature engineering (derivación de nuevas variables a partir de variables disponibles) pueden ser de utilidad en el desarrollo de instrumentos durante la fase de selección de ítems.

A continuación, se presentan algunos ejemplos concretos de aplicaciones del paradigma del Machine Learning a la psicometría. La selección y forma de agrupar los ejemplos es más bien arbitraria y superficial, por lo que no constituye un estado del arte o una revisión sistemática, aunque esta exploración preliminar brinda una perspectiva de posibles líneas de trabajo e investigación. Igualmente, se debe tener en cuenta que, por razones de extensión, no es posible describir en detalle los métodos, resultados y conclusiones de estos ejemplos.

Desarrollo de instrumentos y selección de ítems

Mediante algoritmos de reducción de estructuras de datos con alta dimensionalidad, Chapman et al. (2016) lograron seleccionar un subconjunto de ítems del Inventario de Personalidad de Eysenck (EPI), con alta capacidad predictiva de diferentes causas de mortalidad. De forma similar, Dolce et al. (2020) describen una metodología para la reducción de una escala psicométrica, a partir de la selección de ítems mediante redes neuronales artificiales que permitieron identificar los ítems de mayor capacidad predictiva para el diagnóstico psicopatológico, conservando las propiedades psicométricas del instrumento original. También Sahdra et al (2016) abreviaron una escala de rasgos de evitación, seleccionando un subconjunto de ítems que preservaron las propiedades psicométricas del instrumento original (estructura factorial, correlaciones con medidas de criterio), utilizando algoritmos genéticos, una técnica computacional basada en los principios de la evolución darwiniana. En el ámbito de las pruebas cognitivas, Sun & Ye (2019) emplearon modelos de regresión LASSO, usados como técnica de feature selection, para identificar patrones de relación ítem-rasgo en bancos de ítems de pruebas adaptativas computarizadas (CAT) multidimensionales.

Estudios de validez

En este ámbito hay ejemplos variados. Gonzalez (2021), mediante simulaciones Monte Carlo comparó la precisión de una clasificación diagnóstica en niños (trastorno oposicionista desafiante), usando técnicas psicométricas (puntuaciones TRI) o de Machine Learning (Algoritmos Random Forest), encontrando resultados comparables entre las dos aproximaciones.

Por otra parte, Ferreira, et al. (2021), combinaron técnicas estándar, como análisis factoriales y coeficientes alfa de Cronbach, con algoritmos de Machine Learning, como máquinas de vectores de soporte y redes neuronales artificiales, para analizar la validez del Cuestionario Internacional de Actividad Física con mujeres en climaterio. También, Uljarević, et al. (2021) presentan un estudio de validación basado en una aproximación de Big Data en el cual, usando modelos de ecuaciones estructurales y procedimientos de validación cruzada de Machine Learning, analizan las estructuras factoriales de una serie de escalas para la evaluación del espectro autista. Igualmente, Cipreso et al. (2019) analizaron la capacidad discriminativa de un conjunto de indicadores psicofisiológicos para la medición del estrés mental agudo, empleando técnicas estadísticas tradicionales y algoritmos computacionales.

Otra vertiente interesante tiene que ver con el uso de técnicas de minería de texto. Por ejemplo, Garcia, et al. (2020) presentan un proceso de validación de inventarios de personalidad a partir del uso de herramientas del procesamiento del lenguaje natural y la lingüística computacional (en coherencia con los llamados modelos léxicos de la personalidad), llegando incluso a proponer una “Teoría Semántica Cuantitativa de los Tests”. En esta misma línea, Kjell et al. (2021) examinaron la validez del uso de algoritmos de análisis semántico para la evaluación de la armonía y la satisfacción vital, mientras que Kjell et al. (2021) pusieron a prueba este enfoque para la evaluación de indicadores clínicos de depresión, ansiedad y preocupación.

Calificación y análisis de preguntas abiertas

Acá se identifican trabajos como el de Kumar & Boulanger (2020), quienes usaron redes neuronales artificiales como técnica de feature selection para identificar índices lingüísticos de cohesión textual o diversidad léxica, entre otros, para la calificación y retroalimentación formativa de ensayos escritos por estudiantes. Otro trabajo ilustrativo es el de Wahlen, et al. (2020), en el cual se analizó la convergencia entre los resultados obtenidos por calificadores humanos y un sistema basado en algoritmos de Machine Learning, para calificar conocimientos pedagógicos en profesores de economía. Una variación interesante es el estudio de Zehner et al. (2018), en el que compararon contenidos cognitivos de las respuestas de niños y niñas en las pruebas PISA.

Desarrollo de nuevos procedimientos de evaluación

Acá se pueden mencionar trabajos como el de Polyak et al. (2017), quienes exponen una metodología para la evaluación en tiempo real de habilidades colaborativas para la solución de problemas, a partir de datos conductuales obtenidos en una situación de juego diseñada para estudiantes escolares. Así mismo, aunque es difícil encontrar trabajos en el contexto iberoamericano, se referencia el trabajo de Ivanov et al. (2020), quienes presentan una propuesta de evaluación en entornos digitales para evaluar la zona de desarrollo proximal, a partir de un modelo matemático basado en modelos de rasgos latentes y psicometría computacional.

Otras aplicaciones posibles

Finalmente, se encuentran investigaciones interesantes en relación con la detección de sesgos de respuesta en el MMPI (Mazza, et al., 2020), detección de copia (Toton & Maynes, 2019), o análisis de información imagenológica (Qiu & Nan, 2020). Igualmente, se identifican posibles usos en los tradicionales análisis de valor agregado en evaluaciones educativas (Levy, et al., 2020) y aplicaciones interesantes para la implementación de sistemas de retroalimentación del desempeño estudiantil en pruebas sumativas (Schipper et al. 2021), los cuales, a través de algoritmos de recomendación como los empleados por servicios Netflix, Amazon o Spotify, suministran a cada estudiante ítems de entrenamiento para posteriores evaluaciones.

A modo de cierre: Algunas reflexiones críticas

A pesar de su creciente popularidad, estas aproximaciones no han estado exentas de críticas. En general, en los ámbitos más conservadores de la psicología se puede percibir cierta resistencia, al ser un campo tradicionalmente dominado por la perspectiva hipotético-deductiva y la prueba de hipótesis, en donde ha predominado una orientación a la explicación y el modelamiento estadístico, diferente al enfoque del Machine Learning más centrado en los datos y la predicción, aunque estas herramientas hayan sido ampliamente aceptadas en otros escenarios académicos como la lingüística computacional o la bioinformática (Chapman et al 2016; Dolce et al, 2020).

No obstante, se debe tener en cuenta que las dos aproximaciones no son necesariamente excluyentes, sino complementarias. Por ejemplo, los algoritmos de Machine Learning tienen el potencial de abordar problemas perdurables en la investigación psicológica, como las dificultades de replicabilidad, pues la evaluación del desempeño de los algoritmos de Machine Learning incluye su grado de generalizabilidad, mediante procedimientos de validación cruzada (Orrú et al 2020), sin descuidar la rigurosidad metodológica y la importancia de formular preguntas de investigación adecuadas.

De otra parte, son usuales y válidas las preocupaciones éticas, como las relacionadas con aspectos de privacidad (Markowetz et al. 2014). Piénsese por ejemplo en el trabajo pionero del Centro de Psicometría de Cambridge (https://www.psychometrics.cam.ac.uk), que hace ya casi una década realizó un estudio ampliamente citado sobre el uso de perfiles de Facebook para identificar perfiles psicométricos de personalidad (Kosinski et al. 2013), cuyos datos terminaron filtrándose a Cambridge Analytica, dando lugar al famoso escándalo por la incidencia de esta firma en la campaña presidencial de los Estados Unidos en 2016 (Orrú et al. 2020). En esta perspectiva, y desde un análisis filosófico y político, Stark (2018) plantea la idea de una “psicometría algorítmica” y se refiere al self humano como un sujeto escalable, cuyo fenotipo digital se puede identificar a través de una psicometría digitalmente mediada. Desde esta perspectiva, la psicometría algorítmica remite al uso de plataformas tecnológicas para extraer, rastrear, clasificar y manipular información psicológica de los individuos.

En todo caso, como se evidenció, las aplicaciones resultantes de la intersección entre la psicometría y el Machine Learning son diversas (estudios de validación, desarrollo de instrumentos, etc.), abarcan diferentes ámbitos investigativos y aplicados (clínicos, educativos, organizacionales), e implican el abordaje de constructos variados (cognitivos y afectivos), todo lo cual proporciona un terreno fértil para la investigación, la proyección social, la extensión y la consultoría, siempre desde una perspectiva de interdisciplinariedad y trabajo colaborativo, que pone de relieve la importancia de fortalecer los procesos formativos de los actuales y futuros profesionales de la psicología, en aspectos técnicos, metodológicos, éticos e investigativos.

Para terminar, es importante aclarar que la consolidación de este campo emergente debe implicar una colaboración de doble vía, es decir, se debe entender que la psicometría también tiene mucho que aportar al campo de la ciencia de datos. Después de todo, en la historia de la inteligencia artificial no sería la primera vez que la psicología contribuya (Orrú et al 2020). Por ejemplo, en contextos de Big Data la información puede presentar características como incertidumbre, inconsistencia, transparencia, ambigüedad, entre otras (la gente publica información falsa, en redes sociales circulan publicaciones realizadas por bots, etc.), que pueden ser equivalentes a problemas de validez interna, externa, de constructo, así como a preocupaciones por aspectos de confiabilidad, justicia y privacidad, con los cuales la metodología psicométrica tiene amplia experiencia (Adjerid & Kelley, 2018; Alexander et al, 2020; Hox, 2017).

REFERENCIAS

Adjerid, I., & Kelley, K. (2018). Big Data in Psychology: A Framework for Research Advancement. American Psychologist, 73(7), 899-917. doi:10.1037/amp0000190

Alexander, L., Mulfinger, E., & Oswald, F. (2020). Using Big Data and Machine Learning in Personality Measurement: Opportunities and Challenges. European Journal of Personality, 34(5), 632-648. doi:10.1002/per.2305

Chapman, B., Weiss, A., & Duberstein, P. (2016). Statistical Learning Theory for High Dimensional Prediction: Application to Criterion-Keyed Scale Development. Psychological Methods, 21(4), 603-620. doi:10.1037/met0000088

Cipreso, P., Colombo, D., & Riva, G. (2019). Computational Psychometrics Using Psychophysiological Measures for the Assessment of Acute Mental Stress. Sensors, 19(781). doi:10.3390/s19040781

Cipresso, P., & Immekus, J. (2017). Back to the Future of Quantitative Psychology and Measurement: Psychometrics in the Twenty-First Century. Frontiers in Psychology, 8(2099). doi:10.3389/fpsyg.2017.02099

de Schipper, E., Feskens, R., & Keuning, J. (2021). Personalized and Automated Feedback in Summative Assessment Using Recommender Systems. Frontiers in Education, 6, 652070. doi:10.3389/feduc.2021.652070

Dolce, P., Marocco, D., Maldonato, M., & Sperandeo, R. (2020). Toward a Machine Learning Predictive-Oriented Approach to Complement Explanatory Modeling. An Application for Evaluating Psychopathological Traits Based on Affective Neurosciences and Phenomenology. Frontiers in Psychology, 11, 446. doi:10.3389/fpsyg.2020.00446 

Dwyer, D., Falkai, P., & Koutsouleris, N. (2018). Machine Learning Approaches for Clinical Psychology and Psychiatry. Annual Review of Clinical Psychology, 14, 91-118. doi:10.1146/annurev-clinpsy-032816-045037

Ferreira, R., Brant, J., Ives, L., de Carvalho, A., Rodrigues, M., Santos, F., . . . Silviera, M. (2021). Validity and precision of the International Physical Activity Questionnaire for climacteric women using computational intelligence techniques. PLoS ONE, 16(1), e0245240. doi:10.1371/journal.pone.0245240

Garcia, D., Rosenberg, P., Nima, A., Granjard, A., Cloninger, K., & Sikström, S. (2020). Validation of Two Short Personality Inventories Using Self-Descriptions in Natural Language and Quantitative Semantics Test Theory. Frontiers in Psychology, 11. doi:10.3389/fpsyg.2020.00016

Gonzalez, O. (2021). Psychometric and Machine Learning Approaches for Diagnostic Assessment and Tests of Individual Classification. Psychological Methods, 26(2), 236-254. doi:10.1037/met0000317

Hox, J. J. (2017). Computational Social Science Methodology, Anyone? Methodology European Journal of Research Methods for the Behavioral and Social Sciences, 13(Supplement), 3-12. doi:10.1027/1614-2241/a000127

Ivanov, I., Kosonogova, M., & Cárdenas-Cobo, J. (2020). Modelación matemática y algorítmica de los términos de la teoría del socioconstructivismo para un entorno educativo digital. Revista de Educación a Distancia (RED), 20(64). doi:10.6018/red.409761

Kjell, K., Johnsson, P., & Sikström, S. (2021). Freely Generated Word Responses Analyzed With Artificial Intelligence Predict Self-Reported Symptoms of Depression, Anxiety, and Worry. Frontiers in Psychology, 12, 602581. doi:10.3389/fpsyg.2021.602581

Kjell, O., Daukantaitė, D., & Sikström, S. (2021). Computational Language Assessments of Harmony in Life — Not Satisfaction With Life or Rating Scales — Correlate With Cooperative Behaviors. Frontiers in Psychology, 12, 601679. doi:10.3389/fpsyg.2021.601679

Kosinski, M., Stillwell, D., & Graepel, T. (2013). Private traits and attributes are predictable from digital records of human behavior. proc. natl. acad. sci.usa, 110(15), 5802-5805. doi:10.1073/pnas.1218772110

Kumar, V., & Boulanger, D. (2020). Explainable Automated Essay Scoring: Deep Learning Really Has Pedagogical Value. Frontiers in Education, 5, 572367. doi:10.3389/feduc.2020.572367

Levy, J., Mussack, D., Brunner, M., Keller, U., Cardos-Leite, P., & Fischbach, A. (2020). Contrasting Classical and Machine Learning Approaches in the Estimation of Value-Added Scores in Large-Scale Educational Data. Frontiers in Psychology, 11, 2190. doi:10.3389/fpsyg.2020.02190

Markowetz, A., Błaszkiewicz, K., Montag, C., Switala, C., & Schlaepfer, T. (2014). Psycho-Informatics: Big Data shaping modern psychometrics. Medical Hypotheses, 82(4), 405-411. doi:10.1016/j.mehy.2013.11.030

Mazza, C., Monaro, M., Orrù, G., Burla, F., Colasanti, M., Ferracuti, S., & Roma, P. (2020). Introducing Machine Learning to Detect Personality Faking-Good in a Male Sample: A New Model Based on Minnesota Multiphasic Personality Inventory-2 Restructured Form Scales and Reaction Times. Frontiers in Psychology, 10, 389. doi:10.3389/fpsyt.2019.00389

Mislevy, R. (2019). On Integrating Psychometrics and Learning Analytics in Complex Assessments. In H. Jiao, R. Lissitz, & A. Van Wie (Eds.), Data Analytics and Psychometrics: Informing Assessment Practices (pp. 1-52). Charlotte, NC: Information Age Publishing.

Montag, C., Duke, É., & Markowetz, A. (2016). Toward Psychoinformatics: Computer Science Meets Psychology. Computational and Mathematical Methods in Medicine, 2016. doi:10.1155/2016/2983685

Orrú, G., Monaro, M., Conversano, C., Gemignani, A., & Sartori, G. (2020). Machine Learning in Psychometrics and Psychological Research. Frontiers in Psychology, 10, 2970. doi:10.3389/fpsyg.2019.02970

Polyak, S., von Davier, A., & Peterschmidt, K. (2017). Computational Psychometrics for the Measurement of Collaborative Problem Solving Skills. Frontiers in Psychology, 8, 2029. doi:10.3389/fpsyg.2017.02029

Qiu, L., & Nan, W. (2020). Brain Network Constancy and Participant Recognition: an Integrated Approach to Big Data and Complex Network Analysis. Frontiers in Psychology, 11, 1003. doi:10.3389/fpsyg.2020.01003

Sahdra, B., Ciarrochi, J., Parker, P., & Scrucca, L. (2016). Using Genetic Algorithms in a Large Nationally Representative American Sample to Abbreviate the Multidimensional Experiential Avoidance Questionnaire. Frontiers in Psychology, 7, 189. doi:10.3389/fpsyg.2016.00189

Stark, L. (2018). Algorithmic psychometrics and the scalable subject. Social Studies of Science, 48(2), 204-231. doi:10.1177/0306312718772094

Sun, J., & Ye, Z. (2019). A LASSO-Based Method for Detecting Item-Trait Patterns of Replenished Items in Multidimensional Computerized Adaptive Testing. Frontiers in Psychology, 10, 1944. doi:10.3389/fpsyg.2019.01944

Toton, S., & Maynes, D. (2019). The Use of Data Mining Techniques to Detect Cheating. En H. Jiao, R. Lissitz, & A. Van Wie (Edits.), Data Analytics and Psychometrics: Informing Assessment Practices (págs. 77-108). Charlotte: Information Age Publishing.

Uljarević, M., Jo, B., Frazier, T., Scahill, L., Youngstrom, E., & Hardan, A. (2021). Using the big data approach to clarify the structure of restricted and repetitive behaviors across the most commonly used autism spectrum disorder measures. Molecular Autism, 12(1), 39. doi:10.1186/s13229-021-00419-9

von Davier, A., Deonovic, B., Yudelson, M., Polyak, S., & Woo, A. (2019). Computational Psychometrics Approach to Holistic Learning and Assessment Systems. Frontiers in Psychology, 4, 69. doi:10.3389/feduc.2019.00069

Wahlen, A., Kuhn, C., Zlatkin-Troitschanskaia, O., Gold, C., Zesch, T., & Horbach, A. (2020). Automated Scoring of Teachers’ Pedagogical Content Knowledge – A Comparison Between Human and Machine Scoring. Frontiers in Education, 5, 149. doi:10.3389/feduc.2020.00149

Wiernik, B., Ones, D., Marlin, B., Giordano, C., Dilchert, S., Mercado, B., . . . al’Absi, M. (2020). Using Mobile Sensors to Study Personality Dynamics. European Journal of Psychological Assessment, 36(6), 936-947. doi:10.1027/1015-5759/a000576

Zehner, F., Goldhammer, F., & Sälzer, C. (2018). Automatically analyzing text responses for exploring gender-specific cognitions in PISA reading. Large-scale Assessments in Education, 6, 7. doi:10.1186/s40536-018-0060-3

Zumbo, B. (2020). On Computational Psychometrics as a Validity Framework for Process Data [Online . Annual Meeting of the National Council for Measurement in Education (NCME). San Francisco, CA. Obtenido de https://brunozumbo.com/wp-content/uploads/2020/08/Zumbo-Computational-Psychometrics-session-NCME-2020.pdf