top of page

Emotion AI in Hiring

The University of Texas at Austin // 2023

Co Workers

Summary

AI’s challenges with transparency and explainability have become engrained through all stages of the hiring process in the last decade. In this pilot study, we designed a mock interview experiment to quantify the impact of AI-driven facial emotion recognition. We wanted to know: Can those AI systems consistently and accurately measure emotions and objectively deduce behaviors from emotion-tracking data?

 

We conducted 9 remote mock interviews and analyzed the answers using an open source Facial Expression Recognition (FER) model on Python used for sentiment analysis of images and videos. We curated individualized analytics to understand the impact of AI emotion-tracking on video interviews and how such tools can be used for effective mock video interview preparation.

 

While facial recognition adds complexity and stress in interview settings, emotion-tracking outputs can be used for increased self awareness in behavioral interviews. We hope to empower people interviewed with AI and encourage transparency and helpful feedback loops from AI interview-prep companies.

Modern Workers

Opportunity

There is an increasing presence of virtual AI-led and AI-analyzed interviews in hiring processes. It is not uncommon for job applicants to go through several automated phases in the job application process before their application materials are viewed by a human. Automated phases preceding human interaction can include algorithmically targeted advertisement of a job position, completing an online application, passing a resume through an Applicant Tracking System (ATS), completing an online technical assessment, and undergoing a one-way interview through video or chat. There has been evidence that EAI systems relying on facial analysis don't function accurately on users with darker skin tones and can misinterpret people with disabilities, the elderly, or other under-represented groups. There is doubt that such technologies can consistently and accurately measure emotions and objectively deduce behaviors from emotion-tracking data.

Resources

Team
Silvia Dalben Furtado, AI in Journalism PhD Candidate: Literary Research and Critical Analysis
Kyle Soares, Computer Science MS Student: Application Research and Development
Dhanny Indrakusuma, Data Science MSIS Student: Data Analysis and Data Visualization
Vanessa Sanchez, HCI & Ethical AI MSIS Student: Project Management, UX Research and Design


Role & Skills
I developed the overall research methodology based on UX research techniques, managed the project timeline and defined deliverables. I also helped conduct interviews and designed customized interactive reports for each participant. Skills included UX, prototyping, survey design and analysis, remote interviews, project management, presentation design, academic writing, and IRB human subjects research training.

Tools
Figma
Google Survey
Google Docs
Google Sheets
Zoom
Open Source Python library (Kyle)
Dataset FER 2013 (Kyle)
Python (Dhanny)
 

Research Process

Lorem Ipsum
Lorem ipsum dolor sit amet, consectetur adipiscing elit. Sed suscipit felis id eleifend semper. Vestibulum vel purus consectetur, accumsan nunc at, fringilla ante. Etiam ultrices turpis eget vehicula sagittis. Vestibulum vitae rhoncus magna. Integer commodo lacinia varius. Vivamus scelerisque eu purus sed posuere. Duis iaculis tortor purus, vitae ultrices purus iaculis vitae. Donec tempus placerat mauris. Duis mollis est sed tincidunt suscipit. Vivamus gravida nisl lorem, at dapibus sem consequat sed. Nulla justo dui, tempus eu iaculis ut, ultrices ut est. Pellentesque vel lectus enim. Donec in congue mi.
Lorem Ipsum
Lorem ipsum dolor sit amet, consectetur adipiscing elit. Sed suscipit felis id eleifend semper. Vestibulum vel purus consectetur, accumsan nunc at, fringilla ante. Etiam ultrices turpis eget vehicula sagittis. Vestibulum vitae rhoncus magna. Integer commodo lacinia varius. Vivamus scelerisque eu purus sed posuere. Duis iaculis tortor purus, vitae ultrices purus iaculis vitae. Donec tempus placerat mauris. Duis mollis est sed tincidunt suscipit. Vivamus gravida nisl lorem, at dapibus sem consequat sed. Nulla justo dui, tempus eu iaculis ut, ultrices ut est. Pellentesque vel lectus enim. Donec in congue mi.
Lorem Ipsum
Lorem ipsum dolor sit amet, consectetur adipiscing elit. Sed suscipit felis id eleifend semper. Vestibulum vel purus consectetur, accumsan nunc at, fringilla ante. Etiam ultrices turpis eget vehicula sagittis. Vestibulum vitae rhoncus magna. Integer commodo lacinia varius. Vivamus scelerisque eu purus sed posuere. Duis iaculis tortor purus, vitae ultrices purus iaculis vitae. Donec tempus placerat mauris. Duis mollis est sed tincidunt suscipit.
Lorem Ipsum
Lorem ipsum dolor sit amet, consectetur adipiscing elit. Sed suscipit felis id eleifend semper. Vestibulum vel purus consectetur, accumsan nunc at, fringilla ante. Etiam ultrices turpis eget vehicula sagittis. Vestibulum vitae rhoncus magna. Integer commodo lacinia varius. Vivamus scelerisque eu purus sed posuere. Duis iaculis tortor purus, vitae ultrices purus iaculis vitae. Donec tempus placerat mauris. Duis mollis est sed tincidunt suscipit.
Lorem Ipsum
Lorem ipsum dolor sit amet, consectetur adipiscing elit. Sed suscipit felis id eleifend semper. Vestibulum vel purus consectetur, accumsan nunc at, fringilla ante. Etiam ultrices turpis eget vehicula sagittis. Vestibulum vitae rhoncus magna. Integer commodo lacinia varius. Vivamus scelerisque eu purus sed posuere. Duis iaculis tortor purus, vitae ultrices purus iaculis vitae. Donec tempus placerat mauris. Duis mollis est sed tincidunt suscipit.
Lorem Ipsum
Lorem ipsum dolor sit amet, consectetur adipiscing elit. Sed suscipit felis id eleifend semper. Vestibulum vel purus consectetur, accumsan nunc at, fringilla ante. Etiam ultrices turpis eget vehicula sagittis. Vestibulum vitae rhoncus magna. Integer commodo lacinia varius. Vivamus scelerisque eu purus sed posuere. Duis iaculis tortor purus, vitae ultrices purus iaculis vitae. Donec tempus placerat mauris. Duis mollis est sed tincidunt suscipit.
 
Lorem Ipsum
Lorem ipsum dolor sit amet, consectetur adipiscing elit. Sed suscipit felis id eleifend semper. Vestibulum vel purus consectetur, accumsan nunc at, fringilla ante. Etiam ultrices turpis eget vehicula sagittis. Vestibulum vitae rhoncus magna. Integer commodo lacinia varius. Vivamus scelerisque eu purus sed posuere. Duis iaculis tortor purus, vitae ultrices purus iaculis vitae. Donec tempus placerat mauris. Duis mollis est sed tincidunt suscipit.
Lorem Ipsum
Lorem ipsum dolor sit amet, consectetur adipiscing elit. Sed suscipit felis id eleifend semper. Vestibulum vel purus consectetur, accumsan nunc at, fringilla ante. Etiam ultrices turpis eget vehicula sagittis. Vestibulum vitae rhoncus magna. Integer commodo lacinia varius. Vivamus scelerisque eu purus sed posuere. Duis iaculis tortor purus, vitae ultrices purus iaculis vitae. Donec tempus placerat mauris. Duis mollis est sed tincidunt suscipit.

Research Findings

Lorem Ipsum
Lorem ipsum dolor sit amet, consectetur adipiscing elit. Sed suscipit felis id eleifend semper. Vestibulum vel purus consectetur, accumsan nunc at, fringilla ante. Etiam ultrices turpis eget vehicula sagittis. Vestibulum vitae rhoncus magna. Integer commodo lacinia varius. Vivamus scelerisque eu purus sed posuere. Duis iaculis tortor purus, vitae ultrices purus iaculis vitae. Donec tempus placerat mauris. Duis mollis est sed tincidunt suscipit.
Lorem Ipsum
Lorem ipsum dolor sit amet, consectetur adipiscing elit. Sed suscipit felis id eleifend semper. Vestibulum vel purus consectetur, accumsan nunc at, fringilla ante. Etiam ultrices turpis eget vehicula sagittis. Vestibulum vitae rhoncus magna. Integer commodo lacinia varius. Vivamus scelerisque eu purus sed posuere. Duis iaculis tortor purus, vitae ultrices purus iaculis vitae. Donec tempus placerat mauris. Duis mollis est sed tincidunt suscipit.

Challenges

Lorem Ipsum
Lorem ipsum dolor sit amet, consectetur adipiscing elit. Sed suscipit felis id eleifend semper. Vestibulum vel purus consectetur, accumsan nunc at, fringilla ante. Etiam ultrices turpis eget vehicula sagittis. Vestibulum vitae rhoncus magna. Integer commodo lacinia varius. Vivamus scelerisque eu purus sed posuere. Duis iaculis tortor purus, vitae ultrices purus iaculis vitae. Donec tempus placerat mauris. Duis mollis est sed tincidunt suscipit.
 
Lorem Ipsum
Lorem ipsum dolor sit amet, consectetur adipiscing elit. Sed suscipit felis id eleifend semper. Vestibulum vel purus consectetur, accumsan nunc at, fringilla ante. Etiam ultrices turpis eget vehicula sagittis. Vestibulum vitae rhoncus magna. Integer commodo lacinia varius. Vivamus scelerisque eu purus sed posuere. Duis iaculis tortor purus, vitae ultrices purus iaculis vitae. Donec tempus placerat mauris. Duis mollis est sed tincidunt suscipit.
Lorem Ipsum
Lorem ipsum dolor sit amet, consectetur adipiscing elit. Sed suscipit felis id eleifend semper. Vestibulum vel purus consectetur, accumsan nunc at, fringilla ante. Etiam ultrices turpis eget vehicula sagittis. Vestibulum vitae rhoncus magna. Integer commodo lacinia varius. Vivamus scelerisque eu purus sed posuere. Duis iaculis tortor purus, vitae ultrices purus iaculis vitae. Donec tempus placerat mauris. Duis mollis est sed tincidunt suscipit.

 
Lorem Ipsum
Lorem ipsum dolor sit amet, consectetur adipiscing elit. Sed suscipit felis id eleifend semper. Vestibulum vel purus consectetur, accumsan nunc at, fringilla ante. Etiam ultrices turpis eget vehicula sagittis. Vestibulum vitae rhoncus magna. Integer commodo lacinia varius. Vivamus scelerisque eu purus sed posuere. Duis iaculis tortor purus, vitae ultrices purus iaculis vitae. Donec tempus placerat mauris. Duis mollis est sed tincidunt suscipit.

Outcome

Lorem Ipsum
Lorem ipsum dolor sit amet, consectetur adipiscing elit. Sed suscipit felis id eleifend semper. Vestibulum vel purus consectetur, accumsan nunc at, fringilla ante. Etiam ultrices turpis eget vehicula sagittis. Vestibulum vitae rhoncus magna. Integer commodo lacinia varius. Vivamus scelerisque eu purus sed posuere. Duis iaculis tortor purus, vitae ultrices purus iaculis vitae. Donec tempus placerat mauris. Duis mollis est sed tincidunt suscipit.
Lorem Ipsum
Lorem ipsum dolor sit amet, consectetur adipiscing elit. Sed suscipit felis id eleifend semper. Vestibulum vel purus consectetur, accumsan nunc at, fringilla ante. Etiam ultrices turpis eget vehicula sagittis. Vestibulum vitae rhoncus magna. Integer commodo lacinia varius. Vivamus scelerisque eu purus sed posuere. Duis iaculis tortor purus, vitae ultrices purus iaculis vitae. Donec tempus placerat mauris. Duis mollis est sed tincidunt suscipit.

 
Lorem Ipsum
Lorem ipsum dolor sit amet, consectetur adipiscing elit. Sed suscipit felis id eleifend semper. Vestibulum vel purus consectetur, accumsan nunc at, fringilla ante. Etiam ultrices turpis eget vehicula sagittis. Vestibulum vitae rhoncus magna. Integer commodo lacinia varius. Vivamus scelerisque eu purus sed posuere. Duis iaculis tortor purus, vitae ultrices purus iaculis vitae. Donec tempus placerat mauris. Duis mollis est sed tincidunt suscipit.

Takeaways

Lorem Ipsum
Lorem ipsum dolor sit amet, consectetur adipiscing elit. Sed suscipit felis id eleifend semper. Vestibulum vel purus consectetur, accumsan nunc at, fringilla ante. Etiam ultrices turpis eget vehicula sagittis. Vestibulum vitae rhoncus magna. Integer commodo lacinia varius. Vivamus scelerisque eu purus sed posuere. Duis iaculis tortor purus.
Lorem Ipsum
Lorem ipsum dolor sit amet, consectetur adipiscing elit. Sed suscipit felis id eleifend semper. Vestibulum vel purus consectetur, accumsan nunc at, fringilla ante. Etiam ultrices turpis eget vehicula sagittis. Vestibulum vitae rhoncus magna. Integer commodo lacinia varius. Vivamus scelerisque eu purus sed posuere. Duis iaculis tortor purus.
Lorem Ipsum
Lorem ipsum dolor sit amet, consectetur adipiscing elit. Sed suscipit felis id eleifend semper. Vestibulum vel purus consectetur, accumsan nunc at, fringilla ante. Etiam ultrices turpis eget vehicula sagittis. Vestibulum vitae rhoncus magna. Integer commodo lacinia varius. Vivamus scelerisque eu purus sed posuere. Duis iaculis tortor purus.
Lorem Ipsum
Lorem ipsum dolor sit amet, consectetur adipiscing elit. Sed suscipit felis id eleifend semper. Vestibulum vel purus consectetur, accumsan nunc at, fringilla ante. Etiam ultrices turpis eget vehicula sagittis. Vestibulum vitae rhoncus magna. Integer commodo lacinia varius. Vivamus scelerisque eu purus sed posuere. Duis iaculis tortor purus.
bottom of page