메뉴
HN
Hacker News • 55일 전

올바른 질문을 던지면 AI의 재무 조언은 놀랍도록 훌륭하다

IMP
8/10
핵심 요약

MIT 슬론 경영대학의 연구에 따르면, 대형 언어 모델(LLM)이 제공하는 재무 조언은 인간 재무 설계사의 높은 비용과 이해상충 문제를 해결할 수 있는 훌륭한 대안이 될 수 있습니다. 특히 사용자가 자신의 재무 상황과 경제적 가정을 구조화된 프롬프트로 명확하게 전달할 때, AI는 저축 증대와 분산 투자를 유도하는 매우 효과적인 조언을 제공했습니다. 다만, 실업 등 개인의 상황 변화에 유연하게 대처하거나 포트폴리오를 적극적으로 리밸런싱하는 세밀한 영역에서는 여전히 한계를 보입니다.

번역된 본문

점점 더 많은 사람들이 재무 조언을 구하기 위해 인공지능(AI)에 의존하고 있지만, 이를 따르는 것이 정말 재무 상태를 개선해줄 수 있을까요?

AI at Work는 매월 AI와 비즈니스의 교차점을 이끄는 연구와 인사이트를 제공합니다.

MIT 슬론 경영대학의 재무학 조교수이자 대형 언어 모델(LLM)이 제공하는 재무 조언의 질을 측정하고 분석한 새로운 논문의 공동 저자인 타하 초크만(Taha Choukhmane)은 “미국인의 절반이 재무 조언을 얻기 위해 AI를 사용하고 있다고 말하지만, 우리는 그들이 어떤 종류의 조언을 받고 있고 실제로 그 조언에 따라 행동하는지에 대해서는 거의 알지 못한다”고 말했습니다.

초크만 교수와 공동 저자들의 연구에 따르면, AI의 권고안을 따르면 30세 이상의 거의 모든 개인이 상당한 수준의 저축缓冲救(python save buffers/저축 여유 자금)를 확보할 수 있는 것으로 나타났습니다. AI는 사람들에게 경력 활동 기간 동안 저축하고, 은퇴 후에는 저축을 인출하며, 분산된 주식 펀드에 집중적으로 투자하고, 45세 이후에는 주식 투자 비중을 줄이라고 일관되게 조언했습니다. 하지만 AI 챗봇은 실업과 같은 경제적 충격에 적응하는 데는 다소 미흡했으며, 포트폴리오를 적극적으로 리밸런싱(Rebalancing)하기보다는 그대로 방치하는 경향을 보였습니다.

연구원들이 보다 구조화된 프롬프트(Prompts)를 도입했을 때 LLM이 제공하는 재무 조언의 질은 향상되었지만, AI는 여전히 적극적인 포트폴리오 리밸런싱을 충분히 제안하지 않는 경우가 많았습니다.

연구 방법

연구진은 사람들의 소득, 직업, 투자 및 세금이 평생에 걸쳐 어떻게 변화하는지를 반영하는 모델을 구축하여, 이른바 '좋은' 재무 결정이 어떤 모습인지에 대한 벤치마크를 마련했습니다. 그런 다음 1,000명의 성인을 표본으로 하여 GPT-5.2, GPT-5.6 또는 Gemini 3 Flash에게 지출 및 투자 조언을 구하는 자신만의 프롬프트를 직접 작성하도록 했습니다.

다음으로, 연구진은 22세부터 89세까지의 사람들이 시간이 지남에 따라 해당 조언을 따랐을 때 어떤 일이 발생할지 시뮬레이션했습니다. 이 과정에서 AI에게 동일한 유형의 질문을 반복적으로 묻고 지출, 저축 및 투자에 대한 조언을 따르는 방식을 적용했습니다.

마지막으로, 연구진은 개인의 전체 재무 정보와 명확한 가정을 포함하여 체계적으로 잘 작성된 '학술적 프롬프트'를 사용하여 동일한 실험을 반복했습니다. 이처럼 구체적인 프롬프트에는 개인의 나이, 직업 상태, 소득, 저축 잔액에 대한 정보와 경제 환경에 대한 가정이 포함되었습니다.

저자들은 일반 사용자가 작성한 프롬프트에 따른 AI 조언(시뮬레이션 결과)을 AI의 도움 없이 사람들이 기존에 하고 있던 재무 행동과 비교했습니다. 또한 해당 시뮬레이션 결과를 학술적 프롬프트를 통해 얻은 결과와도 비교했습니다.

결과는 LLM이 기존 인간 재무 설계사와 관련된 높은 비용, 편향성 및 이해상충 문제를 극복할 수 있도록 도와주는 저렴하고 접근성이 높은 재무 가이드의 원천이 될 수 있음을 보여주었습니다.

연구 결과 상세 분석

전반적으로 연구진은 LLM이 시간이 지남에 따라 제공하는 재무 조언이 훌륭하며, 특히 질문을 학술적이고 구조화된 방식으로 던질 때 그 질이 크게 향상된다는 것을 발견했습니다. 또한 이 모델들은 강점과 약점을 모두 가지고 있습니다.

  1. AI는 현명한 재무 행동을 장려합니다. 일반 사용자가 작성한 프롬프트든 학자가 작성한 프롬프트든 상관없이, LLM의 조언은 학자들의 예상보다 더 나았습니다. AI는 사람들을 더 높은 저축으로 이끌고, 주식 시장 참여를 늘리며, 잘 분산된 자산 배분과 연령에 맞는 위험 감수를 촉진했습니다. 초크만 교수는 “우리는 조언이 이렇게 좋을 줄 몰랐기 때문에 다소 놀랐다”며, “특히 사람들이 묻는 질문의 유형을 읽어보면, 그 조언이 학자들이 생각하는 좋은 재무 원칙과 일치할 것이라고 쉽게 기대하기 어려웠다”고 말했습니다.

  2. AI는 중요한 세부 사항을 놓칩니다. 더 나은 프롬프트가 도움이 될 수 있습니다. LLM의 조언은 훌륭한 재무 계획의 더 미묘하고 세밀한 측면에서는 다소 부족했습니다. AI는 저축과 지출에 있어 단순한 경험적 법칙(Rules of thumb)에 의존하는 경향이 있었으며, 상황이 변할 때 충분히 잘 적응하지 못했습니다. 예를 들어, 실직을 겪은 사람들에게 (연방 실업 수당 등) 추가적인 재정 지원 옵션이 있음에도 불구하고, 지출을 지나치게 가차 없이 줄이라고 조언했습니다.

원문 보기
원문 보기 (영어)
People are increasingly turning to artificial intelligence for financial advice, but will following it improve their financial standing? AI at Work Research and insights powering the intersection of AI and business, delivered monthly. Yes, I’d also like to subscribe to the Thinking Forward newsletter Email Leave this field blank “ Half of Americans say they are using AI to get financial advice, but we know very little about what kind of advice they’re getting and whether they’re acting on it,” said Taha Choukhmane , an assistant professor of finance at the MIT Sloan School of Management and co-author of a new paper that measures and analyzes the quality of financial advice given by large language models. Research by Choukhmane and co-authors showed that following AI recommendations can result in sizable saving buffers for virtually all individuals above age 30. AI consistently advised people to save during their working years, draw down savings in retirement, invest heavily in diversified stock funds, and reduce stock exposure after age 45. However, AI chatbots were less successful in adjusting to shocks like unemployment, and they allowed portfolios to drift rather than actively rebalancing them. The quality of financial advice given by LLMs improved when the researchers introduced more structured prompts, but the AI still often generated too little active portfolio rebalancing. How the study was conducted The researchers built a model reflecting how people’s incomes, jobs, investments, and taxes typically evolve over their lives, which gave them a benchmark for what “good” financial decisions look like. Then they asked a sample of 1,000 adults to write their own prompts seeking spending and investing advice from GPT-5.2, GPT-5.6, or Gemini 3 Flash. Next, they simulated what would happen if people from 22 to 89 years of age followed that advice over time, repeatedly asking AI these same types of questions and following its advice on spending, saving, and investing. Finally, they repeated the exercise using well-written academic prompts that included full financial information and clear assumptions. These more-detailed prompts included information on the individual’s age, job status, income, and savings balances, along with assumptions about the economic environment. The authors compared the simulated advice (what would happen if regular people followed the AI recommendations from the prompts they gave) to what people were already doing financially without the help of AI. They also compared the simulated advice to the academic prompt. The results showed that LLMs can offer an affordable, widely accessible source of financial guidance that can help users overcome the significant costs, biases, and conflicts of interest associated with traditional human financial advisors. Breaking down the findings Overall, the researchers found that the financial advice given by LLMs over time is good but gets better when the questions are asked in an academic fashion, and that the models have strengths and weaknesses. 1. AI encourages smart financial behavior. LLM advice was better than the scholars expected, regardless of whether the prompts were written by regular users or by academics. It steered people toward higher savings, increased participation in the stock market, and promoted well-diversified allocations and age-appropriate risk-taking. “We were somewhat surprised by how good the advice was,” Choukhmane said. “Especially when you read the kind of questions people asked, it was not a given that the advice would line up with what academics think are good financial principles.” 2. AI misses important nuances. Better prompts could help. The LLMs’ advice fell short on more subtle aspects of good financial planning. It tended to rely on simple rules of thumb for saving and spending and didn’t adjust well enough when circumstances changed. For example, it advised people who had experienced a job loss to cut spending too sharply, even when they had savings. The way people ask questions is part of the problem. A typical prompt might read: “Where should I invest starting with $50 and consistently adding $25 a month after?” When a more detailed, structured “academic” prompt was used, the LLM performed better. For example, an academic prompt might tell the chatbot to assume normal life expectancy, living expenditures, retirement age, employment risk, and income risk, and to assume that current U.S. tax law and Social Security rules will not change. “Regular people are not writing their prompts the way a finance professor is,” Choukhmane said. 3. AI advice varies depending on the user, which can lead to wealth gaps. The authors found that LLMs’ advice differs depending on the prompter’s gender, financial literacy, and experience, leading to meaningful gaps in retirement wealth. Following the advice in response to prompts written by men, more financially literate users, or those with prior AI experience generated about 5% more wealth close to retirement. Specifically, The LLM recommended higher equity allocations in response to prompts written by men and by individuals with high financial literacy. Over the life cycle, such differences in investment advice compounded into roughly $50,000 (4%) lower wealth at age 60 for women and for less financially literate users. The LLM recommended lower saving rates in response to prompts written by individuals who had not previously used AI for financial advice. Following the advice left them with almost $100,000 (6%) less wealth at age 60 than individuals with prior AI experience. These differences come from two sources, Choukhmane said. First, different users asked different kinds of questions and often brought up different topics. Women, for example, were more likely to use words such as “family,” “grocery,” and “pay” in their prompts, while men used words like “strategy,” “crypto,” and “growth,” he said. Artificial Intelligence for Financial Services In person at MIT Sloan Register Now Second, the model may give different advice even when the underlying question is the same. In the case of gender, about two-thirds of the gender gap in wealth outcomes could be attributed to differences in how men and women wrote their prompts, while the remaining third came from the model changing its advice when the same prompt was labeled as coming from a woman rather than a man. That latter pattern could reflect the LLM making reasonable inferences about how preferences or circumstances vary by gender — which, ideally, the model could make explicit to users, Choukhmane said — or it could reflect biases learned from training data. The challenge with AI financial advice is that there are no clear benchmarks, Choukhmane said. Only when there is an accepted framework for how advice should vary with demographics will LLMs be capable of progressing in the right direction. He said he remains hopeful that will happen. In addition, it’s important to remember that not all variation in advice is problematic, Choukhmane said. For example, “we want [the LLM] to have different bias because men and women are different and have different life expectancy and income risk,” he said. Takeaways for consumers Beyond being mindful of bias, and, for the time being, asking LLMs to guard against it, success boils down to smarter prompts. Prompts grounded in life-cycle planning, portfolio theory, and real-world financial assumptions improved advice on spending and saving and cut down on basic, rule-of-thumb answers. “I think the real challenge is, how do we make sure that AI financial advice delivers for people who don’t have [a] level of financial literacy and who don’t write prompts perfectly?” Choukhmane said. One idea for people interested in using AI for financial advice is to start by using AI as a tool for building financial understanding rather than simply following its advice. AI can serve as a good complement to working with a financial advisor — someone yo