🎤‘KBS 사장 교체 후 북한 관련 보도 증가했다?’ 뒷이야기

💬시민팩트체커 그룹 K.F.C.는 '뒷이야기'를 통해 팩트체크 과정에서 시민팩트체커들이 느낀 점을 남기고 기록합니다.

이번 뒷이야기는 'KBS 사장 교체 후 북한 관련 보도 증가했다?'(클릭)를 바탕으로 진행됩니다.

👍이번 콘텐츠에서 긍정적으로 평가하는 성과는?

• 바다
  • 단순한 주장을 보다 면밀하게 데이터를 활용해서 검증했다는 점이 가장 큰 성과였네요. 팩트체크를 하다보면 자연스럽게 데이터를 다루는 경우가 많아지는데요. 이번 검증에서도 로데이터 수집, 정제, 비교, 시각화 작업이 모두 이뤄졌습니다. 모두 다 완벽하게 이뤄지진 않았을지라도 큰 걸림돌 없이 진행됐네요.
• 재경
  • 우선 바다님의 의견에 크게 동의하구요. 기존 언론 보도에 대한 연구나 비판은 보통 언론사의 성향 차이에 따른 보도 변화에 초점을 맞추는 경우가 많았는데요. 언론사의 수뇌부에 따라 보도의 변화가 나타날 수 있다는 걸 데이터로 검증했다는 점이 큰 성과 중 하나라고 생각합니다.
  • 개인적인 성과로는 언론사별 데이터 수집을 코드를 통해 어떻게 하면 좋을지 공부가 많이 됐습니다. 

• 수호
  • 이번 검증 작업에서는 보통 '느낌'으로만 표현되는 다양한 요소들을 계량화시켜서 분석했다는 점이 기억에 남습니다. 북한 관련 보도를 어떻게 수량화할지, 북한 보도의 중요도를 어떻게 양적으로 판단할 수 있을지 등을 계속 고민했는데요. 완벽하진 않더라도 나름 만족할만한 결과물로 나온 것 같아 좋았습니다.

🏄이번 콘텐츠에서 아쉬웠던 점이 있다면?

• 바다
  • 과정이 조금 복잡했지만 내용만 놓고 보면 조금 더 빠르게 콘텐츠를 완성할 수 있었을 것 같은데요. 약간 느슨하게 작업 일정을 가지고 가서 늦어진 것 같네요. 금방 처리할 수 있는 일감은 빠르게 담당을 정하고, 마감 일정을 명확하게 하는 게 발행 일정을 앞당길 수 있는 방법이 아닐까 싶습니다.
• 재경
  • 저 역시 일정이 제일 아쉬웠는데, 데이터 수집 및 정리를 틈틈이 최대한 진행했지만 조금 더 강제성을 두고 빨리 할 수 있지 않았을까 하는 후회가 남습니다.
  • 거기에 더해, 조금 더 시간이 많았다면 팩트체크 말미에 제시한 '북한 키워드 관심도'등을 활용해, 박민 사장 취임 전후, 북한 관련 보도 수의 변화를 더 입체적으로 해석할 수 있는 데이터를 만들 수 있지 않았을까 하는 아쉬움도 남네요. 
• 수호
  • 재경님이 말씀해주신 부분이랑 비슷한데요. 더 깊이 있는 분석도 충분히 가능했지 않았을까 하는 아쉬움이 남습니다. 물론 현재의 결과물로도 충분히 검증은 되었지만, 다른 언론사와의 비교를 더 구체적으로 했다면 어땠을까 싶네요. (물론 시간과 노력의 소요를 생각하면 좀 과한 작업이었겠다는 생각은 듭니다.)
• .

✍콘텐츠에는 담지 못했지만 남기고 싶은 이야기, 정보가 있다면?

• 바다
  • 이번엔 언론사의 뉴스가 모여있는 페이지를 크롤링 해서 데이터를 만들었는데요. 과정을 진행하셨던 재경님이나 수호님이 방법을 간단하게 공유해주셔도 좋을 것 같네요. 팩트체크뿐만 아니라 다른 활동에서도 유용하게 쓰일 것 같아요.
  • 데이터 시각화 툴을 이것저것 찾아보고 있는 중인데요. 이번 콘텐츠에선 Datawrapper(클릭)를 활용해봤습니다. 콘텐츠에 바로 넣을 수 있는 코드도 제공하고, 공동 작업 등도 가능해 보여서 시각화 툴로 종종 사용할 수 있을 것 같네요.
• 재경
  • 데이터 수집 과정에서 저는 ChatGPT와 Claude를 둘 다 활용했는데요. 필요한 작업을 최대한 자세히 지정해준 다음, AI가 출력한 코드의 문제점을 계속 지적하며 대화를 이어 나가면 데이터 수집에 필요한 정보(코드)를 얻을 수 있습니다. 특히 이번 팩트체크에서 KBS 기사는 수집하고 정리할 내용이 많았기 때문에, 코드를 이용한 자동 수집이 아니었다면 콘텐츠 완성이 훨신 더 오래 걸렸을 수 있겠네요. 위에 내용이 복잡해 보이지만, 저도 지금 스스로는 코드 몇 줄 작성하기도 어려울 정도로 개발 관련 능력이 부족한 만큼 비개발자도 노력하면 충분히 이 정도 작업을 하실 수 있습니다.
  • 
  • AI가 많은 것을 해주지만, 위에 프롬프트(명령)처럼 사용자가 어떻게 데이터를 처리할 지 기획력이 정말 중요합니다. 최대한 자세히 지시하되, 자신만의 아이디어를 활용하고, 예시까지 넣어주시면(few-shot training) 필요하신 작업을 수행할 확률이 증가할겁니다. '북한 관련 보도 중요도' 계산법은 직접 제가 아이디어를 내고, AI에게 계산 및 데이터 정리를 시켰습니다.
  • 북한 관련 키워드는 제가 생각나는 키워드 몇 개 + 다른 팩트체커 분들과 함께 전반적인 기사 제목을 훝어보며 정했습니다. 가장 기억에 남는 키워드는 '핵'인데요. 단순히 '핵'을 포함하면 '탄핵'까지 같이 분류되는 문제가 발생하여, 이후 '핵'이 단독으로 쓰인 기사 제목만 북한 관련 기사로 분류하는 아이디어를 내서 적용했습니다.
  • 여담으로, 제가 KBS와 SBS, JTBC 데이터 수집을 맡았는데요. 이 3개의 언론사가 코드로 데이터를 수집하기 더 편한 구조를 가지고 있기 때문입니다. 나머지 언론사도 데이터 수집을 자동화할 수 있지만, 더 복잡한 코드를 적용해야 하고 시간도 더 오래 걸립니다. '일부러' 더 복잡하게 웹사이트를 설계했을 수도 있지 않았을까 싶네요.
• 수호
  • 재경님은 생성형 AI 챗봇을 이용하여 코드를 작성하여 크롤링을 진행하셨지만, 'Octoparse' 등의 크롤링 프로그램을 사용하여 정보를 수집하고 chatGPT 등을 활용하여 데이터를 정제하는 방식으로도 크롤링을 진행할 수 있습니다. 제 개인적으로는 이 방식이 생성형 AI를 통해 크롤링 코드를 직접 작성하여 진행하는 방식보다 더 쉽고 오류도 적어서, 다음에 이런 방법들을 소개할 기회가 있으면 어떨까 싶기도 했네요. 재경님의 방식보다 정교함은 떨어지지만, 더 쉬우니까요!
  • 콘텐츠에는 싣지 않았지만, 수집한 데이터를 활용해 검증하려는 주장이 진실인지를 통계적으로 검정해보기도 했습니다. 카이제곱 검정과 t 검정이라는 검정 방법을 활용해 박민 사장 취임 전후의 북한 보도 비율/중요도 차이가 우연에 의한 것인지를 검정해본 것인데요(통계학적으로 엄밀한 의미는 아닙니다). 우연에 의한 것일 확률이 극히 낮은 것으로 나왔었습니다. 이 같은 통계적 검정에 관한 내용은 이해하기가 쉽지 않아서 비전공자를 대상으로 한 데이터 관련 기사에서는 소개되는 경우가 거의 없는데요. 기회가 된다면 쉬운 설명을 고민해서 소개드려도 좋겠다는 생각도 들었습니다. 
• .

✅K.F.C.를 비롯해 다양한 시민팩트체크 활동을 '시민팩트체크 타운'에서 확인하고, 참여해보세요!