今すぐYouTubeでPython・データサイエンスを学ぶ!

ITコンサルがPythonで不具合1万件超を分類|自然言語処理

Tech Frontier(テクフロ)の受講生で、製造業の生産技術職からITコンサルに転職したshotさんは、プログラミングをほぼ触ったことがない状態から学び、不具合報告の自由記述テキスト約1万1,000件を機械学習で分類する案件を担当しました。

Pythonや自然言語処理は、会社の業務で本当に使えるのか。プログラミング未経験から学んで、お客さんの分析案件まで担当できるのか。結論から言うと、担当できます。製造業の生産技術職としてExcelで工場のデータを分析していたshotさんは、プログラミングをほぼ触った経験がない状態でテクフロに入会しました。ITコンサルに転職して半月ほどで、機械の不具合報告の自由記述テキストを機械学習で分類する案件を任され、手作業で1年分・約1,000件ずつ分類していたデータから、約1万1,000件の分類まで1人でやり切っています。

はやたす

本記事では、Excelでの分析だけだった状態からPythonを学び、転職先のITコンサルで最初の案件として、不具合報告のテキスト約1万1,000件を自然言語処理で分類したshotさんにインタビューしました!

業務活用コースのインタビューで伺った、分析の進め方、データクレンジングでつまずいた箇所、上司とお客さんへの説明の違いまでをまとめました。

  • Excelでの分析はできるが、Pythonで一歩先の分析をしたい
  • 自然言語処理やテキストマイニングを、業務でどう使うのか知りたい
  • 機械学習の手順を、上司やお客さんにどう説明すればいいか分からない
  • Pythonの業務活用の事例を、会社員の目線で知りたい

上のような疑問や悩みを抱えている方にピッタリな内容です。

社内に眠っている報告書やメモを、Pythonで分析に変えたいと考えている方は、ぜひ最後まで記事をご覧ください!

目次

ITコンサルの自然言語処理の活用事例|shotさんがPythonで不具合報告1万件超を分類するまで

はやたす

「プログラミング未経験でも、自然言語処理を業務で使えますか?」と聞かれたら、答えは使えます。

shotさんはExcelでの分析から一歩先に進むためにPythonを学び、転職先のITコンサルで、お客さんの不具合報告を機械学習で分類する案件を1人で担当しました。

前職製造業の生産技術職。工場の操業データをExcelの関数や簡単な統計で分析していた
現職ITコンサル(ITと業務の分野のコンサルタント)
受講前のスキルプログラミングはほぼ触った経験がない。分析はExcelの範囲だけ
入会2024年7月
転職前SIGNATEの自然言語処理のコンペに1ヶ月ほど挑戦し、BERTを使ってみる
転職入会の翌年5月にITコンサルへ転職
担当した案件転職して半月ほどで、お客さんの機器の不具合報告(自由記述)を分類する案件にアサイン。手作業で分類済みの約1,000件を学習に使い、約1万1,000件を約30の分類に予測
使った手法・ツールPython(VS Codeの仮想環境とノートブック)、形態素解析・単語の出現頻度などのテキスト特徴量、LightGBM、業務知識を使ったルール
精度と成果学習データでの正解率は7〜8割。不具合の分類ごとのパレート図と年ごとのトレンドを納品。社内では機械学習の案件でshotさんの名前が上がるようになった
はやたす

こんにちは、はやたすです!

今回は業務活用コースのインタビューとして、shotさんに来ていただきました。
自己紹介をお願いできますか?

shotと申します。
今はITや業務の分野のコンサルタントをしています。

テクフロに入ったのは2024年の7月で、1年半ほど経ちました。
入会前はプログラミングをほぼ触った経験がなく、Pythonを触ってみたいと思って入会しました。

Excelでのデータ分析から一歩先へ|プログラミング未経験のshotさんがPythonを学んだ理由

はやたす

Excelまでは使って分析しているけれど、Excelの先に進みたい。
テクフロには、shotさんと同じ動機で入る方がたくさんいます。

入会前のスキルから伺います。

前職は製造業の生産技術職で、工場のデータをExcelで分析していた

はやたす

テクフロに入る前は、プログラミングの経験はなかったんですよね。
分析はされていたんですか?

前職は製造業の生産技術で、工場でたくさん取れる操業データを分析する業務はやっていました。

ただ、Excelで関数を入れたり、軽い統計を入れたりする程度です。

転職前に、SIGNATEの自然言語処理コンペでBERTを触っていた

はやたす

自然言語処理は、もともと学ばれていましたか?

SIGNATEに過去の自然言語処理のコンペがあって、1ヶ月ほど集中して取り組みました。
BERTの本を読んで処理を書いてみたんですけど、何が起きているのか全然分からなくて、難しいと感じたのが正直なところです。

BERTは分からなくても、自然言語処理がどんな処理なのかはある程度分かった状態で、案件をスタートできました。

はやたす

知らない手法でも、コンペでダメもとで触ってみた経験が、あとから仕事で役に立ったわけですね!

自然言語処理を業務でどう使った?|不具合報告のテキストを機械学習で分類した手順

はやたす

自然言語処理は、社内やお客さんの手元にある自由記述のテキストを分類するときに使えます。

shotさんの案件は、機器の不具合報告から「今、力を入れるべき不具合」を見極める分析でした。
案件の始まりから順番に伺います。

入社半月、上司に「機械学習ならこうできます」と話してアサインされた

はやたす

どんな経緯で始まった案件だったんですか?

もともと、お客さん先でデータ分析に悩んでいるとの相談が、上司のところに上がってきていました。
分析方法は決まっていなくて、ざっくりテキストマイニングをしたいとの要望だけです。
上司は、ツールやExcelでやれる範囲でやるイメージでした。

私が入社して半月ほどのタイミングで、上司と何気なく話す中で、機械学習をやっていると伝えたんです。
案件の話を聞いたときに「機械学習だと、こんな分析ができそうです」と話したら、私がアサインされました。

最初はテキストマイニングのツールも上司と一緒に検討しました。
検討の途中で「1日か2日ください」とお願いして、機械学習でできる内容を調べて見せたのが、今回の手法に決まったきっかけです。

ツールでできる処理は、Pythonを頑張って書けばできる場合も多いです。
調べるときは、AIにもよくコードを書いてもらっていました。

手作業で分類した約1,000件を学習させ、約1万1,000件を予測した

はやたす

具体的に、どんな課題に向き合ったんですか?

お客さんが販売している機器のアフターサービスで、不具合が起きるとサービスの方が現地に行きます。
不具合の内容を自由記述で書き、どの部品を交換したかなどの情報と一緒にデータベースに集めていました。

お客さんは、不具合のトレンドを見て、今注力すべき課題を見極めたい状況です。

お客さんは過去1年ほどのデータ約1,000件を、原因や特徴ごとに約30の分類へ手作業で分けていて、すごく大変だったそうです。

データ自体は10年以上あり、10年分のトレンドを見たいとの要望もありました。
残りの期間のデータ約1万1,000件を、機械学習で予測して分類しました。

LightGBMに業務知識のルールを足して、正解率は7〜8割

不具合のテキストは自由記述なので、どう特徴量にするかが難しく、精度にも関わってきます。
今回は、形態素解析で文章を単語に区切り、どんな単語がどれくらい出てくるかを特徴量にして、機器の情報と合わせてLightGBMに入れました。

LightGBMだけでは精度が高くなかったので、業務知識に基づいたルールも導入しています。
人が手で分類していたときの考え方を処理のロジックに落とし込んだところ、精度が上がりました。

はやたす

LightGBMとルールは、どう使い分けたんですか?

ルールだけにすると、データが大量なのでルールもたくさん作る必要があり、結局手作業と変わらなくなります。

誰がやっても同じ分類になる不具合はルールに入れ、人によって解釈が分かれて迷う不具合は機械学習に任せました。
最終的な正解率は、学習データで7割から8割ほどです。

はやたす

医療のように正確さが厳しく求められる分析ではなく、傾向がつかめればいい分析です。
7〜8割は、ちょうどいい落としどころですね。

予測結果を100〜200件確認してもらい、もう一度学習に回した

はやたす

1万1,000件の予測が合っているかは、どう判断したんですか?

一度予測を出して、100件か200件ほどをお客さんに見てもらいました。

選ぶときは、機械学習で合っている確率が高い予測と低い予測を、私が選んでいます。
確率が低いデータはあえてお客さんに分類してもらい、分類結果を学習データに足して、もう一度回しました。

当時は生成AIも使える段階でしたが、お客さんの社内データを生成AIに入れて処理するのは、はっきり禁止されていました。
なので、最終的なモデルは簡易的ですが、Pythonで一から組んでいます。

Pythonでデータ分析をして苦労したのは、データクレンジングと上司への説明

はやたす

実務の分析で時間がかかるのは、モデルを組む作業よりも、データの準備と周りへの説明です。
shotさんも、苦労したのはクレンジングと上司への説明の2つでした。

機器名の後ろの空白に1時間悩んだ

クレンジングは大変でした。

1つ目は、自由記述なので人によって書く内容がかなり違う点です。
何回も現地に行った経緯を1つのセルに書いている人もいて、特徴量にするのが大変でした。

2つ目は、お客さんが手作業で分類したデータは、すでにクリーニングされていた点です。
予測するデータはシステムから引っ張ってきたままなので、桁数やデータ型がずれていました。

システムでは機器名を20文字の枠で入力するので、文字が入っていない部分が空白として出力されます。
Excelは空白を勝手に消してくれるので、文字は同じなのにデータが一致しないんです。
処理を入れたのに結果が想定どおりにならず、原因に気づくまで1時間ほど考えていました。

はやたす

出力を見て異変に気づかないと、たどり着けない原因ですね。
テキストのデータは、本当に難しいです。

表記ゆれは見つけるたびに処理を足し、分類は約50から約30にまとめた

はやたす

表記ゆれや誤字、分類の細かさの調整はどうしましたか?

完全な誤字は見つけるのが無理なので、ざっと見て見つけたら処理を追加していました。
全角と半角、「サーバー」の最後に伸ばす棒を入れるかどうかなど、入れておいたほうがいい処理は触っているうちに分かってきます。

分類は、もともとお客さんから受け取った段階では50個ほどありました。
1,000件のうち1件や2件しか当てはまらない分類は、どれかに当てはめるか「その他」の枠に流しています。

似た分類は、お客さんに「2つの分類は似ていませんか」と確認しながらまとめて、約30にしました。
もっと減らしたかったのですが、減らした場合の精度を示して、相談しながら進めています。

はやたす

減らしたバージョンと減らさないバージョンで精度を出して見せると、お客さんも「じゃあ減らそう」と納得しやすいですね!

お客さんには結果の図を、上司には処理の理由を説明した

はやたす

お客さんや上司は、機械学習の分析を理解してくれましたか?

お客さんに処理の流れを話すと、ついていけないと言われました。
なので、定例の報告ではパレート図などのアウトプットと、今の精度、次にやれば精度が上がる施策を見せるようにしていました。

逆に苦労したのは上司です。
上司も機械学習を触ってきたわけではありませんが、どんな手順を踏んだかは上司に説明しないといけません。
「処理を入れた理由は?」と聞かれて答えられるまで、最初はうまく説明できませんでした。

はやたす

LightGBMは、どう説明したんですか?

ほとんど説明していません。
「決定木を難しくした手法で、分類ができます」くらいです。

はやたす

僕も実務では、LightGBMやXGBoostを「決定木の難しい版です」と説明していました。
決定木はイメージしやすいので、延長として伝わります。

データ分析の実績で、社内での立ち位置が変わった

はやたす

分析を受託する案件なので、お客さんの業務に効果が出るのは、分析結果を使った次の施策からです。

一方で、shotさん自身と会社には、はっきりした変化がありました。

機械学習の案件で、自分の名前が上がるようになった

はやたす

今回の分析で、どんな成果が得られましたか?

会社としては、機械学習を使った分析もできるとナレッジにできました。

私個人としては、機械学習で分析できる実績が得られたのが大きいです。
上司が人をアサインするときや、案件を受注してくるときのアイデアの1つとして、自分の名前が上がってくるようになりました。

はやたす

入社してすぐに、機械学習ならshotさんだと名前が売れたわけですね。
ポジション取りとして、すごくいいスタートです!

事例を社内で紹介し、ほかの業務への展開を議論した

はやたす

周りの反応はどうでしたか?

一緒にやっていた上司には機械学習の知見がなかったので、新しく知見を得られた点と、ほかの案件にも活用できそうだと、ソリューションの展開まで考えられました。

最終的には、事例を社内で紹介したり、機械学習でできないかを周りの人と議論したりして、次につなげられる状態です。

報告の前に、相手が上司かお客さんかを考えるようになった

はやたす

分析を進める中で、反省点はありますか?

上司への説明は、毎回反省していました。
上司の欲しい情報ではない話ばかりしていたと思います。

今の案件は機械学習から離れていますが、自分だけが知っている前提で話さないように気をつけています。
上司への報告が必要なのか、お客さんへの報告が必要なのかも、より考えるようになりました。

はやたす

相手がどこまで知っているかで、話す範囲を決める力は、実際に話して失敗しないと身につきません。
分析の案件ほど、最後はコミュニケーションのようなソフトスキルが大事です。

はやたす

製造業の工場で働きながらPythonを学び、検査データの分析で業務を変えた受講生の事例もあわせてご覧ください。

自然言語処理やPythonを業務で活用したい会社員が最初にやる5ステップ

はやたす

会社員がPythonや自然言語処理を業務で使うなら、shotさんの進め方を手順として使えます。
最初にやる手順を、順番に並べました。

  1. 会社のPCでPythonを使える環境を整える
  2. Excelでやっている集計を、Pythonでやってみる
  3. 自然言語処理のコンペで、テキストの扱いを一度触る
  4. 職場の課題を分類・予測・回帰に置き換え、小さく試して見せる
  5. 結果の図と精度で報告し、人の確認を学習に戻す

ステップ1:会社のPCでPythonを使える環境を整える

はやたす

shotさんが明日からのアクションとして勧めたのは、Pythonを使える環境を用意する行動でした。

shotさんはVS Codeに仮想環境を作り、ノートブック形式で分析しています。
社内のネットワークの扱いも、使う前に調べて問題ないと確かめていました。

ステップ2:Excelでやっている集計を、Pythonでやってみる

はやたす

最初から自然言語処理に挑戦する必要はありません。
shotさんは、Excelでできる作業もPythonでやってみるくらいの気軽さでいいと話していました。

やりたい作業のアウトプットをすぐ出せる状態が、業務での一歩目です。

ステップ3:自然言語処理のコンペで、テキストの扱いを一度触る

はやたす

shotさんは転職前に、SIGNATEの自然言語処理のコンペに1ヶ月ほど取り組みました。
BERTの中身は分からないままでも、自然言語処理の全体像をつかんでいたから、案件で手法を提案できています。

実際の案件で使った形態素解析や単語の頻度は、入門書の最初のほうに出てくる基本の処理です。

ステップ4:職場の課題を分類・予測・回帰に置き換え、小さく試して見せる

はやたす

課題があったら、欲しい結果が分類なのか、予測なのか、回帰なのかを考えてみてください。

shotさんは上司に「1日か2日ください」と伝えて、コードで「機械学習ならこんな分析ができます」と先に見せた結果、手法が機械学習に決まりました。
言葉で説明するより、小さくても形にしたほうが伝わります。

ステップ5:結果の図と精度で報告し、人の確認を学習に戻す

はやたす

報告では、処理の流れより、パレート図のような結果の図と今の精度を見せます。

予測に自信がないデータは現場の人に確認してもらい、確認結果を学習データに足して回し直すと、精度と納得感が両方上がります。

【まとめ】プログラミング未経験からでも、Pythonと自然言語処理を業務に活かせる

はやたす

Excelでの分析しか経験がなくても、Pythonと自然言語処理を業務の分析に活かせます。
shotさんの事例を整理します。

  • 経歴:製造業の生産技術職から、ITコンサルへ転職
  • 受講前:プログラミングはほぼ未経験。分析はExcelの関数と軽い統計まで
  • 学び方:2024年7月に入会。転職前にSIGNATEの自然言語処理コンペに1ヶ月ほど挑戦
  • 案件:転職して半月で、不具合報告のテキスト分類を1人で担当。約1,000件で学習し、約1万1,000件を約30の分類に予測。正解率は学習データで7〜8割
  • 変化:機械学習の案件で名前が上がるようになり、事例を社内で紹介
はやたす

最後に、今後業務で活用したい方へ、明日からのアクションを1つ挙げるなら何ですか?

とりあえず、Pythonを使える環境にしてみてほしいです。

やりたい作業のアウトプットをパッと出せるほうが重要なので、小さな作業でもやってみる。
課題があったときに、機械学習ならどう解決できるかを考えてみる。

小さな一歩を踏み出すのが大事だと思います。

はやたす

日頃から環境と考え方を準備しておけば、いざ案件や相談が来たときに動けます。
shotさん、本日はありがとうございました!

shotさんのように「Excelの次の一手」を探している方へ

はやたす

shotさんの案件は、ツールとExcelで片づける予定でした。
流れを変えたのは、上司に「1日か2日ください」と伝えて、Pythonで動くコードを見せた行動です。

手元にすぐ動かせるPythonの環境と、分析の型があれば、チャンスは向こうから来ます。

はやたす

公式LINEでは、Pythonの基礎から機械学習のコンペ、職場のデータでの活用まで、学ぶ順番を約1時間の限定動画で無料配信しています。
Excelの次に何を学ぶか迷っている方は、最初の1時間に使ってください。

自然言語処理・Pythonの業務活用でよくある質問

プログラミング未経験でも、Pythonを業務で活用できる?

はやたす

プログラミング未経験でも、Pythonは業務で活用できます。Excelでの分析しか経験がなかったshotさんは、2024年7月にテクフロに入会し、転職先のITコンサルで不具合報告のテキスト約1万1,000件を機械学習で分類する案件を1人で担当しました。

自然言語処理は業務でどう使う?活用事例は?

はやたす

自由記述のテキストを分類して、傾向をつかむ用途で使えます。shotさんの事例では、機器の不具合報告を形態素解析で単語に分け、LightGBMと業務知識のルールで約30の分類に振り分け、分類ごとのパレート図と年ごとのトレンドを出しました。

テキストのデータ分析で大変なのは?

はやたす

データクレンジングです。shotさんは、人によって書き方が違う自由記述や、全角半角・伸ばし棒の表記ゆれ、システムから出力した機器名の空白でデータが一致しない問題に苦労しました。表記ゆれは、見つけるたびに処理を足して対応しています。

機械学習の分析を、上司やお客さんにどう説明する?

はやたす

お客さんには結果の図と精度を、上司には処理を入れた理由を説明します。shotさんはLightGBMを「決定木を難しくした手法」とだけ伝え、細かい仕組みは話していません。

Pythonで業務の分析を始めるには、まず何をする?

はやたす

まず、会社のPCでPythonを使える環境を整えてください。shotさんはExcelでできる作業もPythonでやってみるところから始め、課題を分類・予測・回帰のどれに当たるかで考える習慣をつけるよう勧めています。

shotさんが学んだスクールはどこ?

shotさんが学んだスクールは、テクフロです。テクフロは6ヶ月間のオンライン完結型のデータサイエンススクールで、1ヶ月で基礎を終えて2ヶ月目からKaggle・SIGNATEの分析コンペに取り組みます。shotさんの成果は、不具合報告約1万1,000件を機械学習で分類した案件です。

よかったらシェアしてね!
  • URLをコピーしました!
目次