製造工程の改善効果を分析して、ほんとうに効果があったと言うための準備

シェアする

とあるメーカーでの出来事。

不良ロスが多く発生している製品がありました。この製品はオーブンで焼成をして作るもので、不良ロス要因は規格サイズです。製品の高さが基準よりも低い製品が多く見られていました。

製造方法を変更して規格範囲内に収まる高さを出そうと、改善が行われたのでした。

  • 製造方法を変更する前の製品
  • 製造方法を変更した後の製品

を比較して、仮に、後者のほうが製品の高さが出ており、高さが基準に足りずに不良ロスになってしまう製品数が少なくなっていれば、この製造方法の変更は正しいことであり、実施すべきだろうと考えるのがふつうです。

しかし、少し実験をしてみた結果で、ほんとうにそうなのかどうか、言いきれないこともあります。本当に効果があったのだと言うためには、偶然そうなったのではないかという疑問をとりのぞいてやらなくてはいけないのです。

そのために、注意すべき点があります。

データの数が少なすぎる

実験でのデータ数が少ない

その製品は、1バッチの製造品は100個程度であり、1日に10バッチ、1000個を製造する製品でした。実験では、5個だけ従来とは異なる製造方法を試してみました。結果、従来の製造方法で作った製品よりも高さのある製品ができました。

それだけを見ると、製品に高さは出てきたのでこの改善は良い結果がもたらしたわけですが、それが製造方法の変更を行ったから良い結果になったのか、そうではなくて偶然に良い結果になったのか、ここをきちんと判断しないといけないわけです。

このとき実験の対象品数は、5個だけでした。5個のデータだけでの判断でした。直観的にもわかることですが、データの数が少なすぎると、製造方法を変更したほうがよいとは判断できません。確信をもって効果があったと言うことができないのです。

単に平均値だけをみて少しでもよい数字が出ていれば、よくなったと思う

私が仕事をするメーカでは、製造方法を変えてみて製品の品質が向上するかどうか検証する実験が、ときおり行われていました。実験でつくった製品を目で見るだけで定量的なデータをとることなく「これはよくなったな」となんとなく判断してしまっていたり、 あるいはデータをとったとしても、平均値が少しでもよくなっていたら、品質もよくなったと考えている節がありました。

上記の話では、もともと従来の製造方法であっても、基準範囲内で高さがしっかりと出ている製品はあり、従来の製造方法でつくった製品のなかから、5個を取りだしてみても、高さの基準に合格することはふつうにあることと考えられました。

だから、新しい製造方法の効果がなかったとしても、新しい製造方法でつくった製品5個の高さがたまたま基準内の高さになるのは、ふつうにありえることです。

本当に意味のある違いなのか。これを判定するためには、統計学の仮説検定を利用します。意味のある違いかどうかの判定には、

  • 製造方法を変更する前の製品
  • 製造方法を変更した後の製品

のそれぞれの平均値、標準偏差、データ個数が関わってきます。仮に平均値に違いが出た場合、

  • 平均値に差があるほど
  • 標準偏差が小さいほど
  • データ個数が多いほど

意味のある違いだと判定しやすくなります。

少なすぎるデータ数では、たまたま良い製品ができただけ、たまたま良い製品を選んで測定しただけじゃないのか、といった疑念を払拭することができません。

たくさんデータを集めて、これだけデータを集めて確認したのだから、この差は絶対あるものだよね、と言うようにしないといけないのです。

どのくらいのデータを集めればいいのかは、サンプルサイズ n の必要数の求め方の記事に書いています。

変更した箇所以外の要因の影響がある

生地をつくる → 生地を型に入れて成型をする → オーブンで焼成して完成

という工程があって、「生地に型を入れて成型をする」の工程で新しい製造方法を試してみました。

  • 従来の製造方法をA
  • 新しい製造方法をB

としましょう。AとBの製造方法の違いによって、製品の出来栄えが改善される(製品の高さが出る)と考えて、実験をしたのでした。

AとBの違いが、高さに影響を与えるかどうかを確認するためには、これらの製造方法以外の要因が働いていないかどうか考える必要があります。

たとえば、

生地をつくる → 生地を型に入れて成型をする → オーブンで焼成して完成

という流れのなかで、「生地を型に入れて成型をする」工程でAとBを試しているわけですが、

  • AとBにつかった生地が同じ状態の生地であるか
  • AとBをオーブンで焼くときに、火の当たりは同じであるか

こういった点に注意を払わないといけません。仮に、

  • AとBにつかった生地が異なる状態の生地であった
  • AとBをオーブンで焼くときに、火の当たりは異なっていた

このような場合、出来上がったAとBの製品に違いが出てきたといっても、ひょっとしたら、生地の状態が違いっていたのが原因かもしれません。オーブンでの火の当たり具合が違っていたことが原因かもしれません。あるいは、本当に新しい製造方法Bに効果があって、製品の高さが出たかもしれません。

これはわからないのです。

AとB以外の要因が製品出来栄えに影響しないようにする

AとB以外の他の要因を同一にする

「製品の高さに影響を与える要因として、こういった点があるな」とわかっているのであれば、成型方法を変更させるAとB実験をする前に、同じ条件になるようにしておくのです。

生地の状態を同じにするのであれば、

生地をつくりAの製法につかう、また再び生地をつくりBの製法につかう、といったことをすれば、生地の原料の状態が異なっているかもしれませんし、生地をつくった人が変っているかもしれません。つくる時間によっても生地に違いが出てくるかもしれません。

そうしたら、AとBの実験に、異なる生地をつかっていることになり、AとBの製品の高さに違いが出てきたとしても、生地の違いが原因の可能性も出てきてしまいます。

であれば、一度につくった生地で、実験を行えばよいのです。さらにいえば、たとえば、大きい入れ物に生地がまとめて入っていたら、入れ物のなかの位置によっても、生地の状態が変っているかもしれません。たとえば、入れ物の上のほうと、下のほうでは生地の感触が違うとか。

そうしたら、たとえば、上のほうの生地だけをつかって、AとBの実験をやってみて、結果に違いがないかを見てみます。

できるかぎり、AとB以外で製品の高さに影響を与えそうな要因を排除していくということです。

これは、オーブンで焼成をするときも同じで、たとえば、オーブンの真ん中に入れるのか、端に入れるのかによって、焼き具合が変わり、製品の高さに影響がでるかもしれませんね。Aの製品は端に入れて、Bの製品は真ん中に入れていたということがあれば、AとBの製品の高さに違いがでたとしても、焼き具合の違いが原因の可能性もでてきてしまいます。

AとBの製品が同じ焼き具合になるように、調整しなければいけません。焼成の条件は同じにするのです。

それができなければランダム化をする

AとB以外で製品の高さに影響を与えそうな要因があっても、完全に排除できない場合があります。

また、知らないところに要因があるかもしれません。

これらの問題に対応するためには、ランダム化をして実験をすべきです。

生地を入れている大きな入れ物があって、その生地の量は製品100個分であるとします。入れ物の上の方から生地をつかい、Aの製品50個、Bの製品50個をつくって実験をするとします

上記したように、入れ物のなかの位置によって、生地の状態が変っているかもしれません。まず、最初は入物の上から生地をとってAの製品50個につかう。半分までつかったら、次は残りの下のほうの生地をBの製品につかう。

こうしてしまうと、入れ物の上の生地をAに、下の生地をBにつかったことになり、入れ物の上の方と下の方で生地の状態が変わっているなら、それが製品の高さに影響を与えるかもしれません。

これを防ぐには、大きな入れ物に入っている生地を、

Aの製品を1個つくる

Bの製品を1個つくる

Aの製品を1個つくる

Bの製品を1個つくる

…と順番に行っていけば、入れ物の上のほうも、下のほうも、AとBの両方につかわれるようになります。さきほどの問題は解決しそうです。

しかし、これにも少し問題があって、AとBを1個ずつ交互につくっていると、それが他の要因を生み出してしまう可能性があります。たとえば、次のようなことです。

生地をつくる → 型に入れて成型をする → オーブンで焼成して完成

の工程で、型に入れて成型をする方法でAとBを試しているわけですね。この作業をする人が2人いて、それぞれ作業者①、作業者②だとします。大きな入れ物に入っている生地を、上から交互にA、Bと順番に振り分けていると、片方の作業者①がずっとAを担当し、もう片方の作業者②がずっとBを担当することになるかもしれません。

そうなると、誰が作業したのか?という要因が、AとBの製品の高さに影響を与える可能性がでてきます。

Aの製品とBの製品をつくる順番をランダムに行うのであれば、Aの製品も作業者①と②がつくり、Bの製品も作業者①と②がつくることになります。

そして、製品の高さに影響を与える要因は、作業者の違いのように目に見える要因以外にも、わかっていない要因があるかもしれません。

ですから、よりよいのは、この順番をランダムにすることです。生地を型に入れて成型をする工程だけでなく、焼成工程など他の工程にも同じことがいえます。他の工程においてもランダム化を行います。

ランダム化することによって、わかっていないものを含めて様々な要因が、Aの製品とBの製品に同じように働くことになるので、Aの製品高さの平均値、Bの製品高さの平均値を比較してBのほうが高さが出ているのであれば、それはBの製造方法が原因だろうと言うことができるのです。

このような実験の仕方をランダム化比較実験と呼びます。

Aの製品高さのデータ、Bの製品高さのデータは、Aという製法と、Bという製法だけが異なていて、そのほかの点については色々ごちゃごちゃと混ざって、同様になっていると考えるのです。

ランダムとは無作為の意味であり、乱数表をつかったり、サイコロをつかって本当にでたらめに順番を決めたりしないといけなくて手間がかかります。厳密にランダム化するのではなくて、なんとなくデタラメにしてもなにもしないよりましですが、ランダム化をしてそれどおりに実験していきます。

参考:乱数と疑似乱数

参考:エクセルでランダム(無作為)に標本を抽出する方法

このあと、得られたデータから、統計学的に意味のある差が発生したといういうためには、検定を行うことになります。

検定とはどういう行為なのか。考え方と検定の流れ

なんとなく「変わったよね」ではなくて意味のある違いだと言うために統計学をつかう

AとBの製品を比較して、出来上がったものの出来栄えを見たり、測定をしてみると、Bの製品のほうが良い結果であった。単にそれだけで、改善がなされたとはいえない、という話でした。

なぜかというと、偶然に製品の高さが出ただけの可能性もあるためです。 偶然なのか、偶然ではないのか判断するには、統計学をつかう必要があります。 統計学を知らないと、A製品の平均値、B製品の平均値の数値だけをみて良くなったのを見て、製造方法Bが原因で改善されたと判断してしまいます。

そして製造方法Bで生産をしていくようになります。偶然に良い数値が得られただけなのに、そうしてしまっては、なんの改善も起きておらず、意味のないことをしていることになります。

統計学的に判断をして、アクションを起こすどうか決めなくてはいけません。

  • データの数が少なすぎる
  • 変更した箇所以外の要因の影響がある

こういった点がないか考察し、

  • AとB以外の他の要因を同一にする
  • ランダム化をする

といったやり方で、AとBそれぞれが、製品の出来栄えに与える効果を見出すことができるようになります。