日本全国、ほとんどの地域に存在している地縁組織。「自治会」「町会」「区」などと場所によって呼び方は違っても同じようなものですよね。
そして、「住民」であれば加入して当然という雰囲気があり、断ると変わり者や変なヤツだというレッテルを貼られるので、仕方なく？加入しているという場合が多いのではないでしょうか？

「ゴミ出し」を筆頭に「安全」「防犯」「衛生」「住民の福祉」などに関することをしているので、公的な団体であり、生活に必要なことをしている行政機関であるかのように見えて加入しないと不便を被るのではないかと考えてしまう場合もあるでしょう。
しかし、法的には一切の権限はありません。あくまでも、誰かが自主的に作った任意団体であるというのが法的な立場ですので、強制力は持ち得ません。

たとえば、罰金を課すことができるのは、裁判所と行政だけです。自治会などが地域の慣習として罰金を課すことは違法です。「私刑の禁止」「慣習刑法の禁止」という法律があります。仮に何かを言って来たとしても、それは口だけであり、なんの法的根拠もないので聞き流すだけにしておきましょう。

市役所の委託によって、なんらかの業務を引き受けていることはあります。しかし、それは市役所と自治会の「契約」ですので、それを盾にして加入を強要したり、未加入者を差別することは許されません。
早く言えば、「未加入者を含む市民」に対する業務を委託しただけのことに過ぎないからです。

（例）
何かをするには町会（自治会）の許可が必要であるか？
　→許認可機関ではありません。

加入しないとゴミを出してはいけないのか？
　→一般廃棄物（家庭系）の収集・運搬・処理は市町村に責務があります。

住んでいれば加入しなければならないのか？
　→加入義務のない任意団体なので、趣旨に賛同した場合に加入すれば良いです。

このような事例により、町会・自治会は「地域の代表機関」ではないということがお分かりいただけたと思います。あくまでも地域を良くして行こうという「自発的な」集まりに過ぎず、そこには一切の強制権はありません。

自分たちで決めたことだからと言って、それに従わない人に何かを強要することはできないのです。

（追記)2020.3.16
町会・自治会は強制力を持ちえないのは事実ですが、会員である以上は会則に従う義務があります。

いっぽう、会員でない者はいっさいの権利と義務は負いません。つまり無関係ということになります。

退会した者や入会していない者に対して、なんらかの指示命令をしたり、協力金を要求するなどの事例もありますが、法的にはおかしなことです。
団地やマンションなどで共有財産や共益費があれば「その実費弁済に相当する部分」については許されますが、一戸建てが並ぶ普通の住宅地で、特に共有物などが存在しない場合には認められないと考えられます。
同意や賛同して賛助金を支払うことはよいですが、否定的な人に強制させることはできません。

行政機関ではない任意団体にそこまでの権限はないのです。
無条件に従わないように注意したいものです。