公務員の採用は、「採用候補者名簿」に最終合格者を登録し、その名簿の中から採用者を決めるという形式になっています。
その後のパターンは大きく分けて3種類です。
１.「採用候補者名簿に登載」された人は、次に直接の採用先の面接試験を受け、合格すれば＜内定→採用＞が決まっていくパターンです。採用面接に呼ばれなかったり、採用面接を受けても落ち続けると採用が決まらない（「名簿残留」といいます）こともあります。国家一般、刑務官、東京特別区などのパターンです。
２.「採用候補者名簿に登載」された人が全員＜内定→採用＞となるパターンです。多くの県職や警察官、国家公務員では税務職などが該当します。
３.「採用候補者名簿に登載」された人のうち、成績がよい順に内定が決まっていくパターンです。これはただ待っておくしかしようがありません。中小の市町村・消防では、わかりやすいように「補欠合格」という合格形態を設けているところもあります。いずれにせよ、名簿残留になることがあります。

合格とは「採用候補者名簿に載った」ということで、「名簿に載ったからといって全員採用になるわけではない」という意味です。
実態は、一つ上の質問に回答したとおり３パターンあります。 自分が受験した試験がどのパターンかよくわからないようであれば、直接電話で問い合わせてみましょう。「わかりません」「いえません」と言われる場合もありますが、「例年、だいたい100％採用になっているのか」「だいたい、いつ頃に採用内定が来るのか (いつ頃までに採用内定がなければあきらめないといけないのか)」という聞き方をすれば、だいたい教えてくれると思います。
なお、国家一般職では、積極的に採用面接が入るよう活動しないと採用になりませんおで、注意して下さい。詳しくは（国家一般　採用官庁はどうやって決まるのですか）をご覧ください。

結論を言えばできます
ただし、辞退をする事情が生じたらできるだけ早く連絡をするのは当然のことです。
公務員の場合は民間就職と違い併願が一般的ですので、辞退者が出ると役所は補欠合格者や未内定者へ連絡をとり追加採用をします。しかし年度末が近づくと追加採用が間に合わず、大変な迷惑をかけることになります。
「本命と思っている他の試験に、採用内定が決まった」などの事情が生じたら、すぐに断りの連絡（電話がしにくければハガキでも構いません）を入れましょう。

国家公務員や、都道府県や政令指定都市といった大きな市の試験では、職員採用部門が独立しており（人事院や人事委員会）コネで合格できることはありません。
中小の市町村や消防ではコネの噂が飛び交っていることもありますが、「役場の課長の知り合い」「議員の知り合い」ぐらいの話で合格させていては「全員合格させるしかない」事態になることは簡単に想像できるでしょう。コネといっても、試験前日に合否の結果を教えてくれるぐらい(たまたま合格していたら「自分のおかげで合格した」かのように話したりしますが)のことです。このようなことは気にせず、しっかり勉強していくことです。
なお、念のため書き添えておけば、本当にコネを効かせようと金品のやりとりなどをすれば犯罪になります。コネ採用をしていることが疑われるごく一部の中小自治体は、不自然に一次合格者が多い（若干名採用予定で20名近く一次合格させるなど）、公式サイトに職員募集が掲載されない、昨年度の試験結果を尋ねても教えない、などの特徴があるようです。