Correctly handle abort of a subtransaction that is an overflowed subtransaction on primary, so on standby the subxid has already been removed from KnownAssignedXids by an xid assignment record. We check subtrans to see if xid is valid there.

Update docs to reflect existing restrictions on settings of various max_* parameters.

Merge branch 'master' into hot_standby

Apply 0017-Revert-changes-to-subtrans.c-and-slru.c.-Instead-cal. but with heavy modifications to fix a number of bugs and make associated changes. First, StartupSubtrans() positioned itself at oldestXid, so that when later running transactions complete they could find no page for them to update and crash. Second, ExtendClog() expected to be able to write WAL during recovery and so crashed after 32768 xids. This  also extends the  to cover the recently added support for starting Hot Standby from a shutdown checkpoint, which causes some refactoring. Various comments reworded, including allowing a lock overflow to cause a PENDING state, just as we do with subxid overflow. Another bug was also found, in that failing to make subtrans entries from the initial snapshot could lead to later abort records hanging because the topxid was not set. Code is now similar in all code paths. Sounds like a lot of changes, but mostly subtle changes rather than lengthy ones.

Apply 0013-Remove-dead-memset-call.

Change CREATE TABLE so that column default expressions coming from different
inheritance parent tables are compared using equal(), instead of doing
strcmp() on the nodeToString representation.  The old implementation was
always a tad cheesy, and it finally fails completely as of 8.4, now that the
node tree might contain syntax location information.  equal() knows it's
supposed to ignore those fields, but strcmp() hardly can.  Per recent
report from Scott Ribe.

Really unbreak maintainer-clean.

(Or rather, unbreak what the previous commit broke)

Unbreak doc/src/sgml maintainer-clean rule on VPATH builds.

Minor comment change

Put back code marked "do not remove" to avoid errors on commit and abort records that haven't previously notified recovery of their xids. Strangely this is the second time I've put that code back, hence the previous "do not remove" comment.

Create an ALTER DEFAULT PRIVILEGES command, which allows users to adjust
the privileges that will be applied to subsequently-created objects.

Such adjustments are always per owning role, and can be restricted to objects
created in particular schemas too.  A notable benefit is that users can
override the traditional default privilege settings, eg, the PUBLIC EXECUTE
privilege traditionally granted by default for functions.

Petr Jelinek

Apply 0014-Make-locking-of-ShmemVariableCache-nextXid-in-multix.

Apply 0010-Make-recoveryTargetMode-an-enum.

Apply 0009-Use-ereport-rather-than-elog-for-user-facing-errors... Prevents non-normal xids from being specified during recovery, which is still allowed for recovery_target_xid.

Apply heikki1/0012-Don-t-hold-RecoveryInfoLock-over-lock-sleep.

Apply 0010-Use-right-codes-for-conflictMode.-Whitespace-comment.

Apply 0009-Simplify-RelationReleaseRecoveryLocks-to-manage-with.

Apply 0008-Don-t-try-to-pin-and-lock-every-page-in-replay-of-b-.
All Good.

Apply 0007-Need-to-pin-and-take-cleanup-lock-on-every-b-tree-le. with some docs changes.
All code changes approved, especially the neat tweak to improve performance in btree vacuum.

Make some changes to code and comments in KnownAssignedXids functions. Based upon changes in 0006-Fix-comments-in-known-assigned-xids-module-about-whe., but one XXX comment replaced by a code change. The comment change to say that KnownAssignedXidsRemove needs only a share lock is wrong and has not been applied.

Apply Heikki's 0003-Simplify-unreported-xid-tracking. which re-writes his re-write of how that works, so that it fixes a bug in the way the previous version worked.

Add refactor  0013-Use-plain-old-XLogNeedsFlush-instead-of-the-new-DBCo.

Apply Heikki's changes to replace RecordKnownAssignedTransactionIds() back to the way it was in November 2008. Hey ho.
 0014-Call-RecordKnownAssignedTransactionIds-once-just-bef.

Apply changes from Heikki's 0005-Make-sure-we-hold-ProcArrayLock-while-we-set-recover.

Apply changes from Heikki's 0004-Fix-off-by-one-error-in-GetConflictingVirtualXIDs.-W.

Apply changes from Heikki's 0003-Advance-ShmemVariableCache-nextXid-before-marking-xi..

Apply changes from Heikki's 001-Remove-now-unnecessary-extern-declaration. 28-Sep

Apply changes from Heikki's  0015-merge-initLatestRunningXactData.. etc.
Reworks 2 boolean variables into a 3-state variable. In a seperate change, that  also included API changes to two other functions, one for streamlining, one because of an unused variable.
Also update ProcArrayInitRecoveryInfo() so that it reflects these changes.

Apply remaining minor docs changes from Heikki's  0016-Oops-check...

Apply changes from Heikki's  0002-Comment-whitespace.. etc
Which contained some code changes as well, all very minor, all approved.

Apply changes from Heikki's  001-Remove-some-dead-code... etc
Minor comment editing by me

Small doc change. max_standby_delay = -1 during archive recovery

Document the purpose of the GUC listen_addresses.

Fix assorted memory s in pg_hba.conf parsing.  Over a sufficiently
large number of SIGHUP cycles, these would have run the postmaster out
of memory.  Noted while testing memory- scenario in postgresql.conf
configuration-change-printing .

Fix a couple of issues in recent  to print updates to postgresql.conf
settings: avoid calling superuser() in contexts where it's not defined,
don't  the transient copies of GetConfigOption output, and avoid the
whole exercise in postmaster child processes.

I found that actually no current caller of GetConfigOption has any use for
its internal check of GUC_SUPERUSER_ONLY.  But rather than just remove
that entirely, it seemed better to add a parameter indicating whether to
enforce the check.

Per report from Simon and subsequent testing.

Fix an oversight in an 8.3-era : pgstat_initstats should allow stats
to be collected for sequences.

Report and fix by Akira Kurosawa

Make sure that GIN fast-insert and regular code paths enforce the same
tuple size limit.  Improve the error message for index-tuple-too-large
so that it includes the actual size, the limit, and the index name.
Sync with the btree occurrences of the same error.

Back- to 8.4 because it appears that the out-of-sync problem
is occurring in the field.

Teodor and Tom

Resolve a race condition on update of ShmemVariableCache->latestCompletedXid,
plus use XidGenLock during xact_redo_abort() as in xact_redo_commit().
Some changes direct from Heikki, others address code review comments from Heikki.

First cut at being able to use shutdown checkpoints as valid starting places for Hot Standby.

Fix erroneous handling of shared dependencies (ie dependencies on roles)
in CREATE OR REPLACE FUNCTION.  The original code would update pg_shdepend
as if a new function was being created, even if it wasn't, with two bad
consequences: pg_shdepend might record the wrong owner for the function,
and any dependencies for roles mentioned in the function's ACL would be lost.
The fix is very easy: just don't touch pg_shdepend at all when doing a
function replacement.

Also update the CREATE FUNCTION reference page, which never explained
exactly what changes and doesn't change in a function replacement.
In passing, fix the CREATE VIEW reference page similarly; there's no
code bug there, but the docs didn't say what happens.

Ensure that a cursor has an immutable snapshot throughout its lifespan.

The old coding was using a regular snapshot, referenced elsewhere, that was
subject to having its command counter updated.  Fix by creating a private copy
of the snapshot exclusively for the cursor.

Back to 8.4, which is when the bug was introduced during the snapshot
management rewrite.

Revert all recent changes about shutdown checkpoints and GetRunningTransactionData() and put item back on todo list, for now.

Re-arrange placement of GetRunningTransactionData() so that
it occurs in same place always, whatever mode we are in. Call now occurs after we get REDO pointer for checkpoint yet before we checkpoint and write the checkpoint WAL record.

Add in extra GetRunningTransactionData after shutdown checkpoint.

Applied  by Boszormenyi Zoltan <[email protected]> to fix memory  in decimal handling.

TransactionIdIsInProgress() must check KnownAssignedXids.

When we ExpireOldKnownAssignedTransactionIds() we must also remove any locks that may have been held by those stale transactions. We now call RelationReleaseOldRecoveryLocks() to ensure locks are cleared up.

Document recommendation to set max_standby_delay = 0 during archive recovery.

Remove any changes to StartupMultiXact(). MultiXact is never accessed at this point in startup sequence, so locking changes are not required for Hot Standby .

Do GetRunningTransactionData() immediately prior to a shutdown checkpoint.

Remove special handling of very long standby delays.

Support "samehost" and "samenet" specifications in pg_hba.conf,
by enumerating the machine's IP interfaces to look for a match.

Stef Walter

Fix bogus Assert, per buildfarm results.

Assorted improvements in contrib/hstore.

Remove the 64K limit on the lengths of keys and values within an hstore.
(This changes the on-disk format, but the old format can still be read.)
Add support for btree/hash opclasses for hstore --- this is not so much
for actual indexing purposes as to allow use of GROUP BY, DISTINCT, etc.
Add various other new functions and operators.

Andrew Gierth

Add tooltips to the header links, and make title a link to the home page

based on an idea by Richard Huxton

Allow MOVE FORWARD n, MOVE BACKWARD n, MOVE FORWARD ALL, MOVE BACKWARD ALL
in plpgsql.  Clean up a couple of corner cases in the MOVE/FETCH syntax.

Pavel Stehule

Fix equivclass.c's not-quite-right strategy for handling X=X clauses.

The original coding correctly noted that these aren't just redundancies
(they're effectively X IS NOT NULL, assuming = is strict).  However, they
got treated that way if X happened to be in a single-member EquivalenceClass
already, which could happen if there was an ORDER BY X clause, for instance.
The simplest and most reliable solution seems to be to not try to process
such clauses through the EquivalenceClass machinery; just throw them back
for traditional processing.  The amount of work that'd be needed to be
smarter than that seems out of proportion to the benefit.

Per bug #5084 from Bernt Marius Johnsen, and analysis by Andrew Gierth.

Convert a perl array to a postgres array when returned by Set Returning Functions as well as non SRFs. Back to 8.1 where these facilities were introduced. with a little help from Abhijit Menon-Sen.

Added some explanation about how the parser is generated, taken from an email by
Zoltan Boszormenyi <[email protected]>.

Remove no-longer-needed ExecCountSlots infrastructure.

Replace the array-style TupleTable data structure with a simple List of
TupleTableSlot nodes.  This eliminates the need to count in advance
how many Slots will be needed, which seems more than worth the small
increase in the amount of palloc traffic during executor startup.

The ExecCountSlots infrastructure is now all dead code, but I'll remove it
in a separate commit for clarity.

Per a comment from Robert Haas.

Make libpq reject non-numeric and out-of-range port numbers with a suitable
error message, rather than blundering on and failing with something opaque.

Sam Mason

Sync psql's scanner with recent changes in backend scanner's flex rules.
Marko Kreen, Tom Lane

Ooops, fix to Genbki.pm for ROWTYPE_OID wasn't quite right.  Also, make a few
spacing tweaks so it produces exactly the same output as genbki.sh.

Simplify the bootstrap (BKI) code by getting rid of a useless table of all
the strings seen during the bootstrap run.  There might have been some
actual point to doing that, many years ago, but as far as I can see the only
value now is to conserve a bit of memory.  Even if we cared about wasting
a megabyte or so during the initdb run, it'd be far more effective to
arrange to release memory at the end of each BKI command, instead of
intentionally hanging onto strings that might never be used again.
Not maintaining the table probably makes it faster too; but the main point
of this  is to get rid of a couple hundred lines of unnecessary and
rather crufty code.

Hmm, seems a lot of the buildfarm is running versions of awk that
don't have gensub().  Use sub() instead, tedious though it be.

Revert my ill-considered change that made formrdesc not insert the correct
relation rowtype OID into the relcache entries it builds.  This ensures
that catcache copies of the relation tupdescs will be fully correct.
While the deficiency doesn't seem to have any effect in the current
sources, we have been bitten by not-quite-right catcache tupdescs before,
so it seems like a good idea to maintain the rule that they should be right.

Extend the BKI infrastructure to allow system catalogs to be given
hand-assigned rowtype OIDs, even when they are not "bootstrapped" catalogs
that have handmade type rows in pg_type.h.  Give pg_database such an OID.
Restore the availability of C macros for the rowtype OIDs of the bootstrapped
catalogs.  (These macros are now in the individual catalogs' .h files,
though, not in pg_type.h.)

This commit doesn't do anything especially useful by itself, but it's
necessary infrastructure for reverting some ill-considered changes in
relcache.c.

Fix RelationCacheInitializePhase2 (Phase3, in HEAD) to cope with the
possibility of shared-inval messages causing a relcache flush while it tries
to fill in missing data in preloaded relcache entries.  There are actually
two distinct failure modes here:

1. The flush could delete the next-to-be-processed cache entry, causing
the subsequent hash_seq_search calls to go off into the weeds.  This is
the problem reported by Michael Brown, and I believe it also accounts
for bug #5074.  The simplest fix is to restart the hashtable scan after
we've read any new data from the catalogs.  It appears that pre-8.4
branches have not suffered from this failure, because by chance there were
no other catalogs sharing the same hash chains with the catalogs that
RelationCacheInitializePhase2 had work to do for.  However that's obviously
pretty fragile, and it seems possible that derivative versions with
additional system catalogs might be vulnerable, so I'm back-ing this
part of the fix anyway.

2. The flush could delete the *current* cache entry, in which case the
pointer to the newly-loaded data would end up being stored into an
already-deleted Relation struct.  As long as it was still deleted, the only
consequence would be some  space in CacheMemoryContext.  But it seems
possible that the Relation struct could already have been recycled, in
which case this represents a hard-to-reproduce clobber of cached data
structures, with unforeseeable consequences.  The fix here is to pin the
entry while we work on it.

In passing, also change RelationCacheInitializePhase2 to Assert that
formrdesc() set up the relation's cached TupleDesc (rd_att) with the
correct type OID and hasoids values.  This is more appropriate than
silently updating the values, because the original tupdesc might already
have been copied into the catcache.  However this part of the  is
not in HEAD because it fails due to some questionable recent changes in
formrdesc :-(.  That will be cleaned up in a subsequent .

Minor code correction on query cancel

Further changes to ensure cancelation correct

Prevent isolated second surrogate in U& syntax

Remove backup states from Unicode escapes 

CONFLICT_MODE_ERROR_IF_NOT_IDLE must be treated as CONFLICT_MODE_ERROR if we still have a snapshot registered. Right now that equates to CONFLICT_MODE_FATAL though that may change in the future.

Prevent LOCK TABLE during recovery and update docs accordingly.

Corrected logic in XidInMVCCSnapshot()

Updated log message and docs caveat about delayed start of hot standby queries.

Docs changes, mostly typos and grammar correction. Many from Heikki 21 Sep

Remove some unused code from older version of HS per Heikki, 21 Sep

Clarify Hot Standby processing for GIN and GIST indexes by more descriptive comments.

Revoke changes to WAL_DEBUG per Jeff Janes. Separate  to implement similar changes later.

Hot Standby  0.2.1 as submitted Sept 15

Improve example for DO, per Petr Jelinek.

Unicode escapes in E'...' strings

Author: Marko Kreen <[email protected]>

Implement the DO statement to support execution of PL code without having
to create a function for it.

Procedural languages now have an additional entry point, namely a function
to execute an inline code block.  This seemed a better design than trying
to hide the transient-ness of the code from the PL.  As of this , only
plpgsql has an inline handler, but probably people will soon write handlers
for the other standard PLs.

In passing, remove the long-dead LANCOMPILER option of CREATE LANGUAGE.

Petr Jelinek

Fix crash if a DROP is attempted on an internally-dependent object.
Introduced in 8.4 rewrite of dependency.c.
Per bug #5072 from Amit Khandekar.

Surrogate pair support for U& string and identifier syntax

This is mainly to make the functionality consistent with the proposed \u
escape syntax.

fsync test files

Prevent creation of 16GB files during fsync testing; only create 16MB
files;  back to 8.4.X.

Define a new, more extensible syntax for COPY options.

This is intentionally similar to the recently revised syntax for EXPLAIN
options, ie, (name value, ...).  The old syntax is still supported for
backwards compatibility, but we intend that any options added in future
will be provided only in the new syntax.

Robert Haas, Emmanuel Cecchet

Allow plpgsql IN parameters to be assigned to.  Since the parameters are just
preinitialized local variables, this does not affect the function's semantics
as seen by callers; allowing assignment simply avoids the need to create more
local variables in some cases.  In any case we were being rather inconsistent
since only scalar parameters were getting marked constant.

No documentation change, since parameters were never documented as being
marked constant anyway.

Steve Prentice

Remove a couple hundred lines of ugly and tedious-to-maintain code by not
trying to parse COPY options exactly in psql's \copy support.  Instead,
just send the options as-is and let the backend sort it out.

Emmanuel Cecchet

sql_help.c needs to be cvsignore'd.

Rename new subroutine, per discussion with Robert Haas.

Make the placeholder naming in the synopses of the SQL help more consistent

Fix MSVC build breakage from psql help changes. Per Josh Williams.

A bit more wordsmithing on the COPY CSV NULL business.

Marginal code cleanup in joinpath.c: factor out clause variable-membership
tests into a small common subroutine, and eliminate an unnecessary difference
in the order in which conditions are tested.  Per a comment from Robert Haas.

Fix incorrect arguments for gist_box_penalty call. The bug could be observed
only for secondary page split (i.e. for non-first columns of index)

  by Paul Ramsey <[email protected]>

Added  by Bernd Helmle <[email protected]> that adds a low level
function that returns the current transaction status.

Easier to translate psql help

Instead of requiring translators to translate the entire SQL command
synopses, change create_help.pl to only require them to translate the
placeholders, and paste those into the synopsis using a printf mechanism.
Make some small updates to the markup to make it easier to parse.

Note: This causes msgmerge of gettext 0.17 to segfault.  You will need
the  from https://savannah.gnu.org/bugs/?27474 to make it work.
msgmerge usually only runs on babel.postgresql.org, however.